A Unidade Cloud da Google LLC introduziu hoje novos recursos para seus serviços BigLake e BigQuery, que permitem que as empresas executem análises em grandes conjuntos de dados.
Ambas as atualizações se concentram em uma tecnologia de código aberto chamado Apache Iceberg, o que sugere que o Google está fazendo os anúncios para sair à frente de dois rivais no gerenciamento de dados. A Snowflake Inc. está realizando sua conferência de usuários e desenvolvedores na próxima semana e a Databricks Inc. seguirá o exemplo com seu próprio evento, ambos em São Francisco.
O Iceberg organiza dados em tabelas, que são coleções de linhas e colunas semelhantes a planilhas. Ele coleta informações sobre como essas tabelas mudam com o tempo, o que é útil para muitas tarefas de gerenciamento de dados. Ele também fornece tempos de consulta rápidos e suporte ao SQL.
O BigLake permite que as empresas armazenem e analisem os conjuntos de dados baseados em iceberg. O gigante da pesquisa e da nuvem diz que o BIGLAKE agora é melhor suportado pela infraestrutura de armazenamento que sustenta o Google Cloud. Como resultado, o BigLake agora pode mover automaticamente os dados acessados com pouca frequência para {hardware} de armazenamento mais lento e mais barato.
O carregamento de dados no BigLake de fontes externas também é mais fácil também. O Google adicionou recursos que automatizam alguns dos trabalhos envolvidos na mudança de registros para o serviço do Hadoop e os sistemas que usam o formato de dados Delta. Delta é uma alternativa de código aberto ao Iceberg. Os clientes com requisitos rigorosos de segurança cibernética podem proteger os dados que carregam no BigLake usando suas próprias chaves de criptografia.
No futuro, Biglake funcionará melhor com os outros serviços no Google Cloud. O AlloyDB para o PostgreSQL, um dos serviços de banco de dados gerenciados da empresa, agora pode ler e escrever conjuntos de dados gerenciados por BigLake. O BigQuery Knowledge Warehouse agora também pode executar consultas nesses conjuntos de dados.
A integração BigLake aprimorada é uma das várias melhorias lançadas em BigQuery. Ele também está recebendo um conjunto de recursos projetados para acelerar as consultas do usuário. A coleção de recursos é conhecida como o tempo de execução Avançado BigQuery.
O tempo de execução Avançado do BigQuery pode executar a poda de dados, o processo de remoção de registros desnecessários de um conjunto de dados, para tornar as consultas mais eficientes. Em seguida, ele vetoriza os registros restantes para aumentar ainda mais as velocidades de consulta.
A vetorização possibilita realizar operações de dados em vários pontos de dados de uma só vez, um após o outro. De acordo com o Google, atualizações de dados, exclusões e consultas de curta duração se tornarão mais rápidas.
“O BigQuery Superior Runtime (visualização) pode acelerar automaticamente cargas de trabalho analíticas, usando vetorização aprimorada e modo otimizado de consulta curta, sem exigir nenhuma ação do usuário ou alterações de código”, escreveu os executivos do Google Cloud e Gutmans e Yasmeen Ahmad em um Postagem do blog hoje.
Para os desenvolvedores, a empresa está lançando uma versão aprimorada de notebooks BigQuery. É uma ferramenta de codificação que pode ser usada para encontrar padrões nos conjuntos de dados, visualizá -los e executar tarefas de análise relacionadas. O Google está adicionando recursos de assistência à programação, alimentados por seus modelos de idiomas Gemini.
As atualizações BigLake e BigQuery estão sendo lançadas ao lado de uma ferramenta chamada Dataplex Common Catalog. Ele agrega metadados, informações sobre os registros de uma empresa que descrevem detalhes como quando eles foram criados. A ferramenta pode coletar metadados de mesas de iceberg nativas de Biglake, conjuntos de dados BigQuery e outras fontes.
“A IA automatiza a curadoria de metadados, infere relacionamentos ocultos entre elementos de dados, recomenda proativamente as informações dos dados apoiados por consultas complexas e permitem pesquisas semânticas com linguagem pure”, escreveram Gutmans e Ahmad.
O Apache Spark também é um foco das atualizações de hoje. O Google está lançando uma tecnologia chamada Lightning Engine que, segundo ele, pode acelerar a plataforma de análise de código aberto. A tecnologia o faz usando uma combinação de vetorização, armazenamento em cache e um método de otimização de desempenho conhecido como embaralhamento de dados. O Google diz que o mecanismo de raios pode fornecer um aumento mais de três vezes nas velocidades de processamento.
Imagem: Google Cloud
Seu voto de apoio é importante para nós e nos ajuda a manter o conteúdo livre.
Um clique abaixo suporta nossa missão de fornecer conteúdo gratuito, profundo e relevante.
Junte -se à nossa comunidade no YouTube
Junte -se à comunidade que inclui mais de 15.000 especialistas em #Cubealumni, incluindo o CEO da Amazon.com, Andy Jassy, o fundador e CEO da Dell Applied sciences, Michael Dell, o CEO da Intel Pat Gelsinger e muito mais luminárias e especialistas.
OBRIGADO
