maio de 2024

Esses recursos e melhorias na plataforma Azure Databricks foram lançados em maio de 2024.

A configuração de firewall sem servidor agora suporta mais tipos de computação

31 de maio de 2024

O Azure Databricks agora oferece suporte à configuração de firewalls para trabalhos sem servidor, notebooks, pipelines Delta Live Tables e modelos que atendem ao acesso a pontos de extremidade de CPU usando NCCs (Configurações de Conectividade de Rede). Os administradores de conta podem criar NCCs e anexá-los a espaços de trabalho para garantir acesso seguro e controlado através de sub-redes estáveis.

Consulte Configurar um firewall para acesso à computação sem servidor.

Termina o suporte da série Databricks Runtime 15.0

31 de maio de 2024

O suporte para Databricks Runtime 15.0 e Databricks Runtime 15.0 para Machine Learning terminou em 31 de maio. Consulte Ciclos de vida de suporte do Databricks.

Databricks Runtime 15.3 (Beta)

30 de maio de 2024

O Databricks Runtime 15.3 e o Databricks Runtime 15.3 ML já estão disponíveis como versões Beta.

Consulte Databricks Runtime 15.3 e Databricks Runtime 15.2 para Machine Learning.

A interface do usuário de métricas de computação agora está disponível em todas as versões do Databricks Runtime

30 de maio de 2024

A interface do usuário de métricas de computação foi implementada para todas as versões do Databricks Runtime. Anteriormente, essas métricas estavam disponíveis apenas em recursos de computação executados no Databricks Runtime 13.3 e superior. Consulte Exibir métricas de computação.

Pesquisa e filtragem melhoradas em tabelas de resultados do bloco de notas e do editor SQL

Maio 28, 2024

Agora você pode pesquisar facilmente colunas e selecionar valores de filtro em uma lista suspensa de valores existentes nas tabelas de resultados em blocos de anotações e no editor SQL.

Novo painel ajuda os provedores do Databricks Marketplace a monitorar o uso da listagem

Maio 28, 2024

O novo Painel do Provider Analytics permite que os provedores do Databricks Marketplace monitorem visualizações, solicitações e instalações de listagens. O painel extrai dados das tabelas do sistema do Marketplace. Consulte Monitorar métricas de uso de listagem usando painéis.

Exibir consultas federadas geradas pelo sistema em Query Profile

24 de maio de 2024

A Lakehouse Federation agora oferece suporte à visualização de consultas federadas geradas pelo sistema e suas métricas no Perfil de Consulta. Clique no nó de verificação de federação na visualização de gráfico para revelar a consulta enviada para baixo na fonte de dados. Consulte Exibir consultas federadas geradas pelo sistema.

Os endereços IP de saída do plano de computação devem ser adicionados a uma lista de permissões de IP do espaço de trabalho

24 de maio de 2024

Se você usar conectividade de cluster segura e listas de acesso IP em seu espaço de trabalho, deverá adicionar todos os IPs públicos que o plano de computação usa para acessar o plano de controle a uma lista de permissões ou configurar o Link Privado back-end. Essa alteração afetará todos os novos espaços de trabalho em 29 de julho de 2024 e os espaços de trabalho existentes em 26 de agosto de 2024. Para obter mais informações, consulte a postagem da Comunidade Databricks.

Por exemplo, se você habilitar a conectividade de cluster seguro em um espaço de trabalho que usa injeção de rede virtual, o Databricks recomenda que seu espaço de trabalho tenha um IP público de saída estável. Esse IP público e quaisquer outros devem estar presentes numa lista de permissões. Consulte Endereços IP de saída ao usar conectividade de cluster segura. Como alternativa, se você usar uma VNet gerenciada pelo Azure Databricks e configurar o gateway NAT gerenciado para acessar IPs públicos, esses IPs deverão estar presentes em uma lista de permissões.

Consulte Configurar listas de acesso IP para espaços de trabalho.

OAuth é apoiado na Lakehouse Federation for Snowflake

24 de maio de 2024

Unity Catalog agora permite que você crie conexões Snowflake usando OAuth. Consulte Executar consultas federadas no Snowflake.

Mover e excluir objetos de espaço de trabalho em massa do navegador de espaço de trabalho

24 de maio de 2024

Agora você pode selecionar vários itens no espaço de trabalho para mover ou excluir. Quando vários objetos são selecionados, uma barra de ações aparece e tem opções para mover ou excluir itens. Além disso, você pode selecionar vários itens usando o mouse e arrastá-los para um novo local. As permissões existentes em objetos ainda se aplicam durante operações de movimentação e exclusão em massa.

Os objetos do Catálogo Unity estão disponíveis em recentes e favoritos

23 de maio de 2024

Agora você pode encontrar objetos do Catálogo Unity, como catálogos e esquemas, na sua lista de itens recentes. Você também pode favoritar objetos do Catálogo Unity no Catalog Explorer e no navegador de esquema e encontrar objetos favoritos na página inicial do espaço de trabalho.

Novo conector dbt-databricks 1.8.0 adota arquitetura dbt desacoplado

23 de maio de 2024

DBT-Databricks connector 1.8.0 é a primeira versão a adotar a nova arquitetura dbt dissociada. Em vez de depender do dbt-core para liberar os clientes de terem que especificar versões para ambas as bibliotecas, o conector agora depende de uma camada de abstração compartilhada entre o adaptador e o dbt-core. Como resultado, o conector não precisa mais corresponder a versão do recurso Databricks à do dbt-core e é livre para adotar o versionamento semântico. Isso significa que os desenvolvedores de conectores não precisam mais liberar recursos significativos, como computação por modelo, como patches.

Esta versão também traz o seguinte:

• Melhorias na declaração e operação de visualizações materializadas e tabelas de streaming, incluindo a capacidade de agendar atualizações automáticas.
• Suporte para tags de objeto protegíveis do Unity Catalog. Para distingui-los das tags dbt, que são metadados que geralmente são usados para selecionar modelos em uma operação dbt, essas tags são nomeadas databricks_tags na configuração do modelo.
• Várias melhorias no desempenho do processamento de metadados.

Novas APIs de configurações de conformidade e segurança (Visualização pública)

23 de maio de 2024

O Databricks introduziu novas APIs para o perfil de segurança de conformidade, monitoramento de segurança aprimorado e configurações de atualização automática de cluster em espaços de trabalho. Veja:

• API de perfil de segurança de conformidade
• API de monitoramento de segurança aprimorada
• API de Atualização Automática de Cluster

Databricks Runtime 15.2 é GA

Maio 22, 2024

O Databricks Runtime 15.2 e o Databricks Runtime 15.2 ML estão agora disponíveis para o público em geral.

Consulte Databricks Runtime 15.2 e Databricks Runtime 15.2 para Machine Learning.

Novo conector do Tableau para compartilhamento delta

Maio 22, 2024

O novo Tableau Delta Sharing Connector simplifica o acesso do Tableau Desktop aos dados que foram compartilhados com você usando o protocolo de compartilhamento aberto Delta Sharing. Consulte Tableau: Ler dados compartilhados.

Novos exemplos de modelos de recomendação de aprendizagem profunda

Maio 22, 2024

A Databricks publicou dois novos exemplos ilustrando modelos modernos de recomendação de aprendizagem profunda, incluindo o modelo de duas torres e o DLRM da Meta. Para saber mais sobre modelos de recomendação de aprendizagem profunda, consulte Treinar modelos de recomendação.

Vincular credenciais de armazenamento e locais externos a espaços de trabalho específicos (Visualização pública)

Maio 22, 2024

Agora você pode vincular credenciais de armazenamento e locais externos a espaços de trabalho específicos, impedindo o acesso a esses objetos de outros espaços de trabalho. Esse recurso é especialmente útil se você usar espaços de trabalho para isolar o acesso aos dados do usuário, por exemplo, se tiver espaços de trabalho separados de produção e desenvolvimento ou um espaço de trabalho dedicado para lidar com dados confidenciais.

Para obter mais informações, consulte (Opcional) Atribuir um local externo a espaços de trabalho específicos e (Opcional) Atribuir uma credencial de armazenamento a espaços de trabalho específicos.

As pastas Git são GA

Maio 22, 2024

As pastas Git agora estão geralmente disponíveis. Consulte Integração do Git para pastas do Databricks Git. Se você for um usuário do antigo recurso "Repos", consulte O que aconteceu com o Databricks Repos?.

Modelos pré-treinados no Catálogo Unity (Visualização pública)

21 de maio de 2024

O Databricks agora inclui uma seleção de modelos GenAI pré-treinados e de alta qualidade no Unity Catalog. Esses modelos pré-treinados permitem que você acesse recursos de IA de última geração para seus fluxos de trabalho de inferência, economizando tempo e despesas de criar seus próprios modelos personalizados. Consulte Modelos pré-treinados no Unity Catalog and Marketplace.

Mosaic AI Vetor Search é GA

21 de maio de 2024

O Mosaic AI Vetor Search está agora disponível para o público em geral. Consulte Mosaic AI Vetor Search.

Preenchimento automático do Databricks Assistant (Visualização pública)

Maio 20, 2024

O preenchimento automático do Databricks Assistant fornece sugestões baseadas em IA em tempo real enquanto você digita blocos de anotações, consultas e arquivos. Para ativá-lo, vá para Configurações>Recursos Experimentais do Desenvolvedor>e alterne o preenchimento automático do Databricks Assistant. Para obter detalhes, consulte Preenchimento automático baseado em IA.

Suporte Meta Llama 3 no Foundation Model Training

Maio 20, 2024

Foundation Model Training agora suporta Meta Llama 3. Consulte Ajuste fino do modelo de fundação.

Novas alterações na interface do usuário da pasta Git

Maio 17, 2024

Você pode notar algumas alterações na interface do usuário para interações da pasta Git. Adicionámos o seguinte:

• Ao compartilhar uma pasta Git, você verá um novo alerta em um banner que solicita que você copie o link para criar a pasta Git. Quando você clica no botão, um URL é copiado para a área de transferência local, que você pode enviar para outro usuário. Quando esse usuário destinatário carrega essa URL em um navegador, o usuário é levado para o espaço de trabalho onde pode criar sua própria pasta Git clonada a partir do mesmo repositório Git remoto. Quando o destinatário acessar a URL, ele verá uma caixa de diálogo Criar pasta Git na interface do usuário que é pré-preenchida com os valores retirados da sua pasta Git.

  

• Da mesma forma, um novo botão, Criar pasta Git, aparece em um novo banner de alerta quando você visualiza uma pasta Git criada por outro usuário. Clique neste botão para criar sua própria pasta Git para o mesmo repositório Git, com base nos valores pré-preenchidos na caixa de diálogo Criar pasta Git.

  

Formação de Modelo de Fundação (Pré-visualização Pública)

Maio 13, 2024

O Databricks agora suporta o Foundation Model Training. Com o Foundation Model Training, você usa seus próprios dados para personalizar um modelo de base para otimizar seu desempenho para seu aplicativo específico. Ao ajustar ou continuar o treinamento de um modelo de base, você pode treinar seu próprio modelo usando significativamente menos dados, tempo e recursos de computação do que treinar um modelo do zero. Os dados de treinamento, os pontos de verificação e o modelo ajustado residem na plataforma Databricks e são integrados às suas ferramentas de governança e produtividade.

Para obter detalhes, consulte Ajuste fino do modelo de fundação.

Permitir que os usuários copiem dados da tabela de resultados para a área de transferência

9 de maio de 2024

Os administradores agora podem habilitar ou desabilitar a capacidade de os usuários copiarem dados para a área de transferência a partir de tabelas de resultados. Anteriormente, esse recurso era limitado a notebooks. Agora, essa configuração se aplica às seguintes interfaces:

• Notebooks
• Dashboards
• Espaços Genie
• Explorador de Catálogos
• Editor de ficheiros
• Editor SQL

Os valores da tag de atributo para objetos do Unity Catalog agora podem ter 1000 caracteres (Visualização pública)

Maio 8, 2024

Os valores das tags de atributo no Unity Catalog agora podem ter até 1000 caracteres. O limite de caracteres para teclas de tag permanece 255. Consulte Aplicar tags a objetos protegíveis do Unity Catalog.

Nova página de Pré-visualizações

Maio 8, 2024

Habilite e gerencie o acesso às visualizações do Databricks na nova página Visualizações. Consulte Gerenciar visualizações do Azure Databricks.

Novos recursos para o Mosaic AI Vetor Search

Maio 8, 2024

Os novos recursos incluem o seguinte:

• As listas de acesso IP são agora suportadas.
• As chaves gerenciadas pelo cliente (CMK) agora são suportadas em pontos de extremidade criados em ou após 8 de maio de 2024. O suporte da Pesquisa Vetorial para CMK está em Visualização Pública.
• Logs de auditoria e acompanhamento de atribuição de custos aprimorados. Consulte Referência do log de diagnóstico.
• Agora você pode salvar incorporações geradas como uma tabela Delta. Consulte Criar um índice de pesquisa vetorial.

Consulte Mosaic AI Vetor Search.

Os controles de passagem de credenciais e de acesso à tabela de metastore do Hive foram preteridos

Maio 7, 2024

Os controles de passagem de credenciais e acesso à tabela de metastore do Hive foram preteridos no Databricks Runtime 15.0 e o suporte será removido em uma próxima versão do DBR.

Atualize para o Unity Catalog para simplificar a segurança e a governança de seus dados, fornecendo um local central para administrar e auditar o acesso aos dados em vários espaços de trabalho em sua conta. Veja O que é o Unity Catalog?.

Driver JDBC Databricks 2.6.38

Maio 6, 2024

Lançamos a versão 2.6.38 do driver JDBC Databricks (download). Esta versão adiciona os seguintes novos recursos e aprimoramentos:

• Suporte a consultas parametrizadas nativas se o servidor usar SPARK_CLI_SERVICE_PROTOCOL_V8o . O limite do número de parâmetros em uma consulta está 256 no modo de consulta nativo.
• Ingestão de dados usando um suporte de Unity Catalog volume. Veja mais sobre Unity Catalog volumes em Conectar-se ao armazenamento de objetos na nuvem usando o Unity Catalog. Para usar isso, defina UseNativeQuery como 1.
• QueryProfile interface adicionada ao IHadoopStatement permite que os aplicativos recuperem o query idarquivo . O query id pode ser usado para buscar os metadados da consulta usando APIs REST do Databricks.
• Operações assíncronas para metadados Chamadas Thrift se o servidor usa SPARK_CLI_SERVICE_PROTOCOL_V9. Para usar esse recurso, defina EnableAsyncModeForMetadataOperation a propriedade como 1.
• Suporte à asserção JWT. O conector agora suporta OAuth de asserção JWT usando credenciais de cliente. Para fazer isso, defina a UseJWTAssertion propriedade como 1.

Esta versão também resolve os seguintes problemas:

• Atualizações das bibliotecas de Jackson. O conector agora usa as seguintes bibliotecas para o analisador Jackson JSON: jackson-annotations 2.16.0 (anteriormente 2.15.2), jackson-core 2.16.0 (anteriormente 2.15.2), jackson-databind-2.16.0 (anteriormente 2.15.2)
• O conector contém arquivos de classe sem sombreado no diretório META-INF.

Suporte de firewall para a conta de armazenamento de espaço de trabalho GA

Maio 6, 2024

Quando você cria um novo espaço de trabalho do Azure Databricks, uma conta de armazenamento do Azure é criada em um grupo de recursos gerenciados, conhecido como conta de armazenamento de espaço de trabalho. Agora você pode habilitar um firewall para limitar o acesso à sua conta de armazenamento do espaço de trabalho apenas de recursos e redes autorizados. Consulte Ativar suporte de firewall para sua conta de armazenamento de espaço de trabalho.

Databricks Runtime 15.2 (Beta)

2 de maio de 2024

O Databricks Runtime 15.2 e o Databricks Runtime 15.2 ML já estão disponíveis como versões Beta.

Consulte Databricks Runtime 15.2 e Databricks Runtime 15.2 para Machine Learning.

Os blocos de anotações agora detetam e preenchem automaticamente nomes de colunas para DataFrames do Spark Connect

1 de maio de 2024

Os blocos de anotações Databricks agora detetam e exibem automaticamente os nomes das colunas nos DataFrames do Spark Connect e permitem que você use o preenchimento automático para selecionar colunas.