Julho de 2024

Esses recursos e melhorias na plataforma Azure Databricks foram lançados em julho de 2024.

Maior limite para tarefas simultâneas

31 de julho de 2024

O limite do espaço de trabalho para tarefas executadas simultaneamente foi aumentado para 2000. Consulte Limites de recursos.

Incorporar e arrastar e soltar imagens em blocos de anotações

31 de julho de 2024

Agora você pode exibir imagens em blocos de anotações incorporando-as diretamente em células de marcação. Arraste e solte imagens da sua área de trabalho diretamente nas células de marcação para carregá-las e exibi-las automaticamente. Consulte Exibir imagens e Arrastar e soltar imagens.

Paleta de comandos disponível em blocos de notas

31 de julho de 2024

Agora você pode executar ações rapidamente no bloco de anotações usando a paleta de comandos. Pressione Cmd + Shift + P no MacOS ou Ctrl + Shift + P no Windows enquanto estiver em um bloco de anotações para acessar as ações usadas com frequência. Consulte Paleta de comandos.

Esquema do sistema de fluxo de trabalho renomeado para lakeflow

31 de julho de 2024

O workflow esquema está sendo atualizado para lakeflow. Recomendamos que você mude para lakeflow pois incluirá todas as tabelas atuais e novas no futuro, como pipelines. Os clientes devem optar pelo esquema para torná-lo lakeflow visível em seu metastore. Consulte Referência da tabela do sistema de trabalhos.

LakeFlow Connect (visualização pública fechada)

31 de julho de 2024

O LakeFlow Connect oferece conectores nativos que permitem ingerir dados de bancos de dados e aplicativos corporativos e carregá-los no Azure Databricks. O LakeFlow Connect aproveita leituras e gravações incrementais eficientes para tornar a ingestão de dados mais rápida, escalável e econômica, enquanto seus dados permanecem atualizados para consumo downstream.

Atualmente, há suporte para Salesforce Sales Cloud, Banco de dados SQL do Microsoft Azure, Amazon RDS para SQL Server e Workday. Veja LakeFlow Connect.

O suporte para armazenamento Cloudflare R2 é GA

30 de julho de 2024

A capacidade de usar o Cloudflare R2 como armazenamento em nuvem para dados registrados no Unity Catalog agora está disponível em geral. O Cloudflare R2 destina-se principalmente a casos de uso do Delta Sharing nos quais você deseja evitar as taxas de saída de dados cobradas pelos provedores de nuvem quando os dados cruzam regiões. O armazenamento R2 suporta todos os dados Databricks e ativos de IA compatíveis com AWS S3, Azure Data Lake Storage Gen2 e Google Cloud Storage. O suporte para R2 requer um SQL Warehouse ou Databricks Runtime 14.3 ou superior. Consulte Usar réplicas do Cloudflare R2 ou migrar o armazenamento para o R2 e Criar uma credencial de armazenamento para se conectar ao Cloudflare R2.

Monitorar atividades do Databricks Assistant com tabelas do sistema (Visualização pública)

30 de julho de 2024

Agora você pode monitorar as atividades do Assistente Databricks em um painel usando tabelas do sistema. Para obter mais informações, consulte Referência e exemplo da tabela do sistema Databricks Assistant.

O compartilhamento de esquemas usando o Delta Sharing agora é GA

30 de julho de 2024

A capacidade de compartilhar esquemas usando o Delta Sharing é GA. O compartilhamento de todo o esquema dá ao destinatário acesso a todas as tabelas e exibições no esquema no momento em que você o compartilha, juntamente com quaisquer tabelas e exibições que forem adicionadas ao esquema no futuro. Adicionar esquemas a um compartilhamento usando comandos SQL requer um SQL warehouse ou um cluster executando o Databricks Runtime 13.2 ou superior. Fazer o mesmo usando o Catalog Explorer não tem requisitos de computação. Consulte Adicionar esquemas a um compartilhamento.

O Mosaic AI Agent Framework está disponível em northcentral e centralus

Julho 29, 2024

O Mosaic AI Agent Framework já está disponível nas northcentral regiões e centralus . Veja Funcionalidades com disponibilidade regional limitada.

O Databricks Assistant pode diagnosticar problemas com trabalhos (Visualização pública)

Julho 29, 2024

O Databricks Assistant agora pode diagnosticar problemas com trabalhos com falha. Consulte Diagnosticar erros em trabalhos.

Atualizações nos comportamentos de autenticação e compartilhamento de pastas Databricks Git

Julho 29, 2024

• Tratamento de autenticação baseado na caixa de diálogo da pasta Git: a experiência do usuário agora é simplificada para ajudar os usuários na recuperação de erros de autenticação ao abrir a caixa de diálogo da pasta Git. Na caixa de diálogo, você pode atualizar as credenciais do Git diretamente, o que dispara uma nova tentativa automática. Você pode usar essa abordagem para ajudar na resolução de erros de autenticação.
  • Quando ocorre um erro de autenticação, a caixa de diálogo da pasta Git agora mostra o provedor e a URL da pasta Git no erro. Anteriormente, isso estava oculto, tornando difícil saber qual credencial do Git deveria ser usada para resolver o erro.
• Compartilhamento de pastas Git: os usuários agora podem compartilhar um link de URL para outros usuários do espaço de trabalho. Quando a URL é aberta no navegador do destinatário, o Databricks abre e inicia a caixa de diálogo existente Adicionar pasta Git com valores pré-preenchidos (como o provedor Git e a URL do repositório Git). Isso simplifica a clonagem de pastas Git para repositórios Git comumente usados entre os usuários do espaço de trabalho. Consulte Práticas recomendadas: Colaborando em pastas Git para obter mais detalhes.
  • Os usuários agora são solicitados a criar suas próprias pastas Git em seu próprio espaço de trabalho em vez de trabalhar colaborativamente na pasta Git de outro usuário.
  • O estado da caixa de diálogo da pasta Git agora persiste em sua URL. Se você copiar o URL do seu navegador quando a caixa de diálogo da pasta Git estiver aberta, ele poderá ser aberto mais tarde ou compartilhado com outro usuário e as mesmas informações serão exibidas.
• Visualização de comparação da pasta Git: Na visualização de comparação da pasta Git, o realce vermelho e verde mais escuro foi adicionado para o texto substituído e para várias linhas de alterações, tornando mais fácil determinar o que foi alterado em suas alterações não confirmadas.
  • Abrir a caixa de diálogo da pasta Git a partir de um bloco de anotações ou editor de arquivos seleciona esse bloco de anotações ou arquivo na caixa de diálogo da pasta Git e exibe as alterações (diffs) por padrão.

Tempo limite de instalação da biblioteca de clusters

Julho 29, 2024

A instalação da biblioteca em clusters agora tem um tempo limite de 2 horas. Uma biblioteca que levou mais de 2 horas para ser instalada será marcada como falha. Para obter informações sobre bibliotecas de cluster, consulte Bibliotecas de cluster.

Os endereços IP de saída do plano de computação devem ser adicionados a uma lista de permissões de IP do espaço de trabalho

Julho 29, 2024

Ao configurar a conectividade de cluster seguro e as listas de acesso IP em um novo espaço de trabalho, você deve adicionar a uma lista de permissões todos os IPs públicos que o plano de computação usa para acessar o plano de controle a uma lista de permissões ou configurar o Link Privado de back-end. Essa alteração afetará todos os novos espaços de trabalho em 29 de julho de 2024 e os espaços de trabalho existentes em 26 de agosto de 2024. Para obter mais informações, consulte a postagem da Comunidade Databricks.

Por exemplo, se você habilitar a conectividade de cluster seguro em um espaço de trabalho que usa injeção de rede virtual, o Databricks recomenda que seu espaço de trabalho tenha um IP público de saída estável. Esse IP público e quaisquer outros devem ser incluídos numa lista de permissões. Consulte Endereços IP de saída ao usar conectividade de cluster segura. Como alternativa, se você usar uma VNet gerenciada pelo Azure Databricks e configurar o gateway NAT gerenciado para acessar IPs públicos, esses IPs deverão estar em uma lista de permissões.

Consulte Configurar listas de acesso IP para espaços de trabalho.

Suporte estendido à série Databricks Runtime 9.1

Julho 26, 2024

O suporte para Databricks Runtime 9.1 LTS e Databricks Runtime 9.1 LTS para Machine Learning foi estendido de 23 de setembro de 2024 a 19 de dezembro de 2024.

O logon único (SSO) é suportado na Lakehouse Federation for SQL Server

25 de julho de 2024

O Unity Catalog agora permite que você crie conexões do SQL Server usando a autenticação SSO. Consulte Executar consultas federadas no Microsoft SQL Server.

O compartilhamento de modelos usando o Delta Sharing agora está disponível para o público em geral

Julho 26, 2024

O suporte do Delta Sharing para compartilhamento de modelos de IA agora é GA. Os espaços de trabalho do provedor e do destinatário devem ser habilitados para o Unity Catalog, e os modelos devem ser registrados no Unity Catalog.

Consulte Adicionar modelos a uma partilha.

Compartilhar comentários e restrições de chave primária usando o Compartilhamento Delta

25 de julho de 2024

O Delta Sharing agora suporta o compartilhamento de metadados de objetos, incluindo comentários e restrições de chave primária:

• Comentários de modelo e comentários de versão de modelo foram incluídos em compartilhamentos de Databricks para Databricks por algum tempo, mas não anunciados.

• Comentários de tabela, comentários de coluna, restrições de chave primária e comentários de volume agora estão incluídos em compartilhamentos de Databricks para Databricks que foram compartilhados com o destinatário em ou após 25 de julho de 2024.

  Se quiser incluir comentários ou restrições em um compartilhamento que foi compartilhado com um destinatário antes dessa data, você deve revogar e conceder novamente o acesso do destinatário para acionar o compartilhamento de comentários e restrições.

Consulte Criar e gerenciar compartilhamentos para o Delta Sharing.

Novo driver JDBC (OSS) Databricks

25 de julho de 2024

Um novo driver JDBC Databricks de código aberto foi lançado para visualização pública. Este driver implementou as APIs JDBC e fornece outras funcionalidades principais, incluindo OAuth, Cloud Fetch e recursos como ingestão de volume do Unity Catalog. Para obter mais informações, consulte Databricks JDBC Driver (OSS).

Databricks Runtime 15.4 LTS (Beta)

Julho 23, 2024

O Databricks Runtime 15.4 LTS e o Databricks Runtime 15.4 LTS ML já estão disponíveis como versões Beta.

Consulte Databricks Runtime 15.4 LTS e Databricks Runtime 15.4 LTS para Machine Learning.

Scala é GA na computação compartilhada do Unity Catalog

Julho 23, 2024

No Databricks Runtime 15.4 LTS e superior, o Scala está geralmente disponível no modo de acesso compartilhado Unity Catalog-enabled compute, incluindo suporte para funções escalares definidas pelo usuário (UDFs). Não há suporte para Streaming estruturado, UDFs do Hive e funções agregadas definidas pelo usuário do Hive. Para obter uma lista completa de limitações, consulte Limitações do modo de acesso de computação para o Unity Catalog.

A computação de usuário único suporta controle de acesso refinado, exibições materializadas e tabelas de streaming

Julho 23, 2024

O Databricks Runtime 15.4 LTS introduz suporte para controle de acesso refinado em computação de usuário único, desde que o espaço de trabalho esteja habilitado para computação sem servidor. Quando uma consulta acessa qualquer um dos seguintes, o recurso de computação de usuário único no Databricks Runtime 15.4 LTS passa a consulta para computação sem servidor para executar a filtragem de dados:

• Vistas criadas sobre tabelas nas quais o utilizador não tem o SELECT privilégio
• Vistas dinâmicas
• Tabelas com filtros de linha ou máscaras de coluna aplicados
• Visualizações materializadas e tabelas de streaming

Essas consultas não são suportadas em computação de usuário único em execução no Databricks Runtime 15.3 e inferior.

Para obter mais informações, consulte Controle de acesso refinado na computação de usuário único.

A tabela do sistema de linha do tempo do nó já está disponível (Visualização pública)

Julho 23, 2024

O system.compute esquema agora inclui uma node_timeline tabela. Esta tabela registra métricas de utilização minuto a minuto para os recursos de computação para todos os fins e trabalhos executados em sua conta. Consulte Esquema da tabela de linha do tempo do nó.

Meta Llama 3.1 agora é suportado no Model Serving

Julho 23, 2024

O Mosaic AI Model Serving fez uma parceria com a Meta para dar suporte ao Meta Llama 3.1, uma arquitetura de modelo criada e treinada pela Meta, e é distribuída pelo Azure Machine Learning usando o Catálogo de Modelos AzureML. O Llama 3.1 é suportado como parte das APIs do Foundation Model. Consulte Usar APIs de modelo básico.

• Meta-Llama-3.1-405B-Instruct e Meta-Llama-3.1-70B-Instruct estão disponíveis em regiões de endpoint de serviço pay-per-token.
• O uso de produção do conjunto completo de modelos Llama 3.1 (8B, 70B e 405B) está disponível nos EUA usando taxa de transferência provisionada.

A partir de 23 de julho de 2024, o Meta-Llama-3.1-70B-Instruct substitui o suporte para Meta-Llama-3-70B-Instruct em endpoints pay-per-token de APIs do Modelo de Fundação.

Blocos de notas: alternar títulos de células mais visíveis

Julho 18, 2024

Os usuários podem habilitar Mostrar títulos de células promovidas em suas configurações de desenvolvedor para tornar os títulos de células do bloco de anotações mais visíveis na interface do usuário. Consulte Títulos de células promovidas

/ em nomes de ativos do espaço de trabalho foi preterido

Julho 17, 2024

Para evitar ambiguidade nas cadeias de caracteres de caminho, o uso de '/' nos nomes de novos ativos de espaço de trabalho (como blocos de anotações, pastas e consultas) foi preterido. Os ativos existentes com «/» nos seus nomes não são afetados, mas a mudança de nome dos ativos existentes segue as mesmas regras que os ativos novos.

O Compartilhamento Delta permite compartilhar tabelas que usam clustering líquido

Julho 16, 2024

O Compartilhamento Delta agora permite compartilhar tabelas habilitadas para clustering líquido, e os destinatários podem executar consultas em lote contra elas. O clustering líquido simplifica as decisões de layout de dados e otimiza o desempenho da consulta. Consulte Usar clustering líquido para tabelas Delta e matriz de suporte a recursos Delta Lake.

A tabela do sistema de histórico de consultas já está disponível (Visualização pública)

Julho 16, 2024

As tabelas do sistema Azure Databricks agora incluem uma tabela de histórico de consultas. Esta tabela registra registros detalhados de cada consulta executada em um SQL warehouse em sua conta. Para acessar a tabela, os administradores devem habilitar o novo query esquema do sistema. Consulte Referência da tabela do sistema do histórico de consultas.

Os relatórios de verificação de vulnerabilidades agora são enviados por e-mail aos administradores

Julho 16, 2024

Os relatórios de verificação de vulnerabilidades agora são enviados por e-mail para administradores de espaços de trabalho em espaços de trabalho que permitem o monitoramento de segurança aprimorado. Anteriormente, os administradores do espaço de trabalho tinham que solicitá-los do Azure Databricks. Consulte Monitoramento de segurança aprimorado.

Registro de metadados de partição para tabelas externas do Unity Catalog

Julho 15, 2024

No Databricks Runtime 13.3 LTS e superior, você pode, opcionalmente, habilitar o log de metadados de partição para tabelas externas registradas no Unity Catalog que usam Parquet, ORC, CSV ou JSON. O registro de metadados de partição é uma estratégia de descoberta de partição consistente com o metastore do Hive. Consulte Descoberta de partições para tabelas externas.

A computação sem servidor para fluxos de trabalho é GA

Julho 15, 2024

A computação sem servidor para fluxos de trabalho agora está disponível para o público em geral. A computação sem servidor para fluxos de trabalho permite que você execute seu trabalho do Azure Databricks sem configurar e implantar a infraestrutura. Com a computação sem servidor para fluxos de trabalho, o Azure Databricks gerencia com eficiência os recursos de computação que executam seu trabalho, incluindo a otimização e o dimensionamento da computação para suas cargas de trabalho. Consulte Executar seu trabalho do Azure Databricks com computação sem servidor para fluxos de trabalho.

A computação sem servidor para notebooks é GA

Julho 15, 2024

A computação sem servidor para notebooks agora está disponível para o público em geral. A computação sem servidor para notebooks oferece acesso sob demanda à computação escalável em blocos de anotações, permitindo que você escreva e execute imediatamente seu código Python ou SQL. Consulte Computação sem servidor para blocos de anotações.

O Databricks Connect for Python agora suporta computação sem servidor

Julho 15, 2024

O Databricks Connect for Python agora suporta a conexão com computação sem servidor. Esta funcionalidade está disponível na Pré-visualização Pública. Consulte Configurar uma conexão com computação sem servidor.

Filtrar saídas de dados usando prompts de linguagem natural

Julho 11, 2024

Agora você pode usar o Assistente Databricks para filtrar saídas de dados usando prompts de linguagem natural. Por exemplo, para filtrar a tabela de dados de sobreviventes do Titanic, você pode digitar "Mostre-me apenas homens com mais de 70 anos". Consulte Filtrar dados com prompts de linguagem natural.

Suporte a segredos de texto simples para modelos externos

Julho 11, 2024

Agora você pode inserir chaves de API diretamente como cadeias de texto sem formatação para modelar pontos de extremidade que hospedam modelos externos. Consulte Configurar o provedor para um ponto de extremidade.

Previsão de dados de séries cronológicas utilizando ai_forecast()

Julho 11, 2024

O AI Functions agora suporta ai_forecast(), uma nova função Databricks SQL para analistas e cientistas de dados projetada para extrapolar dados de séries temporais para o futuro. Consulte ai_forecast função.

O suporte a tarefas de Arquivo SQL para arquivos com consultas SQL de várias instruções é GA

Julho 10, 2024

O suporte para o uso de arquivos que contêm consultas SQL de várias instruções com a tarefa Arquivo SQL agora está disponível em geral. Essa alteração permite que você execute várias instruções SQL a partir de um único arquivo. Anteriormente, você precisava adicionar um arquivo separado para cada instrução. Para saber mais sobre a tarefa Arquivo SQL, consulte Tarefa SQL para trabalhos.

A Lakehouse Federation oferece suporte ao Salesforce Data Cloud (visualização pública)

Julho 10, 2024

Agora você pode executar consultas federadas em dados gerenciados pelo Salesforce Data Cloud. Consulte Executar consultas federadas no Salesforce Data Cloud.

Tabela do sistema Databricks Assistant agora disponível (Visualização pública)

Julho 10, 2024

Os eventos do Databricks Assistant agora são registrados em uma tabela do sistema localizada em system.access.assistant_events. Consulte Referência e exemplo da tabela do sistema Databricks Assistant.

Conta SCIM API v2.1 (Visualização pública)

Julho 10, 2024

As APIs SCIM da conta são atualizadas de v2.0 para v2.1 para velocidade e confiabilidade. Você pode baixar um PDF da referência da API Account SCIM v2.1.

Aumento da cota de recursos para tabelas por metastore do Unity Catalog

3 de julho de 2024

Seu metastore do Unity Catalog agora pode registrar até um milhão de tabelas. Consulte Cotas de recursos.

O Databricks Assistant pode diagnosticar erros de notebook automaticamente

2 de julho de 2024

O Databricks Assistant agora pode ser executado /fix em blocos de anotações automaticamente quando deteta uma mensagem de erro. O Assistente usa IA generativa para analisar seu código e a mensagem de erro para sugerir uma correção diretamente em seu notebook. Para obter mais informações, consulte Código de depuração: exemplos de Python e SQL.

O suporte para a :param sintaxe com a tarefa de arquivo SQL é GA

1 de julho de 2024

O suporte para usar a :param sintaxe com consultas parametrizadas na tarefa Arquivo SQL de Trabalhos do Azure Databricks está disponível em geral. Agora você pode fazer referência a parâmetros de consulta prefixando seus nomes com dois pontos (:parameter_name). Esta sintaxe é adicional ao suporte existente para a sintaxe de chaves duplas ({{parameter_name}}). Para saber mais sobre como usar consultas parametrizadas com a tarefa Arquivo SQL, consulte Configurar parâmetros da tarefa.