Agosto de 2024

Esses recursos e melhorias na plataforma Azure Databricks foram lançados em agosto de 2024.

Monitorar o uso do objeto Unity Catalog em relação às cotas usando as novas APIs de Cotas de Recursos

30 de agosto de 2024

As novas APIs de cotas de recursos permitem que você monitore o uso de objetos protegíveis do Unity Catalog em relação às cotas de recursos. Em breve, você também poderá receber notificações por e-mail quando se aproximar dos limites de cota. Consulte Monitorar seu uso de cotas de recursos do Catálogo Unity e a referência da API de cotas de recursos.

MPT 7B Instruir e MPT 30B Instruir aposentadorias de modelo

30 de agosto de 2024

Os modelos MPT 7B Instruct e MPT 30B Instruct estão agora aposentados. Consulte Modelos retirados para obter os modelos de substituição recomendados.

AskSupport substituído pelo assistente do Azure Databricks

29 de agosto de 2024

O AskSupport, o canal de suporte baseado no Databricks Slack, foi substituído pelo Databricks Assistant, que está disponível no seu espaço de trabalho Databricks. Use o Databricks Assistant para pesquisar documentação técnica, criar tíquetes e obter suporte sensível ao contexto.

Para usar o AI Assistant, o AI Assistant deve estar ativado no console da sua conta.

Painel de gerenciamento de custos importável adicionado ao console da conta (Visualização pública)

28 de agosto de 2024

Os administradores de conta agora podem importar um painel de gerenciamento de custos personalizável do console da conta para qualquer espaço de trabalho do Catálogo Unity em sua conta. Há duas versões do painel: uma que monitora o uso em toda a conta e outra para o uso de espaço de trabalho único.

As tabelas do sistema Lakeflow são estendidas com colunas adicionais

23 de agosto de 2024

As tabelas no system.lakeflow esquema estão sendo estendidas com colunas adicionais. Foram introduzidas as seguintes alterações:

• jobs é estendido com description coluna.
• job_run_timelineé estendido com run_type, run_name, compute_idstermination_code e job_parameters colunas.
• job_task_run_timeline é estendido com job_run_ide parent_run_id termination_code colunas.

A alteração de esquema é ininterrupta e não interromperá seus fluxos de trabalho existentes. As novas colunas não serão preenchidas para linhas já emitidas. Para obter mais informações, consulte Referência da tabela do sistema de trabalhos.

Destaques do erro de formatação de código Python

23 de agosto de 2024

O código Python em blocos de anotações e editores de arquivos pode destacar erros de formatação e avisos, como recuo inesperado, comprimento de linha longa e muito mais. Consulte Realce de formatação em Python.

Compartilhamento Delta: Mais recursos Delta Lake agora suportados pelos conectores Python e Power BI

21 de agosto de 2024

O conector Python de compartilhamento delta 1.1.0+ e o Power BI v2.132.908.0+ agora são suportados:

• Modo de nome de mapeamento de coluna
• Vetores de exclusão
• Modelo uniforme

Esses recursos do Delta Lake já eram suportados no Databricks Runtime 14.1+ e no conector de código aberto Delta Sharing Apache Spark 3.1+.

Consulte a matriz de suporte de recursos Delta Lake.

Delta Sharing adiciona suporte para TimestampNTZ

21 de agosto de 2024

O Delta Sharing adiciona suporte para TimestampNTZ no Databricks Runtime 14.1 e superior e conector de código aberto Delta Sharing Apache Spark 3.3 e superior.

Consulte a matriz de suporte de recursos Delta Lake.

A tarefa Trabalhos For each do Azure Databricks é GA

21 de agosto de 2024

A For each tarefa está agora disponível para o público em geral. Você pode usar a For each tarefa para executar outra tarefa em um loop, passando um conjunto diferente de parâmetros para cada iteração da tarefa. A For each tarefa pode iterar em qualquer uma das tarefas de trabalho padrão, como um bloco de anotações, JAR, script Python ou tarefa SQL. Consulte Executar uma tarefa de trabalho parametrizada do Azure Databricks em um loop.

Permissão do RBAC do Azure para administradores de espaço de trabalho

20 de agosto de 2024

Anteriormente, a função interna de Colaborador ou Proprietário do Azure RBAC (controle de acesso baseado em função) era necessária para conceder a um usuário a função de administrador do espaço de trabalho do Azure Databricks do Azure. Agora você pode criar uma função RBAC personalizada do Azure que tenha a permissão Microsoft.Databricks/workspaces/assignWorkspaceAdmin/action para conceder a um usuário a função de administrador do espaço de trabalho do Azure Databricks. Esses usuários podem gerenciar seu serviço Azure Databricks e configurar o log de diagnóstico. Para obter mais informações, consulte Permissões de administrador do Azure necessárias.

Databricks Runtime 15.4 LTS é GA

19 de agosto de 2024

Databricks Runtime 15.4 LTS e Databricks Runtime 15.4 LTS ML estão agora disponíveis para o público em geral.

Consulte Databricks Runtime 15.4 LTS e Databricks Runtime 15.4 LTS para Machine Learning.

Preenchimento automático personalizado do notebook

19 de agosto de 2024

O preenchimento automático do bloco de anotações agora prioriza sugestões com base nos metadados e no uso individuais do Catálogo Unity, fornecendo classificações de sugestões personalizadas para cada usuário. Ver Preenchimento automático personalizado

Configurar o modo de acesso padrão do espaço de trabalho para computação de trabalhos

16 de agosto de 2024

Os administradores de espaço de trabalho agora podem configurar o modo de acesso padrão para trabalhos computados em seu espaço de trabalho. Este modo de acesso padrão é aplicado a recursos de computação sem um modo de acesso definido. Para obter mais informações, consulte Modo de acesso padrão para computação de trabalhos.

Novos comandos de barra para o Databricks Assistant

14 de agosto de 2024

O Databricks Assistant adicionou os seguintes comandos de barra como atalhos para tarefas comuns:

• /findTables: Procura tabelas relevantes com base nos metadados do Catálogo Unity.
• /findQueries: Procura consultas relevantes com base nos metadados do Unity Catalog.
• /prettify: Formata o código para facilitar a leitura.
• /rename: Sugere nomes atualizados para células do bloco de anotações e outros elementos, dependendo do contexto.
• /settings: Ajusta as definições do seu bloco de notas diretamente a partir do Assistente.

Para obter mais informações, consulte Usar comandos de barra para prompts.

A pesquisa de espaço de trabalho agora suporta volumes

14 de agosto de 2024

Os volumes agora são incluídos nos resultados da pesquisa. Consulte Pesquisar objetos de espaço de trabalho.

Modelos Meta Llama 3.1 405B suportados no Foundation Model Fine-tuning

14 de agosto de 2024

Os modelos Meta Llama 3.1 405B agora são suportados no Foundation Model Fine-tuning. Consulte Modelos suportados.

Driver JDBC Databricks 2.6.40

13 de agosto de 2024

O Databricks JDBC Driver versão 2.6.40 já está disponível no download do driver JDBC. Esta versão remove mensagens de log redundantes WARNING para aumentar a usabilidade e a segurança do registro.

Esta versão inclui os seguintes aprimoramentos e novos recursos:

• Suporte a endpoint de descoberta OIDC. O driver agora pode definir um ponto de extremidade de descoberta OIDC para buscar um token e recuperar um ponto de extremidade de autorização.
• Suporte de seta atualizado. O driver agora usa Apache Arrow versão 14.0.2. Versões anteriores do driver usado Apache Arrow versão 9.0.0.
• ProxyIgnoreList apoio. O driver agora oferece suporte à ProxyIgnoreList propriedade quando UseProxy está definido como 1.
• Suporte de token de atualização. O driver agora suporta um token de atualização opcional. Ele salva o token de acesso e o reutiliza para novas conexões, desde que seja válido. Se o driver não puder renovar o token de acesso usando o token de atualização, ele entrará novamente.
• Suporte de autenticação atualizado. O driver agora suporta autenticação baseada em navegador (U2M) e credenciais de cliente (M2M) no Google Cloud.
• Adicionadas opções OAuth padrão unificadas.
• Agora você pode configurar a porta de redirecionamento OAuth. Para fazer isso, defina a OAuth2RedirectUrlPort propriedade para sua porta.

Para obter informações completas sobre a configuração, consulte o Guia do driver JDBC Databricks instalado com o pacote de download do driver.

Tokens de acesso pessoal Databricks revogados se não forem utilizados após 90 dias

13 de agosto de 2024

O Databricks agora revoga automaticamente quaisquer tokens de acesso pessoal (PATs) que não tenham sido usados em 90 ou mais dias. Para obter mais detalhes, consulte Monitorar e revogar tokens de acesso pessoal.

A API de clusters agora oferece suporte a atualizações parciais de configuração

13 de agosto de 2024

Uma nova chamada de API permite que você atualize parcialmente uma configuração de cluster, exigindo que você especifique apenas os atributos que deseja atualizar. Consulte Atualizar configuração de cluster (parcial) na referência da API REST.

Envolver linhas em células do bloco de notas

12 de agosto de 2024

Agora você pode habilitar ou desabilitar a quebra automática de linha nas células do bloco de anotações, permitindo que o texto seja quebrado em várias linhas ou permaneça em uma única linha com rolagem horizontal. Consulte Quebra automática de linha.

Especificar colunas a sincronizar para o Mosaic AI Vetor Search

12 de agosto de 2024

Agora você pode especificar um subconjunto de colunas em uma tabela para usar em um índice de pesquisa vetorial. A coluna de chave primária e a coluna de incorporação são sempre sincronizadas. Consulte Como criar e consultar um índice de pesquisa vetorial.

Os arquivos não podem mais ter nomes idênticos em pastas de espaço de trabalho

9 de agosto de 2024

O Databricks agora impede que você crie ou renomeie ativos em pastas de espaço de trabalho quando o nome de um ativo corresponde exatamente ao nome de outro arquivo, contabilizando a extensão de arquivo do ativo. Por exemplo, você não pode mais criar um arquivo nomeado test.py se já houver um bloco de anotações com um nome base de test com uma extensão de na mesma pasta de espaço de .py trabalho.

Para obter mais detalhes, consulte Nomeando ativos em pastas de espaço de trabalho.

Aplicação de política de computação agora disponível

8 de agosto de 2024

A imposição de conformidade de políticas permite que os administradores do espaço de trabalho atualizem os recursos de computação do espaço de trabalho para estar em conformidade com a versão mais recente de uma política. Esse recurso pode ser usado na interface do usuário ou por meio da API de Políticas de Cluster.

Consulte Impor conformidade de políticas ou API de políticas de cluster.

Foundation Model APIs, pay-per-token, agora é GA

7 de agosto de 2024

O pagamento por token das APIs do Modelo de Fundação agora está disponível para o público em geral. Consulte APIs de modelo de base de pagamento por token.

Colabore em projetos de dados de forma segura e privada usando o Databricks Clean Rooms (Visualização pública)

6 de agosto de 2024

O Databricks Clean Rooms usa o Delta Sharing e a computação sem servidor para fornecer um ambiente seguro e que protege a privacidade, onde várias partes podem compartilhar dados corporativos confidenciais e colaborar sem acesso direto aos dados uns dos outros.

Com o Clean Rooms, os usuários de outras contas Databricks podem colaborar para gerar insights exclusivos sobre projetos compartilhados, como campanhas publicitárias, decisões de investimento ou pesquisa e desenvolvimento, sem mover ou expor dados confidenciais. Execute cargas de trabalho complexas em um ambiente efêmero usando qualquer linguagem suportada por notebooks Databricks, incluindo Python, que fornece suporte nativo para cargas de trabalho de aprendizado de máquina.

Para experimentá-lo, entre em contato com seu representante do Azure Databricks.

Consulte O que é o Azure Databricks Clean Rooms?.

O Mosaic AI Vetor Search agora é compatível com HIPAA

6 de agosto de 2024

O Mosaic AI Vetor Search agora está em conformidade com a HIPAA em todas as regiões.

Formatar colunas em blocos de notas e tabelas de resultados de consultas

6 de agosto de 2024

Personalize suas tabelas de resultados para serem mais legíveis com opções de formatação de colunas, como Moeda, Porcentagem, URL, controle sobre casas decimais e muito mais. Consulte Formatar colunas.

Filtros de linha e máscaras de coluna agora são GA, com melhorias

6 de agosto de 2024

A capacidade de aplicar filtros de linha e máscaras de coluna a tabelas agora está disponível em geral no Databricks Runtime 12.2 e superior. Filtros de linha e máscaras de colum impedem o acesso a dados confidenciais por usuários especificados. Esses filtros e máscaras são implementados como funções definidas pelo usuário (UDFs) SQL. O GA oferece suporte para a seguinte funcionalidade que não estava disponível na visualização pública:

• Expressões constantes em parâmetros de política (strings, numéricos, intervalos, booleanos, nulos).

• Visualizações materializadas e tabelas de streaming (Visualização Pública).

• Instruções MERGE.

• Amostragem de tabelas.

A versão separada do suporte para controle de acesso refinado em computação de usuário único também expande as opções de computação para trabalhar em tabelas com filtros de linha e máscaras de coluna aplicadas.

Consulte Filtrar dados confidenciais da tabela usando filtros de linha e máscaras de coluna.

Lakehouse Federation está geralmente disponível (GA)

1 de agosto de 2024

No Databricks Runtime 15.2 e posterior e no Databricks SQL versão 2024.30 e posterior, os conectores Lakehouse Federation nos seguintes tipos de banco de dados estão geralmente disponíveis (GA):

• MySQL
• PostgreSQL
• Amazon Redshift
• Snowflake
• Microsoft SQL Server
• Sinapse do Azure (SQL Data Warehouse)
• Databricks

Esta versão também apresenta as seguintes melhorias:

• Suporte para autenticação de logon único (SSO) nos conectores Snowflake e Microsoft SQL Server .

• Suporte do Azure Private Link para o conector do SQL Server a partir de ambientes de computação sem servidor. Consulte Etapa 3: Criar regras de ponto de extremidade privado.

• Suporte para pushdowns adicionais (string, matemática e funções diversas).

• Taxa de sucesso de pushdown melhorada em diferentes formas de consulta.

• Recursos adicionais de depuração por pushdown:

  • A EXPLAIN FORMATTED saída exibe o texto da consulta pressionado.
  • A interface do usuário do perfil de consulta exibe o texto da consulta pressionado, os identificadores de nó federado e os tempos de execução da consulta JDBC (no modo detalhado). Consulte Exibir consultas federadas geradas pelo sistema.