Setembro de 2023

Esses recursos e melhorias na plataforma Azure Databricks foram lançados em setembro de 2023.

Lakehouse Federation disponível em clusters de usuário único

29 de setembro de 2023

A Lakehouse Federation agora está disponível em clusters de usuário único usando o Databricks Runtime 13.1 e superior. Somente o proprietário da conexão pode executar consultas em catálogos federados. Veja O que é Lakehouse Federation?.

Delegar a capacidade de criar uma credencial de armazenamento no Unity Catalog

29 de setembro de 2023

Agora você pode conceder permissões aos usuários para criar uma credencial de armazenamento em um metastore do Unity Catalog usando o novo CREATE STORAGE CREDENTIAL privilégio. Consulte CRIAR CREDENCIAL DE ARMAZENAMENTO.

Databricks Runtime 14.1 (Beta)

28 de setembro de 2023

O Databricks Runtime 14.1 e o Databricks Runtime 14.1 ML já estão disponíveis como versões Beta.

Consulte Databricks Runtime 14.1 e Databricks Runtime 14.1 para Machine Learning.

Modelo de GPU otimizado para LLMs em visualização pública

28 de setembro de 2023

O modelo que serve no Azure Databricks dá suporte à implantação de modelos PyTorch e TensorFlow usando recursos de computação de GPU. Essa funcionalidade está na visualização pública em regiões selecionadas e também se aplica à implantação de GPU de modelos registrados com mlflow.pyfunc, mlflow.pytorch, mlflow.tensorflowe mlflow.transformers sabores. Consulte Tipos de carga de trabalho de GPU.

Esta pré-visualização também inclui suporte para implementação de GPU otimizada para servir modelos de linguagem grandes. Consulte Servindo modelo de linguagem grande (LLM) otimizado

Impedir que execuções de um trabalho sejam ignoradas quando você atingir os limites de simultaneidade

setembro 27, 2023 - outubro 2, 2023

Para evitar que execuções de um trabalho do Azure Databricks sejam ignoradas devido a limites de simultaneidade, agora você pode habilitar a fila no trabalho. Quando a fila está habilitada, se um limite de simultaneidade for atingido, o trabalho será colocado em uma fila até que a capacidade esteja disponível para executar o trabalho. Consulte Habilitar fila de execuções de trabalho.

Databricks Terraform provedor atualizado para a versão 1.27.0

27 de setembro de 2023

Databricks Terraform provider versão 1.27.0 adiciona owner e force_destroy para databricks_metastore_data_access, inclui várias melhorias adicionais e correções de bugs, e muito mais. Para obter detalhes, consulte o changelog para a versão 1.27.0.

CLI do Databricks atualizada para a versão 0.206.0 (Visualização pública)

27 de setembro de 2023

A interface de linha de comando Databricks (Databricks CLI) foi atualizada para a versão 0.206.0. Esta versão permite substituições de destino para clusters de pipeline no Databricks Asset Bundles, melhora a experiência de inicialização do modelo de pacote e muito mais. Para obter detalhes, consulte o changelog para a versão 0.206.0.

Databricks SDK for Go atualizado para a versão 0.21.0 (Beta)

27 de setembro de 2023

O Databricks SDK for Go versão 0.21.0 introduz mais de uma dúzia de alterações de API de quebra, adiciona mais de uma dúzia de APIs e adiciona uma dúzia de campos. Para obter detalhes, consulte o changelog para a versão 0.21.0.

As tabelas de inferência para pontos de extremidade de serviço de modelo são Visualização Pública

26 de setembro de 2023

Habilite tabelas de inferência em seu modelo servindo pontos de extremidade para capturar solicitações de entrada e respostas de saída para esses pontos de extremidade e registre-as como uma tabela Delta do Catálogo Unity. Por sua vez, você pode usar os dados nesta tabela para monitorar, depurar e melhorar modelos de ML. Consulte Tabelas de inferência para monitorar e depurar modelos.

Para se inscrever na Pré-visualização Pública, contacte a sua equipa de conta do Azure Databricks.

Databricks driver ODBC 2.7.5

23 de setembro de 2023

Lançamos a versão 2.7.5 do driver ODBC Databricks (download). Esta versão adiciona os seguintes novos recursos e aprimoramentos:

• Aprimoramento da autenticação do cliente OAuth 2.0 e suporte à descoberta de ponto de extremidade OIDC.
• Criptografia do lado do servidor com chaves fornecidas pelo cliente.
• Função Data/hora.
• Mensagens de erro melhoradas para o Cloud Fetch.
• Atualizações de segurança.

Esta versão também resolve a seguinte regressão na versão 2.7.3:

• A SQLForeignKeys função retorna um resultado vazio se o chamador passar um NULL valor para o catálogo da tabela primária ou da tabela estrangeira.

A versão 2.7.5 agora retorna todas as chaves primárias ou chaves estrangeiras associadas à tabela relacionada se o catálogo da outra tabela estiver definido NULL.

Extensão Databricks para Visual Studio Code atualizada para a versão 1.1.3

21 de setembro de 2023

A extensão Databricks para Visual Studio Code versão 1.1.3 adiciona algumas correções menores. Para obter detalhes, consulte o changelog para a versão 1.1.3.

Executar trabalhos como uma entidade de serviço é GA

21 de setembro de 2023

As funções em entidades de serviço e a configuração do trabalho para executar trabalhos usando a identidade da entidade de serviço agora são GA.

Consulte Funções para gerenciar entidades de serviço e Configurar identidade para execuções de tarefas.

CLI do Databricks atualizada para a versão 0.205.2 (Visualização pública)

21 de setembro de 2023

A interface de linha de comando Databricks (Databricks CLI) foi atualizada para a versão 0.205.2. Esta versão contém algumas pequenas atualizações. Para obter detalhes, consulte o changelog para a versão 0.205.2.

CLI do Databricks atualizada para a versão 0.205.1 (Visualização pública)

20 de setembro de 2023

A interface de linha de comando Databricks (Databricks CLI) foi atualizada para a versão 0.205.1. Esta versão permite substituições de destino para tarefas de trabalho no Databricks, Asset Bundles e muito mais. Para obter detalhes, consulte o changelog para a versão 0.205.1.

Databricks SDK for Go atualizado para a versão 0.20.0 (Beta)

20 de setembro de 2023

O Databricks SDK for Go versão 0.20.0 adiciona mais de uma dúzia de APIs, adiciona meia dúzia de campos, altera alguns campos e métodos e remove algumas APIs. Para obter detalhes, consulte o changelog para a versão 0.20.0.

Databricks SDK para Python atualizado para a versão 0.9.0 (Beta)

20 de setembro de 2023

O Databricks SDK para Python versão 0.9.0 altera alguns métodos e campos, adiciona cerca de 10 campos, adiciona cerca de 20 classes de dados e introduz alterações e remoções adicionais. Para obter detalhes, consulte o changelog para a versão 0.9.0.

Databricks SDK para Python atualizado para a versão 0.7.1 (Beta)

20 de setembro de 2023

O Databricks SDK para Python versão 0.7.1 inclui uma pequena correção para melhorar o desempenho do download de arquivos. Para obter detalhes, consulte o changelog para a versão 0.7.1.

Databricks Terraform provedor atualizado para a versão 1.26.0

20 de setembro de 2023

Databricks Terraform provider versão 1.26.0 adiciona suporte para scripts init de volumes do Unity Catalog, inclui várias melhorias adicionais e correções de bugs, e muito mais. Para obter detalhes, consulte o changelog para a versão 1.26.0.

Databricks Connect para Databricks Runtime 14.0

20 de setembro de 2023

O Databricks Connect for Databricks Runtime 14.0 suporta streaming estruturado completo (incluindo foreachBatch) e consultas de longa execução que são reanexadas à consulta após interrupção.

Painéis Lakeview na visualização pública

20 de setembro de 2023

Os painéis do Lakeview permitem compartilhar visualizações e conjuntos de dados usando um modelo de governança de dados simplificado e unificado. Consulte Painéis.

Databricks Connect V2 é visualização pública para Scala

19 de setembro de 2023

O Databricks Connect for Databricks Runtime 13.3 LTS agora suporta Scala na visualização pública, incluindo DataFrames, Delta, Structured Streaming e muito mais.

Para Python, o cancelamento de consultas agora é suportado, e a DatabricksSession classe agora pode ser usada em blocos de anotações e trabalhos do Azure Databricks.

Modelo de GPU a servir na Pré-visualização Pública

19 de setembro de 2023

O modelo que serve no Azure Databricks dá suporte à implantação de modelos PyTorch e TensorFlow usando recursos de computação de GPU. Essa funcionalidade está em [Visualização pública] em regiões selecionadas e também se aplica à implantação de GPU de modelos registrados com mlflow.pyfunc, mlflow.pytorch, mlflow.tensorflowe mlflow.transformers sabores. Consulte Tipos de carga de trabalho de GPU.

Computação de recursos sob demanda agora disponível no Catálogo Unity (Visualização pública)

14 de setembro de 2023

Os recursos de aprendizado de máquina agora podem ser computados sob demanda no momento da inferência. A lógica de computação de recursos, modelos e dados são todos regidos pelo Unity Catalog. Isso permite que os modelos computem recursos usando entradas que só estão disponíveis no momento da inferência, como a localização atual de um usuário. Para obter mais informações, consulte Recursos de computação sob demanda usando funções definidas pelo usuário do Python.

Databricks Runtime 14.0 é GA

14 de setembro de 2023

O Databricks Runtime 14.0 e o Databricks Runtime 14.0 ML estão agora disponíveis para o público em geral.

Consulte Databricks Runtime 14.0 (EoS) e Databricks Runtime 14.0 para Machine Learning (EoS).

Atualização de notificações por e-mail da conta

14 de setembro de 2023

O Databricks não envia mais notificações por email quando os usuários são adicionados a uma conta do Azure Databricks. Os usuários continuarão a receber notificações por e-mail quando tiverem acesso a um espaço de trabalho.

Databricks Terraform provedor atualizado para a versão 1.25.1

13 de setembro de 2023

Databricks Terraform provider versão 1.25.1 foi lançado com pequenas melhorias e correções de bugs. Para obter detalhes, consulte o changelog para a versão 1.25.1.

Databricks SDK for Go atualizado para a versão 0.19.2 (Beta)

13 de setembro de 2023

O Databricks SDK for Go versão 0.19.2 contém uma pequena correção. Para obter detalhes, consulte o changelog para a versão 0.19.2.

CLI do Databricks atualizada para a versão 0.205.0 (Visualização pública)

13 de setembro de 2023

A interface de linha de comando Databricks (Databricks CLI) foi atualizada para a versão 0.205.0. Esta é a primeira versão da CLI do Databricks a oferecer suporte a pacotes de ativos Databricks na visualização pública. Para obter detalhes, consulte o changelog para a versão 0.205.0.

Local reservado para /Workspace

13 de setembro de 2023

O local /Workspace está agora reservado. Não é mais possível definir um diretório nomeado /Workspace relativo ao caminho raiz no Azure Databricks.

Databricks Asset Bundles (Visualização pública)

12 de setembro de 2023

Os pacotes de ativos Databricks, agora em visualização pública, permitem que dados, análises e projetos de ML de ponta a ponta sejam expressos como uma coleção de arquivos de origem. Isso simplifica a aplicação das práticas recomendadas de engenharia de dados, como controle do código-fonte, revisão de código, testes e CI/CD.

Databricks Terraform provedor atualizado para a versão 1.25.0

12 de setembro de 2023

A versão 1.25.0 do provedor Databricks Terraform inclui a adição de permissão para armazéns SQL Databricks, pequenas correções, atualizações de IS_OWNER documentação e muito mais. Para obter detalhes, consulte o changelog para a versão 1.25.0.

Extensão Databricks para Visual Studio Code atualizada para a versão 1.1.2

12 de setembro de 2023

A extensão Databricks para Visual Studio Code versão 1.1.2 adiciona suporte experimental para %run e # MAGIC em blocos de anotações do Azure Databricks, corrige problemas de caminho com várias instalações locais da CLI do Databricks e muito mais. Para obter detalhes, consulte o changelog para a versão 1.1.2.

O Partner Connect suporta Snowplow

12 de setembro de 2023

Agora você pode usar o Partner Connect para conectar seu espaço de trabalho do Azure Databricks ao Snowplow. Para obter mais informações, consulte Conectar-se ao Snowplow.

CLI do Databricks atualizada para a versão 0.204.1 (Visualização pública)

11 de setembro de 2023

A interface de linha de comando Databricks (Databricks CLI) foi atualizada para a versão 0.204.1. Para obter detalhes, consulte o changelog para a versão 0.204.1.

Filtrar dados confidenciais com filtros de linha e máscaras de coluna (Pré-visualização Pública)

11 de setembro de 2023

Agora você pode aplicar filtros de linha e máscaras de coluna a tabelas para impedir o acesso a dados confidenciais por determinados usuários. Esses filtros e máscaras são implementados como funções definidas pelo usuário (UDFs) SQL. Consulte Filtrar dados confidenciais da tabela usando filtros de linha e máscaras de coluna.

As tabelas do sistema agora incluem o esquema do Marketplace (Visualização pública)

8 de setembro de 2023

As tabelas do sistema agora incluem um marketplace esquema que armazena dados do provedor do Marketplace. Você pode consultar a marketplace.listing_access_events tabela para recuperar as informações do consumidor para ações realizadas em seus anúncios. Para obter mais informações, consulte Referência de tabelas do sistema do Marketplace.

A tabela do sistema de preços já está disponível (Visualização pública)

8 de setembro de 2023

As tabelas do sistema agora incluem uma tabela de preços (system.billing.list_prices) onde você pode monitorar o custo de uma SKU ao longo do tempo. Esses logs podem ajudá-lo a realizar análises de custos e monitorar alterações de preços. Consulte Referência da tabela do sistema de preços.

Databricks SDK for Go atualizado para a versão 0.19.1 (Beta)

7 de setembro de 2023

O Databricks SDK for Go versão 0.19.1 continua algumas pequenas atualizações e correções. Para obter detalhes, consulte o changelog para a versão 0.19.1.

Databricks driver ODBC 2.7.3

7 de setembro de 2023

Lançamos a versão 2.7.3 do driver ODBC Databricks (download). Esta versão inclui os seguintes recursos e correções:

• Correções de vulnerabilidades atualizando dependências de terceiros.
• SQL_ATTR_MAX_ROWS suporte que permite que um cliente limite o número de linhas a serem buscadas em uma consulta para agilizar o carregamento rápido (como visualização).
• Suporte MacOS atualizado. O driver agora suporta Apple Silicon/M1.
• Suporte à autenticação baseada em navegador OAuth2 para facilitar o logon único (SSO).

CLI do Databricks atualizada para a versão 0.204.0 (Visualização pública)

6 de setembro de 2023

A interface de linha de comando Databricks (Databricks CLI) foi atualizada para a versão 0.204.0. Esta versão inclui o agrupamento de comandos relacionados a permissões, adiciona e altera vários comandos e muito mais. Para obter detalhes, consulte o changelog para a versão 0.204.0.

O Data Explorer agora é o Catalog Explorer

6 de setembro de 2023

O Data Explorer é renomeado para Catalog Explorer para reconhecer o fato de que você pode usá-lo para trabalhar com todos os objetos protegíveis no Unity Catalog, não apenas com objetos de dados. Consulte O que é o Catalog Explorer?.

Databricks SDK for Go atualizado para a versão 0.19.0 (Beta)

4 de setembro de 2023

O Databricks SDK for Go versão 0.19.0 renomeia APIs de permissões, adiciona 8 APIs, adiciona 5 campos, altera e remove alguns campos e altera alguns métodos. Para obter detalhes, consulte o changelog para a versão 0.19.0.

Databricks SDK para Python atualizado para a versão 0.8.0 (Beta)

4 de setembro de 2023

O Databricks SDK para Python versão 0.8.0 renomeia APIs de permissões, adiciona meia dúzia de campos, adiciona meia dúzia de classes de dados e introduz várias alterações e remoções. Para obter detalhes, consulte o changelog para a versão 0.8.0.

Delegar privilégios de lista de permissões no Catálogo Unity

1 de setembro de 2023

Agora você pode delegar privilégios para gerenciar itens na lista de permissões do Unity Catalog. Consulte Bibliotecas Allowlist e scripts init em computação compartilhada.

A integração de aplicativos GitHub no Repos é GA

1 de setembro de 2023

A integração de aplicativos GitHub no Repos é GA. O recurso permite um gerenciamento de credenciais Git mais simples quando você se integra ao GitHub em Repos.