Outubro de 2023

Esses recursos e melhorias na plataforma Azure Databricks foram lançados em outubro de 2023.

Conectividade segura sem servidor para Databricks SQL Serverless (visualização pública)

31 de outubro de 2023

As novas ferramentas de conectividade segura sem servidor ajudam-no a controlar o acesso à rede a partir de armazéns SQL sem servidor para as suas origens de dados no Armazenamento do Azure. Você pode escolher um firewall de armazenamento usando IDs de sub-rede ou habilitar a conectividade privada com o Azure Private Link. Para aderir à Pré-visualização Pública, contacte a sua equipa de conta do Azure Databricks. Consulte Rede de plano de computação sem servidor.

Se você tiver firewalls de armazenamento que foram configurados usando IDs de sub-rede listadas na documentação do Azure Databricks antes de 31 de outubro de 2023, o Databricks recomenda que você atualize suas configurações de firewall para cada uma das regiões do espaço de trabalho usando uma das novas ferramentas. Isso pode ajudá-lo a aplicar uma implantação consistente em todos os espaços de trabalho. Se você optar por não atualizar as configurações existentes, os espaços de trabalho continuarão a funcionar.

Exibir a fonte YAML para um trabalho do Azure Databricks

30 de outubro de 2023

Agora você pode visualizar e copiar a fonte YAML para um trabalho clicando na página de detalhes do trabalho e selecionando Exibir YAML/JSON. Você pode usar a fonte YAML para criar fluxos de trabalho de CI/CD com Databricks Asset Bundles. Consulte O que são Databricks Asset Bundles?.

Adicionar lógica condicional aos seus fluxos de trabalho do Azure Databricks

30 de outubro de 2023

Agora você pode usar a If/else condition tarefa para executar condicionalmente tarefas em um trabalho do Azure Databricks com base nos resultados de uma expressão booleana. Consulte Adicionar lógica de ramificação a um trabalho com a tarefa Se/senão.

Configurar parâmetros em um trabalho do Azure Databricks que podem ser referenciados por todas as tarefas de trabalho

30 de outubro de 2023

Agora você pode adicionar parâmetros aos seus trabalhos do Azure Databricks que são passados automaticamente para todas as tarefas de trabalho que aceitam pares chave-valor. Consulte Configurar parâmetros de trabalho. Além disso, agora você pode usar um conjunto expandido de referências de valor para passar contexto e estado entre tarefas de trabalho. Consulte O que é uma referência de valor dinâmico?.

Ativar automaticamente vetores de exclusão

30 de outubro de 2023

Agora você pode habilitar vetores de exclusão em todas as novas tabelas Delta no Databricks Runtime 14.0 e superior com a configuração de administrador do espaço de trabalho Auto-Enable Deletion Vectors. Esse comportamento é atualmente opt-in, mas mudará para opt-out no futuro. O Databricks recomenda configurar manualmente uma opção para essa configuração. Consulte Ativar vetores de exclusão automáticos.

Suporte do Catálogo Unity para UNDROP TABLE é GA

25 de outubro de 2023

Você pode soltar uma tabela gerenciada ou externa descartada em um esquema existente dentro de sete dias após a queda. Requer Databricks Runtime 12.1 e superior. Consulte UNDROP TABLE e SHOW TABLES DROPPED.

O Partner Connect suporta Dataiku

25 de outubro de 2023

Agora você pode usar o Partner Connect para conectar seu espaço de trabalho do Azure Databricks ao Dataiku. Consulte Conectar-se à Dataiku.

Os blocos de anotações gerados pelo AutoML agora são salvos como artefatos MLflow

24 de outubro de 2023

Os blocos de anotações gerados pelo AutoML agora são salvos como artefatos MLflow em todas as versões do Databricks Runtime for Machine Learning.

Nova região: Qatar Central

23 de outubro de 2023

O Azure Databricks já está disponível no Qatar Central. Consulte Regiões do Azure Databricks.

Volumes do Catálogo Unity suportados com o Firewall do Azure e o Private Link

23 de outubro de 2023

Agora você pode usar os volumes do Catálogo Unity em conjunto com as contas de armazenamento do Azure configuradas com o Firewall do Azure ou o Link Privado. Isso remove uma limitação anterior.

Otimização preditiva (Visualização pública)

24 de outubro de 2023

A otimização preditiva elimina a necessidade de gerenciar manualmente as operações de manutenção para tabelas Delta. As operações de manutenção são executadas apenas conforme necessário, eliminando execuções desnecessárias para operações de manutenção e encargos associados ao desempenho de rastreamento e solução de problemas. Consulte Otimização preditiva para tabelas gerenciadas do Unity Catalog.

As tabelas do sistema de computação já estão disponíveis (Visualização pública)

23 de outubro de 2023

O system.compute esquema contém duas novas tabelas que você pode usar para monitorar os recursos de computação em sua conta: clusters e node_types.

A tabela de clusters é uma tabela de dimensões de mudança lenta que contém o histórico completo de configurações de cluster ao longo do tempo para clusters multifuncionais e de trabalhos. A tabela de tipos de nó captura os tipos de nó atualmente disponíveis com suas informações básicas de hardware. Se você não tiver acesso a essas tabelas do sistema, certifique-se de ter ativado o esquema de computação em sua conta (consulte Habilitar esquemas de tabela do sistema).

Para obter mais informações sobre tabelas do sistema de computação, consulte Referência de tabelas do sistema de computação.

A computação de recursos sob demanda é GA

19 de outubro de 2023

Os recursos de aprendizado de máquina agora podem ser computados sob demanda no momento da inferência. Isso permite que os modelos computem recursos usando entradas que só estão disponíveis no momento da inferência, como o local atual de um usuário, ou usem recursos que são proibitivos em termos de custo para pré-calcular, armazenar e atualizar. O código de treinamento do modelo pode definir um gráfico arbitrário de pesquisas de recursos e cálculos que são executados durante o treinamento e a inferência do modelo.

A lógica de computação de recursos, modelos e dados são todos regidos pelo Unity Catalog. Para obter mais informações, consulte Recursos de computação sob demanda usando funções definidas pelo usuário do Python.

Engenharia de recursos no catálogo Unity é GA

19 de outubro de 2023

Com a Engenharia de Recursos no Unity Catalog, o Unity Catalog se torna sua loja de recursos. Você pode usar qualquer tabela Delta com uma chave primária como uma tabela de recursos para treinamento ou inferência de modelos. O Unity Catalog fornece descoberta e governança de recursos.

Comentários de tabela gerados por IA (Visualização pública)

18 de outubro de 2023

Como parte da iniciativa de usar a IA para ajudá-lo a trabalhar com o Azure Databricks, o Azure Databricks está introduzindo comentários de tabela e coluna gerados por IA na Visualização Pública. No Catalog Explorer, você pode visualizar, editar e adicionar um comentário gerado por IA para qualquer tabela ou coluna de tabela gerenciada pelo Unity Catalog. Os comentários gerados por IA podem usar parceiros de modelo externos para fornecer respostas. Os dados enviados para esses serviços não são usados para treinamento de modelos.

Consulte Adicionar comentários gerados por IA a objetos do Catálogo Unity.

Modelos no catálogo Unity é GA

17 de outubro de 2023

Os modelos de ML no catálogo Unity agora estão disponíveis para o público em geral. O Unity Catalog fornece controle de acesso centralizado, auditoria, linhagem, compartilhamento de modelos entre espaços de trabalho e melhores fluxos de trabalho de implantação de MLOps. O Azure Databricks recomenda o uso de Modelos no Catálogo Unity em vez do Registro do Modelo de Espaço de Trabalho. Consulte Gerenciar o ciclo de vida do modelo no Catálogo Unity para obter detalhes.

Bibliotecas agora suportadas em políticas de computação (Visualização pública)

17 de outubro de 2023

Os administradores de espaços de trabalho agora podem adicionar bibliotecas às políticas de computação. A computação que usa a política instalará automaticamente a biblioteca. Os usuários não podem instalar ou desinstalar bibliotecas de escopo de computação em computação que usam a política. As bibliotecas instaladas anteriormente serão desinstaladas.

O Databricks recomenda migrar todas as bibliotecas instaladas com scripts init para usar políticas de computação. Consulte Adicionar bibliotecas a uma política.

O Partner Connect suporta Monte Carlo

16 de outubro de 2023

Agora você pode usar o Partner Connect para conectar seu espaço de trabalho do Azure Databricks a Monte Carlo. Para obter mais informações, consulte Conectar o Azure Databricks a Monte Carlo.

Pesquisa semântica (Pré-visualização pública)

16 de outubro de 2023

Agora você pode usar linguagem natural para pesquisar tabelas do Catálogo Unity na caixa de diálogo Pesquisa avançada. Veja Pesquisa semântica.

Ativar o Assistente Databricks no nível do espaço de trabalho

11 de outubro de 2023

Um administrador de espaço de trabalho agora pode habilitar ou desabilitar o Assistente Databricks para um espaço de trabalho individual se o administrador da conta tiver permitido. Para obter detalhes, consulte Como habilitar o Databricks Assistant?.

Novos padrões do Photon

11 de outubro de 2023

Ao criar um novo cluster por meio da interface do usuário, o mecanismo de tempo de execução padrão do Databricks é habilitado para Photon. Isso se aplica a clusters polivalentes e de trabalho.

Novos clusters criados com uma política de cluster compatível com Photon têm o Photon habilitado por padrão. Uma política de cluster é compatível com Photon se o Databricks Runtime oferecer suporte a ela, o tipo de nó for suportado e o runtime_engine não estiver explicitamente definido como STANDARD.

Databricks Runtime 14.1 é GA

11 de outubro de 2023

O Databricks Runtime 14.1 e o Databricks Runtime 14.1 ML estão agora disponíveis para o público em geral.

Consulte Databricks Runtime 14.1 e Databricks Runtime 14.1 para Machine Learning.

As notas de versão das ferramentas de desenvolvedor foram movidas

10 de outubro de 2023

As notas de versão das ferramentas de desenvolvedor do Azure Databricks após 10 de outubro de 2023 agora são publicadas nas notas de versão das ferramentas de desenvolvedor e SDKs do Azure Databricks, em vez das notas de versão da plataforma Azure Databricks.

Extensão Databricks para Visual Studio Code atualizada para a versão 1.1.5

9 de outubro de 2023

A extensão Databricks para Visual Studio Code versão 1.1.5 contém algumas correções menores. Para obter detalhes, consulte o changelog para a versão 1.1.5.

E/S preditiva para atualizações é GA

9 de outubro de 2023

A E/S preditiva para atualizações agora está disponível em geral no Databricks Runtime 14.0 e superior. Consulte O que é E/S preditiva?.

Os vetores de exclusão são GA

9 de outubro de 2023

Os vetores de exclusão agora estão geralmente disponíveis no Databricks Runtime 14.0 e superior. Consulte O que são vetores de exclusão?.

O Partner Connect suporta RudderStack

5 de outubro de 2023

Agora você pode usar o Partner Connect para conectar seu espaço de trabalho do Azure Databricks ao RudderStack. Para obter mais informações, consulte Conectar-se ao RudderStack.

CLI do Databricks atualizada para a versão 0.207.0 (Visualização pública)

4 de outubro de 2023

A interface de linha de comando Databricks (Databricks CLI) foi atualizada para a versão 0.207.0. Esta versão contém atualizações de recursos e correções para Databricks Asset Bundles, faz adições e alterações em vários grupos de comandos e comandos e muito mais. Para obter detalhes, consulte o changelog para a versão 0.207.0.

Executar células selecionadas num bloco de notas

4 de outubro de 2023

Agora você pode executar apenas células selecionadas em um bloco de anotações. Consulte Executar células selecionadas.

Usar a vinculação de catálogo de espaço de trabalho para conceder acesso somente leitura a um catálogo

4 de outubro de 2023

Ao usar a associação de catálogo de espaço de trabalho para limitar o acesso ao catálogo a espaços de trabalho específicos em sua conta, agora você pode tornar esse acesso somente leitura. A vinculação de catálogo de espaço de trabalho somente leitura é útil para cenários como dar aos usuários acesso somente leitura aos dados de produção de um espaço de trabalho do desenvolvedor para habilitar o desenvolvimento e o teste.

Esta atualização também substitui o ponto de extremidade da /api/2.1/unity-catalog/workspace-bindings/ API e o substitui pelo /api/2.1/unity-catalog/bindings/.

Consulte Limitar o acesso do catálogo a espaços de trabalho específicos.

Extensão Databricks para Visual Studio Code atualizada para a versão 1.1.4

2 de outubro de 2023

A extensão Databricks para Visual Studio Code versão 1.1.4 adiciona suporte para URLs de espaço de trabalho personalizadas do Azure Databricks e muito mais. Para obter detalhes, consulte o changelog para a versão 1.1.4.

Databricks SDK para Python atualizado para a versão 0.10.0 (Beta)

3 de outubro de 2023

O Databricks SDK para Python versão 0.10.0 introduz 7 alterações de quebra, adiciona 10 classes de dados, adiciona 6 campos e adiciona um serviço. Para obter detalhes, consulte o changelog para a versão 0.10.0.

Databricks SDK for Go atualizado para a versão 0.22.0 (Beta)

3 de outubro de 2023

O Databricks SDK for Go versão 0.22.0 introduz uma alteração de API de quebra e adiciona uma API. Para obter detalhes, consulte o changelog para a versão 0.22.0.

Volumes do Catálogo Unity agora em Visualização Pública para o Azure China

2 de outubro de 2023

Os volumes do Catálogo Unity agora estão disponíveis como um recurso de Visualização Pública nas regiões do Azure China. Consulte O que são volumes do Catálogo Unity?.