Fevereiro de 2022

Esses recursos e melhorias na plataforma Azure Databricks foram lançados em fevereiro de 2022.

Agendamento mais fácil para seus pipelines Delta Live Tables (Visualização pública)

28 de fevereiro a 2 de março de 2022

Agora você pode criar um trabalho agendado do Azure Databricks para seus pipelines acionados diretamente da interface do usuário do Delta Live Tables. Anteriormente, você precisava criar o trabalho e o agendamento para executá-lo a partir da interface do usuário de trabalhos.

Navegue facilmente pelo histórico das atualizações do pipeline do Delta Live Tables (Visualização pública)

28 de fevereiro a 2 de março de 2022

Agora você pode ver um histórico de atualizações de pipeline, incluindo o status da atualização, detalhes e eventos, com a lista suspensa Histórico de atualizações na interface do usuário Delta Live Tables.

Garantir a idempotência do trabalho para a solicitação Executar agora da API de Trabalhos

22 a 28 de fevereiro de 2022: Versão 3.66

Agora você pode usar o parâmetro opcional idempotency_token com a operação Jobs API Run now para garantir que exatamente uma execução de um trabalho seja iniciada. Anteriormente, o envio de várias Run now solicitações para o mesmo trabalho pode ter iniciado mais de uma execução.

Para saber mais sobre a idempotência do trabalho, consulte Como garantir a idempotência para trabalhos.

Melhorias na estabilidade e escalabilidade do serviço de trabalhos

22 a 28 de fevereiro de 2022: Versão 3.66

As seguintes alterações aumentam a estabilidade e a escalabilidade do serviço Jobs:

• A cada novo trabalho é atribuído um identificador mais longo, exclusivo, numérico e não sequencial. Os clientes que usam a API Jobs e dependem de um comprimento de identificador fixo ou identificadores sequenciais ou monotonicamente crescentes devem ser modificados para aceitar identificadores mais longos, não sequenciais e não ordenados. O tipo de identificador permanece inalterado e a compatibilidade é preservada para clientes que usam números de int64 ponto flutuante de 64 bits IEEE 754, por exemplo, clientes JavaScript.
• O valor do campo, incluído na resposta a algumas solicitações da API de number_in_job Trabalhos, agora está definido com o mesmo valor run_idque .

Comparar execuções MLflow de diferentes experimentos

22 a 28 de fevereiro de 2022: Versão 3.66

Agora você pode exibir e comparar execuções de vários experimentos. Consulte Comparar execuções de vários experimentos.

Melhorias na exibição de execuções de comparação MLflow

22 a 28 de fevereiro de 2022: Versão 3.66

A exibição de comparações de execuções foi melhorada. As visualizações agora aparecem na parte superior da página. Agora você pode percorrer ou recolher as tabelas que mostram informações, parâmetros e métricas de execução. Agora você também pode simplificar a exibição ocultando parâmetros e métricas que não variam entre as execuções.

Para obter informações sobre a página comparar execuções, consulte Comparar execuções. Para obter instruções sobre como comparar execuções, consulte Comparar execuções.

Visibilidade aprimorada dos proprietários de execução de tarefas na interface do usuário de clusters

22 a 28 de fevereiro de 2022: Versão 3.66

A guia Clusters de trabalho na interface do usuário de computação foi atualizada para mostrar o trabalho executado como usuário em vez de proprietário do trabalho. Esta atualização é baseada em alterações no modelo de permissões de trabalhos e fornece visibilidade aprimorada sobre o proprietário de uma execução de trabalho. Consulte Ver computação.

Soltar colunas do conjunto de dados no AutoML

22 a 28 de fevereiro de 2022: Versão 3.66

No Databricks Runtime 10.3 ML e superior, para problemas de classificação e regressão, agora você pode especificar colunas no conjunto de dados que o AutoML não deve usar para treinamento. Consulte Referência da API do AutoML Python.

A página de experiências é GA

22 a 28 de fevereiro de 2022: Versão 3.66

A página de experiências está agora disponível para o público em geral.

Suporte para tabelas temporárias na interface Python do Delta Live Tables

22 a 28 de fevereiro de 2022: Versão 3.66

Agora você pode usar a temporary propriedade ao declarar tabelas com a interface Python do Delta Live Tables. A definição de uma tabela temporária instrui as Tabelas Dinâmicas Delta a não persistirem metadados para a tabela e impede a publicação da tabela quando a target configuração é configurada. Consulte a especificação Python para obter informações sobre como definir tabelas Python.

Melhorias na interface do usuário para Delta Live Tables (Visualização pública)

22 a 28 de fevereiro de 2022: Versão 3.66

Esta versão inclui os seguintes aprimoramentos para a interface do usuário do Delta Live Tables:

• Agora você pode editar as configurações do pipeline na caixa de diálogo Configurações na interface do usuário Delta Live Tables, fornecendo uma interface mais amigável. Anteriormente, você estava limitado a alterar as configurações editando a especificação JSON. Para selecionar a exibição UI ou JSON para editar as configurações do pipeline, clique no botão UI ou JSON na caixa de diálogo Configurações .
• O log de eventos na página Detalhes do pipeline agora destaca os registros de erros, facilitando a identificação e a resolução de erros em seus pipelines.
• A exibição do progresso dos pipelines em execução foi melhorada. Agora, quando você visualiza o gráfico do seu pipeline, os nós no estado têm uma borda de entrada animada RUNNING e uma borda superior animada.

Termina o suporte da série Databricks Runtime 9.0

17 de fevereiro de 2022

O suporte para Databricks Runtime 9.0 e Databricks Runtime 9.0 para Machine Learning terminou em 17 de fevereiro. Consulte Ciclos de vida de suporte do Databricks.

Atualizações da página inicial de Ciência de Dados e Engenharia

10 de fevereiro de 2022

Atualizamos a aparência da página inicial de Ciência de Dados e Engenharia. Alguns links foram alterados, mas não há outras alterações de funcionalidade notáveis.

O Databricks Repos agora oferece suporte ao AWS CodeCommit para integração com Git

7 a 14 de fevereiro de 2022: Versão 3.65

Agora você pode usar repositórios do AWS CodeCommit com Databricks Repos.

Visualização aprimorada para seus pipelines Delta Live Tables (visualização pública)

7 a 14 de fevereiro de 2022: Versão 3.65

A visualização do DAG do pipeline foi redesenhada para melhorar a usabilidade e a navegação. As melhorias incluem uma alteração para exibir gráficos da esquerda para a direita em vez de de cima para baixo, fornecendo uma visão mais intuitiva da execução do pipeline.

Analisador Markdown atualizado

7 a 14 de fevereiro de 2022: Versão 3.65

O analisador Markdown usado nos blocos de anotações do Azure Databricks foi atualizado. Alguns dos problemas observados com a atualização anterior foram corrigidos. Especificamente, não é mais necessário colocar um espaço entre as hashtags e o texto de um título, e os links com espaços agora são renderizados corretamente.

Delta Live Tables agora suporta processamento de captura de dados de alteração (Visualização pública)

7 a 14 de fevereiro de 2022: Versão 3.65

Agora você pode implementar o processamento de captura de dados de alteração (CDC) em seus pipelines Delta Live Tables. O processamento CDC é suportado com as interfaces SQL e Python. Consulte As APIs APPLY CHANGES: Simplifique a captura de dados de alteração com o Delta Live Tables.

Metastores adicionais agora disponíveis em várias regiões

8 de fevereiro de 2022

Os seguintes metastores estão agora disponíveis nas seguintes regiões:

brazilsouth:

• consolidated-brazilsouth-prod-metastore.mysql.database.azure.com

centralus:

• consolidated-centralus-prod-metastore-addl-2.mysql.database.azure.com
• consolidated-centralus-prod-metastore-addl-3.mysql.database.azure.com

eastus:

• consolidated-eastus-prod-metastore-addl-2.mysql.database.azure.com
• consolidated-eastus-prod-metastore-addl-3.mysql.database.azure.com
• consolidated-eastus-prod-metastore-addl-4.mysql.database.azure.com

eastus2

• consolidated-eastus2-prod-metastore-addl-2.mysql.database.azure.com
• consolidated-eastus2-prod-metastore-addl-3.mysql.database.azure.com

francecentral

• consolidated-francecentral-prod-metastore.mysql.database.azure.com

northeurope

• consolidated-northeurope-prod-metastore-addl-2.mysql.database.azure.com
• consolidated-northeurope-prod-metastore-addl-3.mysql.database.azure.com

southeastasia

• consolidated-southeastasia-prod-metastore-addl-1.mysql.database.azure.com

switzerlandnorth

• consolidated-switzerlandnorth-prod-metastore-0.mysql.database.azure.com

switzerlandwest

• consolidated-switzerlandwest-prod-metastore-0.mysql.database.azure.com

uksouth

• consolidated-uksouth-prod-metastore-addl-1.mysql.database.azure.com

westeurope

• consolidated-westeurope-prod-metastore-addl-2.mysql.database.azure.com
• consolidated-westeurope-prod-metastore-addl-3.mysql.database.azure.com

Você deve sempre incluir todos os nomes de host relevantes para cada região que você usa em suas rotas definidas pelo usuário (UDRs). Consulte Configurações de rota definidas pelo usuário para o Azure Databricks.

Selecionar estruturas de algoritmo para usar com o AutoML

7 a 14 de fevereiro de 2022: Versão 3.65

No Databricks Runtime 10.3 ML e superior, você pode especificar estruturas de algoritmo, como scikit-learn, que o AutoML não deve considerar ao desenvolver modelos. Por padrão, o AutoML considera modelos de scikit-learn, XGBoost e LightGBM para problemas de classificação e regressão, e de Prophet e Auto-ARIMA para problemas de previsão. Consulte Referência da API do AutoML Python.

Os modelos de MLflow hospedados pelo Databricks agora podem procurar recursos de lojas online

3 de fevereiro de 2022

Os modelos embalados com metadados da Feature Store podem procurar automaticamente valores de recursos de lojas online no momento do serviço.

Databricks Runtime 10.3 e 10.3 ML são GA; 10.3 Photon é visualização pública

2 de fevereiro de 2022

O Databricks Runtime 10.3 e o Databricks Runtime 10.3 ML estão agora disponíveis para o público em geral. O Databricks Runtime 10.3 Photon está em Visualização Pública.