Julho de 2021

Esses recursos e melhorias na plataforma Azure Databricks foram lançados em julho de 2021.

Gerenciar permissões de experimento MLflow com a API REST do Databricks

29 de julho a 2 de agosto de 2021: Versão 3.51

Agora você pode usar a API de permissões das APIs REST do Databricks para gerenciar quais usuários podem ler, editar ou gerenciar experimentos MLflow. Consulte API de permissões.

A interface Web do Azure Databricks está localizada em português e francês (Pré-visualização Pública)

29 de julho de 2021

Agora você pode usar o Azure Databricks em francês e português, e mais idiomas estão planejados para os próximos trimestres. Vá para Configurações no menu superior direito da interface do usuário da Web e clique na guia Preferências para alterar seu idioma.

Termina o suporte do Databricks Runtime 5.5 LTS for Machine Learning, substituído pela versão de Suporte Estendido

27 de julho de 2021

O suporte ao Databricks Runtime 5.5 ML LTS terminou em 27 de julho de 2021, mas o novo Databricks Runtime 5.5 ML Extended Support (EoS) será suportado até o final de 2021. O Suporte Estendido do Databricks Runtime 5.5 ML usa o Ubuntu 18.04.5 LTS em vez da distribuição obsoleta do Ubuntu 16.04.6 LTS usada no Databricks Runtime 5.5 ML LTS original. O suporte ao Ubuntu 16.04.6 LTS cessou em 1 de abril de 2021. Para obter mais informações sobre as diferenças entre o Databricks Runtime 5.5 Extended Support e o Databricks Runtime 5.5 LTS, consulte Databricks Runtime 5.5 ML Extended Support (EoS).

O suporte ao Databricks Light 2.4 termina em 5 de setembro, substituído pela versão de suporte estendido

27 de julho de 2021

O suporte para o Databricks Light 2.4 original termina em 5 de setembro. 2021, mas o novo Databricks Light 2.4 Extended Support (EoS) será suportado até 27 de julho de 2022. O Suporte Estendido do Databricks Light 2.4 usa o Ubuntu 18.04.5 LTS em vez da distribuição obsoleta do Ubuntu 16.04.6 LTS usada no Databricks Light 2.4 original. O suporte ao Ubuntu 16.04.6 LTS cessou em 1 de abril de 2021. A Databricks recomenda que você migre suas cargas de trabalho Light para a versão de suporte estendido assim que puder.

Nova região do Azure: Alemanha Centro-Oeste

27 de julho de 2021

Azure Databricks agora está disponível na região Centro-Oeste da Alemanha.

Informações de atualização do recurso disponíveis na interface do usuário do Databricks Feature Store (Visualização pública)

26 de julho a 2 de agosto de 2021: Versão 3.51

A interface do usuário do Databricks Feature Store agora mostra a última vez que os dados foram gravados em uma tabela de recursos. Ele também mostra se uma tabela de recursos é atualizada por um trabalho agendado e, em caso afirmativo, o cronograma e o status do trabalho.

Exibir até 10.000 linhas de resultados

26 de julho a 2 de agosto de 2021: Versão 3.51

Anteriormente, um máximo de 1000 linhas era exibido em um bloco de anotações. Agora, se uma tabela retornar mais de 1000 linhas, você poderá optar por executar novamente a consulta e exibir até 10.000 linhas. Requer Databricks Runtime 8.4 ou superior. Para obter mais informações, consulte Download results.

Importar e exportar blocos de anotações em massa em uma pasta como arquivos de origem

26 de julho a 2 de agosto de 2021: Versão 3.51

Agora você pode exportar a origem de todos os blocos de anotações em uma pasta de espaço de trabalho como um arquivo ZIP. Você pode importar o arquivo ZIP para outro espaço de trabalho ou outra pasta no mesmo espaço de trabalho para recriar todos os blocos de anotações exportados lá. O ficheiro de origem de um bloco de notas está no idioma predefinido do bloco de notas. Por exemplo, a fonte de um notebook Python é um arquivo Python.

Os arquivos de origem do bloco de anotações não incluem resultados de comandos do bloco de anotações e são apropriados para uso em um pipeline de CI/CD. Anteriormente, você podia exportar a fonte para apenas um bloco de anotações de cada vez, de dentro do editor de bloco de anotações, ou você podia exportar todos os blocos de anotações em uma pasta como arquivos HTML ou como um arquivo Databricks (com a extensão .dbc), o que incluiria resultados de comando de bloco de anotações, a menos que o bloco de anotações fosse limpo antes de exportar.

Para obter mais informações sobre como importar e exportar blocos de anotações, consulte Gerenciar blocos de anotações.

O preenchimento automático em blocos de anotações SQL agora usa todas as letras maiúsculas para palavras-chave SQL

26 de julho a 2 de agosto de 2021: Versão 3.51

Quando você usa TAB para preencher automaticamente uma palavra-chave SQL em um bloco de anotações, o resultado do preenchimento automático agora é capitalizado. Por exemplo, SELECT é mostrado, em vez de select. Isso não afetará a consulta, pois as palavras-chave SQL não diferenciam maiúsculas de minúsculas.

Widgets reordenáveis e redimensionáveis em blocos de anotações

26 de julho a 2 de agosto de 2021: Versão 3.51

Agora você pode alterar a ordem e os tamanhos dos widgets Databricks em um bloco de anotações clicando na barra de widgets do bloco de anotações. Consulte Definir configurações do widget.

Correções de usabilidade da interface do usuário do Azure Databricks

26 de julho a 2 de agosto de 2021: Versão 3.51

Esta versão resolve um problema que impedia o uso da ESC chave para fechar algumas caixas de diálogo na interface do usuário do Azure Databricks, incluindo:

• A caixa de diálogo Exibir JSON na interface do usuário de trabalhos.
• A caixa de diálogo Editar Agenda na interface do usuário de trabalhos.
• A caixa de diálogo Configurações de Logout Único na interface do usuário do administrador.
• A caixa de diálogo Criar bloco de anotações .

Defina rapidamente as configurações de pipeline ao criar um novo pipeline Delta Live Tables

26 de julho a 2 de agosto de 2021: Versão 3.51

Ao criar um novo pipeline, agora você pode definir as configurações diretamente na caixa de diálogo Criar pipeline na interface do usuário Delta Live Tables.

Databricks Runtime 8.4 e 8.4 ML são GA; 8.4 Photon é visualização pública

20 de julho de 2021

Databricks Runtime 8.4 e 8.4 ML agora estão disponíveis para o público em geral. 8.4 Photon está em Visualização Pública.

Para obter informações, consulte as notas de versão completas em Databricks Runtime 8.4 (EoS) e Databricks Runtime 8.4 for ML (EoS).

Usar o Spark SQL com a API Python do Delta Live Tables

12 a 19 de julho de 2021: Versão 3.50

Agora você pode usar as seguintes funções com a API Python do Delta Live Tables:

• A spark.table função para executar leituras em lote em conjuntos de dados definidos em um pipeline.
• A spark.sql função para usar uma consulta SQL para definir um conjunto de dados. As consultas SQL podem usar recursos específicos do Delta Live Tables, incluindo referências a conjuntos de dados internos usando a LIVE palavra-chave e leituras incrementais usando a STREAM palavra-chave.

Para obter mais detalhes, consulte a referência da linguagem Python.

Processamento e análise de dados aprimorados com trabalhos do Azure Databricks (Visualização Pública)

12 a 19 de julho de 2021: Versão 3.50

A Databricks tem o prazer de anunciar uma atualização para os trabalhos do Azure Databricks que permite orquestrar e executar um trabalho com várias tarefas. Você pode usar isso para definir um gráfico acíclico direcionado (DAG) de dependências de tarefas, facilitando a criação e o monitoramento de dados confiáveis e fluxos de trabalho de aprendizado de máquina. Esta funcionalidade está em pré-visualização pública e está desativada por predefinição.

Consulte Programar e orquestrar fluxos de trabalho para obter detalhes.

Custo reduzido para clusters padrão do Delta Live Tables (visualização pública)

12 a 19 de julho de 2021: Versão 3.50

Para controlar os custos, as seguintes alterações foram feitas nos clusters padrão do Delta Live Tables:

• Altere o tipo de instância padrão para Standard_F8s.
• Habilite o dimensionamento automático por padrão com min workers igual a 1 e max workers igual a 5.

Classificar pipelines por nome na interface do usuário do Delta Live Tables (Visualização pública)

12 a 19 de julho de 2021: Versão 3.50

Agora você pode clicar no cabeçalho da coluna Nome na interface do usuário Delta Live Tables para classificar pipelines por nome em ordem crescente (A -> Z) ou ordem decrescente (Z -> A).

Alterações na página Computação

12 a 19 de julho de 2021: Versão 3.50

Os links Bibliotecas, Execução de trabalho, Interface do usuário do Spark e Logs da página Computação foram removidos. Para ver informações sobre bibliotecas ou para exibir a interface do usuário e os logs do Spark, use as guias correspondentes na página de detalhes do cluster. Para ver informações sobre uma execução de trabalho, clique em Ir para Execução de Trabalho nessa página.

O suporte ao Databricks Runtime 5.5 LTS termina, substituído pelo Databricks Runtime 5.5 Extended Support até o final de 2021

9 de julho de 2021

O suporte para Databricks Runtime 5.5 LTS e Databricks Runtime 5.5 LTS para Machine Learning termina em 10 de julho. Consulte Ciclos de vida de suporte do Databricks.

O Suporte Estendido do Databricks Runtime 5.5 será suportado até o final de 2021. O Suporte Estendido do Databricks Runtime 5.5 usa o Ubuntu 18.04.5 LTS em vez da distribuição obsoleta do Ubuntu 16.04.6 LTS usada no Databricks Runtime 5.5 LTS original. O suporte ao Ubuntu 16.04.6 LTS cessou em 1 de abril de 2021. Para obter mais informações sobre as diferenças entre o Databricks Runtime 5.5 Extended Support e o Databricks Runtime 5.5 LTS, consulte Databricks Runtime 5.5 Extended Support (EoS).

API de repositórios (Visualização pública)

6 de julho de 2021

Agora você pode atualizar programaticamente um repositório do Azure Databricks para a versão mais recente de uma ramificação Git específica ou para uma marca usando a nova API do Repos. Para obter detalhes, consulte API de repos.

Databricks Runtime 8.4 (Beta)

1 de julho de 2021

O Databricks Runtime 8.4 e o Databricks Runtime 8.4 ML já estão disponíveis como versões Beta.

Para obter informações, consulte as notas de versão completas em Databricks Runtime 8.4 (EoS) e Databricks Runtime 8.4 for ML (EoS).