Agosto de 2021

Esses recursos e melhorias na plataforma Azure Databricks foram lançados em agosto de 2021.

Databricks Repos GA

31 de agosto de 2021

Databricks Repos agora está disponível para o público em geral. Com o Repos, você pode criar repositórios Git novos ou clonar existentes no Azure Databricks, trabalhar com blocos de anotações nesses repositórios, seguir as práticas recomendadas de desenvolvimento e colaboração baseadas no Git e integrar seus fluxos de trabalho de CI/CD com APIs de Repos. O Databricks Repos integra-se ao GitHub, Bitbucket, GitLab e Azure DevOps. Para obter detalhes, consulte Integração do Git para pastas Git do Databricks e API do Repos.

Maior tempo limite para trabalhos de bloco de anotações de longa duração

23 a 30 de agosto de 2021: Versão 3.53

Agora você pode executar trabalhos de fluxo de trabalho de bloco de anotações que levam até 30 dias para serem concluídos. Anteriormente, apenas os trabalhos de fluxo de trabalho do bloco de anotações levavam até 48 horas para serem concluídos. Consulte Executar um bloco de anotações Databricks de outro bloco de anotações para obter mais informações.

Melhorias na estabilidade e escalabilidade do serviço de trabalhos

23 a 30 de agosto de 2021: Versão 3.53

As seguintes alterações aumentam a estabilidade e a escalabilidade do serviço Jobs:

• A cada novo trabalho e execução é atribuído um identificador mais longo, exclusivo, numérico e não sequencial. Os clientes que usam a API Jobs e dependem de um comprimento de identificador fixo ou identificadores sequenciais ou monotonicamente crescentes devem ser modificados para aceitar identificadores mais longos, não sequenciais e não ordenados. O tipo de identificador permanece inalterado e a compatibilidade é preservada para clientes que usam números de int64 ponto flutuante de 64 bits IEEE 754, por exemplo, clientes JavaScript.
• O valor do campo, incluído na resposta a algumas solicitações da API de number_in_job Trabalhos, agora está definido com o mesmo valor run_idque .

Os direitos de usuário concedidos pela associação ao grupo são exibidos no console de administração

23 a 30 de agosto de 2021: Versão 3.53

Os direitos de usuário concedidos pela associação ao grupo agora são exibidos para cada usuário na guia Usuários no console de administração.

Gerenciar permissões de experimento MLflow (Visualização pública)

23 a 30 de agosto de 2021: Versão 3.53

Agora você pode gerenciar as permissões de um experimento MLflow na página do experimento. Para obter detalhes, consulte Alterar permissões para um experimento.

Criação de emprego melhorada a partir de computadores portáteis

23 a 30 de agosto de 2021: Versão 3.53

Agora você pode editar e clonar trabalhos associados a um bloco de anotações. Para obter detalhes, consulte Criar e gerenciar trabalhos agendados de bloco de anotações.

VMs da série Ddsv4 (Visualização pública)

23 a 30 de agosto de 2021: Versão 3.53

O Azure Databricks agora dá suporte às VMs da série Ddsv4. Para obter mais informações sobre essas VMs, consulte Séries Ddv4 e Ddsv4.

Suporte melhorado para cabeçalhos de blocos de notas em colapso

23 a 30 de agosto de 2021: Versão 3.53

Agora você pode recolher ou expandir todos os cabeçalhos dobráveis em um bloco de anotações. Anteriormente, só era possível recolher ou expandir um único título de cada vez. Para obter detalhes, consulte Cabeçalhos dobráveis.

Databricks Runtime 9.0 e 9.0 ML são GA; 9.0 Photon é visualização pública

17 de agosto de 2021

Databricks Runtime 9.0 e 9.0 ML agora estão disponíveis para o público em geral. 9.0 Photon está em Visualização Pública.

Para obter informações, consulte as notas de versão completas em Databricks Runtime 9.0 (EoS) e Databricks Runtime 9.0 for ML (EoS).

Databricks Runtime 9.0 (Beta)

10 de agosto de 2021

O Databricks Runtime 9.0 e o Databricks Runtime 9.0 ML já estão disponíveis como versões Beta.

Para obter informações, consulte as notas de versão completas em Databricks Runtime 9.0 (EoS) e Databricks Runtime 9.0 for ML (EoS).

Gerencie repositórios programaticamente com a CLI do Databricks (Visualização pública)

9 a 16 de agosto de 2021: Versão 3.52

Agora você pode gerenciar repositórios Git remotos usando a CLI (Interface de Linha de Comando) Databricks. Consulte Databricks CLI (legado).

Gerencie repositórios programaticamente com a API REST do Databricks (Visualização pública)

9 a 16 de agosto de 2021: Versão 3.52

Agora você pode gerenciar repositórios Git remotos usando a API REST do Databricks. Consulte API de repos.

Termina o suporte da série Databricks Runtime 7.6

8 de agosto de 2021

O suporte para Databricks Runtime 7.6, Databricks Runtime 7.6 para Machine Learning e Databricks Runtime 7.6 para Genomics terminou em 8 de agosto. Consulte Ciclos de vida de suporte do Databricks.

Os eventos de auditoria são registrados quando você interage com o Databricks Repos

9 a 13 de agosto de 2021: Versão 3.52

Quando o log de auditoria está habilitado, um evento de auditoria agora é registrado quando você cria, atualiza ou exclui um Databricks Repo, quando lista todos os Databricks Repos associados a um espaço de trabalho e quando sincroniza alterações entre um Databricks Repo e um repositório remoto. Para obter mais informações, consulte Eventos da pasta Git.

Criação de trabalho e fluxo de trabalho de gerenciamento aprimorado

9 a 13 de agosto de 2021: Versão 3.52

Agora você pode exibir e gerenciar trabalhos associados a um bloco de anotações. Especificamente, você pode iniciar uma execução de trabalho, exibir a execução atual ou mais recente, pausar ou retomar a agenda do trabalho e excluir o trabalho.

A interface do usuário de criação de trabalho do bloco de anotações foi revisada e novas opções de configuração foram adicionadas. Para obter detalhes, consulte Criar e gerenciar trabalhos agendados de bloco de anotações.

Tempos de execução do Photon agora disponíveis (Visualização pública)

9 a 13 de agosto de 2021: Versão 3.52

Photon é o novo mecanismo vetorizado nativo no Azure Databricks, diretamente compatível com APIs do Apache Spark. Para provisionar clusters com Photon, você deve usar uma imagem Photon.

Instruções simplificadas para definir credenciais do Git (Visualização pública)

9 a 13 de agosto de 2021: Versão 3.52

As instruções na guia de integração do Git da página Configurações do usuário foram simplificadas.

Importar vários blocos de notas em .html formato

9 a 13 de agosto de 2021: Versão 3.52

Agora você pode importar vários blocos de anotações em .html formato em um .zip arquivo. Anteriormente, só era possível importar um único bloco de notas em .html formato de cada vez.

O .zip arquivo pode conter pastas e blocos de anotações em qualquer .html formato ou formato de arquivo de origem (Python, Scala, SQL ou R). Um .zip arquivo não pode incluir ambos os formatos.

Melhorias de usabilidade para Delta Live Tables

9 a 13 de agosto de 2021: Versão 3.52

Esta versão inclui os seguintes aprimoramentos para o tempo de execução e a interface do usuário do Delta Live Tables:

• Ao criar um pipeline, agora você pode especificar um banco de dados de destino para publicar suas tabelas e metadados Delta Live Tables. Consulte Usar pipelines Delta Live Tables com metastore herdado do Hive para obter mais informações sobre a publicação de conjuntos de dados.
• Os blocos de anotações agora oferecem suporte ao realce de sintaxe para palavras-chave em definições de conjunto de dados SQL. Você pode usar esse realce de sintaxe para garantir a correção de suas instruções SQL do Delta Live Tables. Consulte a referência da linguagem SQL para obter detalhes sobre a sintaxe SQL do Delta Live Tables.
• O tempo de execução do Delta Live Tables agora emite seu gráfico de pipeline antes de executar o pipeline, permitindo que você veja o gráfico na interface do usuário mais cedo.
• Todas as bibliotecas Python configuradas em seus notebooks agora são instaladas antes de executar qualquer código Python, garantindo que as bibliotecas sejam globalmente acessíveis a qualquer notebook Python em seu pipeline. Consulte Gerenciar dependências Python para pipelines Delta Live Tables.