Junho de 2021

Esses recursos e melhorias na plataforma Azure Databricks foram lançados em junho de 2021.

Correção: O Repos para Git é ativado por padrão em espaços de trabalho novos e existentes em algumas regiões

30 de junho de 2021

Em uma nota de lançamento de 2 de junho de 2021, a Databricks anunciou que o Repos for Git está habilitado por padrão em novos espaços de trabalho em algumas regiões, mas omitiu o seguinte detalhe importante: o Repos for Git também está habilitado em espaços de trabalho existentes se o Versionamento Git do Notebook já estiver habilitado. A nota de lançamento original foi atualizada.

Alterar para permissões do Feature Store

28 de junho a 6 de julho de 2021: Versão 3.49

Os usuários com CAN_VIEW_METADATA permissão em uma tabela de recursos agora podem publicá-la em lojas online.

Acesso melhorado aos resultados na tabela MLflow runs

28 de junho a 6 de julho de 2021: Versão 3.49

As alterações na tabela MLflow runs fornecem acesso mais rápido aos resultados.

• As colunas Métricas agora aparecem antes das colunas Parâmetros , facilitando a identificação da melhor execução.
• A coluna Hora de Início agora mostra a idade da execução, não a hora de início. Isso reduz a largura da coluna e permite que mais informações fiquem visíveis sem rolagem horizontal. Para exibir a hora de início, passe o mouse sobre o valor na coluna.

Melhor visibilidade de custos para tabelas Delta Live

28 de junho a 6 de julho de 2021: Versão 3.49

Ao criar um novo pipeline ou exibir a interface do usuário Detalhes do pipeline, você verá a DBU por hora para o cluster padrão Delta Live Tables.

Restrições aprimoradas de qualidade de dados para Delta Live Tables

28 de junho a 6 de julho de 2021: Versão 3.49

Agora você pode usar as expect_all_or_failAPIs , expect_all_or_drope expect_all Python para definir várias restrições de qualidade de dados em conjuntos de dados Delta Live Tables. Essas APIs são úteis ao aplicar uma biblioteca de expectativas comuns a um ou mais conjuntos de dados em um pipeline. Para obter mais informações, consulte Gerenciar a qualidade dos dados com o Delta Live Tables.

Alterações de API para atualizar e substituir listas de endereços IP

28 de junho a 6 de julho de 2021: Versão 3.49

Uma nova PATCH operação para /ip-access-lists/<list-id> na API REST 2.0 do Databricks permite que você atualize programaticamente os valores individuais em uma lista de endereços IP existente. Para obter mais informações, consulte Atualizar uma lista de acesso IP.

A operação existente PUT para /ip-access-lists/<list-id> na API REST 2.0 do Databricks permite que você substitua programaticamente o conteúdo de uma lista de endereços IP existente, mantendo o ID interno original da lista. Para obter mais informações, consulte Substituir uma lista de acesso IP.

Databricks driver ODBC 2.6.17

22 de junho de 2021

Lançamos a versão 2.6.17 do driver ODBC Databricks (download). Esta versão adiciona suporte para Cloud Fetch, que é um mecanismo para buscar dados em paralelo através do armazenamento em nuvem para trazer os dados mais rapidamente para ferramentas de BI. Esta versão também reduz a latência, removendo viagens de ida e volta desnecessárias entre o cliente e o Databricks Runtime. Veja como conseguimos conectividade de alta largura de banda com ferramentas de BI.

Termina o suporte da série Databricks Runtime 7.5

16 de junho de 2021

O suporte para Databricks Runtime 7.5, Databricks Runtime 7.5 para Machine Learning e Databricks Runtime 7.5 para Genomics terminou em 16 de junho. Consulte Ciclos de vida de suporte do Databricks.

Otimize o desempenho e controle os custos usando pools diferentes para o nó do driver e os nós de trabalho

14 a 21 de junho de 2021: Versão 3.48

Agora você pode otimizar seu cluster anexando-o a um pool diferente para o nó do driver e os nós de trabalho. Por exemplo, você pode usar um pool otimizado para computação para o nó do driver e um pool otimizado para armazenamento para nós. Isso também ajuda a controlar os custos atribuindo tags diferentes a cada pool de instâncias. Se desejar, você pode usar o mesmo pool para drivers e nós de trabalho.

Para obter mais informações, consulte Referência de configuração do pool.

Permissões em todo o Registro para o Registro Modelo

14 a 21 de junho de 2021: Versão 3.48

Agora você pode definir permissões de modelo padrão para todos os modelos no Registro de Modelo de um espaço de trabalho. As permissões definidas neste nível aplicam-se a todos os modelos novos e existentes registados no Registo Modelo nessa área de trabalho. Para obter mais informações, consulte ACLs de modelo MLflow.

O diretório base de um usuário não é mais protegido quando você exclui um usuário usando a API SCIM

14 a 21 de junho de 2021: Versão 3.48

Quando você exclui um usuário usando a API SCIM, o diretório base do usuário não está mais protegido e um administrador de espaço de trabalho pode excluí-lo. Esse comportamento corresponde ao que acontece quando você exclui um usuário usando o console de administração.

Databricks Runtime 8.3 e 8.3 ML são GA; 8.3 Photon é visualização pública

8 de junho de 2021

Databricks Runtime 8.3 e 8.3 ML estão agora disponíveis para o público em geral. 8.3 Photon está em Visualização Pública.

Para obter informações, consulte as notas de versão completas em Databricks Runtime 8.3 (EoS) e Databricks Runtime 8.3 for ML (EoS).

Controle de acesso à tabela Python e SQL (GA)

8 de junho de 2021

O controle de acesso à tabela permite conceder e revogar programaticamente o acesso aos seus dados usando o modelo de controle de acesso baseado em exibição do Azure Databricks. O controle de acesso à tabela está disponível em duas versões: somente SQL e Python e SQL. Anteriormente, apenas o controle de acesso à tabela somente SQL estava geralmente disponível. Agora, o controle de acesso à tabela Python e SQL está geralmente disponível. Consulte Habilitar o controle de acesso à tabela de metastore do Hive em um cluster (legado).

A interface do usuário e a API de trabalhos agora mostram o proprietário de uma execução de trabalho

2 a 7 de junho de 2021: Versão 3.47

A interface do usuário e a API de trabalhos agora incluem o usuário com o qual um trabalho será executado, facilitando a compreensão, a depuração e as permissões de auditoria do trabalho. Este é um valor somente leitura definido para o criador do trabalho se o controle de acesso ao trabalho estiver desabilitado ou a permissão do trabalho se o controle de is_owner acesso ao trabalho estiver habilitado. Para obter mais informações sobre como gerenciar permissões de trabalho, consulte Controlar o acesso a um trabalho.

Proteja propriedades confidenciais de configuração do Spark e variáveis de ambiente usando segredos (Visualização pública)

7 de junho de 2021

Você pode proteger propriedades confidenciais de configuração do Spark e variáveis de ambiente usando segredos. Os segredos recuperados são editados a partir da saída do notebook e dos logs do driver e do executor do Spark. Consulte Gerir segredos.

Se você usa senhas de texto sem formatação em uma configuração do Spark, o Databricks recomenda que você gire suas senhas e use caminhos secretos na configuração do Spark.

O repositório para Git é habilitado por padrão em espaços de trabalho novos e existentes em algumas regiões

2 de junho de 2021

Esta nota de lançamento foi atualizada em 30 de junho de 2021.

Para novos espaços de trabalho e para espaços de trabalho existentes com o Controle de Versão Git do Notebook habilitado, o Repos for Git agora está habilitado por padrão em algumas regiões. A ativação padrão do Repos será implementada em mais regiões nos próximos meses. Para saber como habilitar ou desabilitar o Repos por conta própria e verificar as configurações do seu espaço de trabalho, consulte Integração do Git para pastas Git do Databricks.

Interface do usuário de configurações do espaço de trabalho redesenhado

2 a 7 de junho de 2021: Versão 3.47

A nova guia Configurações do espaço de trabalho no Admin Console substitui as guias Armazenamento do espaço de trabalho, Listas de controle de acesso e Avançado para simplificar a configuração do espaço de trabalho.

Atualizações e ListTokens ListAllTokens consultas de banco de dados de tokens expirados

2 a 7 de junho de 2021: Versão 3.47

O banco de dados consulta ListTokens ou ListAllTokens não retorna mais tokens expirados. Tokens indefinidos (aqueles com expiryTime definido como -1) são devolvidos.

Confirmação agora necessária ao conceder ou revogar permissões de administrador

2 a 7 de junho de 2021: Versão 3.47

Uma caixa de diálogo de confirmação agora aparece quando um usuário Admin concede ou revoga privilégios de administrador na interface do usuário da Web.

Alterações nos atalhos de teclado na interface do usuário da Web

2 a 7 de junho de 2021: Versão 3.47

Num bloco de notas, a forma de abrir a lista de atalhos de teclado mudou. Para abrir a lista, clique no ícone.