Julho de 2022

Esses recursos e melhorias na plataforma Azure Databricks foram lançados em julho de 2022.

Databricks Runtime 11.1 e 11.1 ML são GA

27 de julho de 2022

Databricks Runtime 11.1 e Databricks Runtime 11.1 ML agora estão disponíveis ao público em geral.

Consulte Databricks Runtime 11.1 (EoS) e Databricks Runtime 11.1 para Machine Learning (EoS).

Fóton é GA

27 de julho de 2022

O Photon agora está disponível para o público em geral, começando com o Databricks Runtime 11.1.

Photon é o mecanismo de consulta vetorizado nativo no Azure Databricks, escrito para ser diretamente compatível com APIs do Apache Spark para que funcione com seu código existente. O Photon é desenvolvido em C++ para tirar proveito do hardware moderno e usa as técnicas mais recentes em processamento vetorizado de consultas para capitalizar o paralelismo de dados e instruções em CPUs, melhorando o desempenho em dados e aplicativos do mundo real — tudo nativamente em seu data lake.

O Photon faz parte de um runtime de alto desempenho que executa as chamadas à API do SQL e DataFrame existentes mais rapidamente e reduz o custo total por carga de trabalho. O Photon é utilizado por predefinição nos armazéns SQL do Databricks.

Consulte Photon is GA nas notas de versão do Databricks Runtime 11.1.

Notificação após a conclusão do bloco de notas

27 de julho a 15 de agosto de 2022

Se você sair de um bloco de anotações enquanto ele estiver em execução, uma notificação será exibida quando ele terminar. Você pode ativar ou desativar essas notificações no seu navegador.

Maior limit para o número de trabalhos em seus espaços de trabalho do Azure Databricks

19 a 22 de julho de 2022

Agora você pode criar até 10.000 trabalhos em um espaço de trabalho do Azure Databricks ao habilitar a alternância Número aumentado de trabalhos no console de administração do Azure Databricks. Esse recurso também habilita um list de Trabalhos paginado quando você visualizar de trabalhos na interface do usuário de Trabalhos, reduzindo o tempo necessário para carregar a exibição de list de Trabalhos.

O Databricks recomenda a API de trabalhos 2.1 se você habilitar o aumento de trabalhos limit. O uso da API Jobs 2.0 resulta em desempenho degradado ao retornar um grande número de trabalhos.

Os logs de auditoria detalhados agora registram quando as consultas SQL do Databricks são executadas

14 de julho de 2022

Agora você pode configurar logs de auditoria para registrar quando as consultas SQL do Databricks são executadas. Para fazer isso, use os logs de auditoria detalhados da definição de configuração do espaço de trabalho. Consulte Habilitar logs de auditoria detalhados. Há um registro de log de auditoria para enviar uma consulta e outro registro para conclusão de consulta (incluindo cancelamento).

Se os logs de auditoria detalhados já estavam habilitados para seu espaço de trabalho para registrar comandos do bloco de anotações, seus logs de auditoria detalhados agora incluem automaticamente consultas Databricks SQL para o espaço de trabalho.

Driver JDBC Databricks 2.6.27

11 de julho de 2022

Lançamos a versão 2.6.27 do driver JDBC Databricks (download). Esta versão atualiza as bibliotecas de terceiros, como o Apache Arrow 7.0.0. Esta versão também inclui atualizações para o arquivo de licença e o guia de instalação de configuração.

Além disso, esta versão resolve os seguintes problemas:

• Em alguns casos, quando uma conexão HTTP está ativa por um longo período de tempo, o conector retorna um NoHttpResponseException erro.
• Em alguns casos, as classes sem sombreado Log4j no arquivo JAR do conector entram em conflito com os arquivos implantados no ambiente do usuário final. As classes sem sombreado foram removidas do arquivo JAR do conector.
• Ao usar uma classe DataSource, os nomes de subprotocolo estão incorretos.

Databricks ODBC driver 2.6.25

11 de julho de 2022

Lançamos a versão 2.6.25 do driver ODBC Databricks (download). Esta versão adiciona suporte para configurar o conector para mitigar operações de download de arquivos de resultados irregulares.

Databricks Runtime 11.1 (Beta)

8 de julho de 2022

Databricks Runtime 11.1, 11.1 Photon e 11.1 ML estão agora disponíveis como versões Beta.

Veja as notas de versão completas em Databricks Runtime 11.1 (EoS) e Databricks Runtime 11.1 for Machine Learning (EoS).

Visualizações melhoradas do bloco de notas

5 a 11 de julho de 2022: Versão 3.75

O suporte integrado para gráficos e visualizações em blocos de anotações agora suporta vários gráficos e perfis de dados. Quando você executa uma célula SQL em um bloco de anotações ou usa a display função em um DataFrame, o bloco de anotações mostra resultados com guias, semelhantes aos resultados exibidos no Databricks SQL. Agora você pode criar as mesmas visualizações avançadas em um bloco de anotações que você pode criar no Databricks SQL. Para obter detalhes, consulte Visualizações em blocos de anotações Databricks.