Tempo de execução do Databricks 8.1 (EoS)

A Databricks lançou esta versão em março de 2021.

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 8.1, desenvolvido pelo Apache Spark 3.1.1.

Novos recursos e melhorias

• Novos operadores SQL reduzem ETL complexo em cadeias de caracteres JSON
• Controlar a visibilidade das listas de controle de acesso à tabela
• Novas opções de carregador automático permitem um melhor desempenho
• Autenticar no Azure Synapse Analytics com OAuth 2.0 e uma entidade de serviço (Visualização Pública)
• Inserir IDENTITY colunas manualmente nas tabelas do Azure Synapse Analytics
• O Azure Auto Loader agora dá suporte à autenticação com uma entidade de serviço para operações de fila
• Acompanhe o progresso do fluxo com métricas Kafka
• Acompanhe o progresso do fluxo com as métricas de origem de streaming do Delta Lake

Novos operadores SQL reduzem ETL complexo em cadeias de caracteres JSON

Dois novos operadores SQL —:: e :—permitem extrair facilmente dados de cadeias de caracteres JSON.

• Para converter sua expressão em um tipo de dados, use dois pontos ::duplos . Por exemplo, em vez de especificar cast(col as int), agora você pode dizer col::int.
• Para extrair campos de dados semiestruturados, use dois pontos :. Se você tiver uma STRING coluna contendo dados JSON, poderá extrair um campo dessa cadeia de caracteres JSON usando a sintaxe <json-column>:<field> que extrai a chave field do JSON <json-column> como um STRINGarquivo . Você pode combinar isso com a :: sintaxe para converter os dados em um tipo específico.

Por exemplo, se você tiver os dados JSON:

{
  "store":{
    "bicycle":{
      "price":19.95,
      "color":"red"
    }
  }
}

e você cria uma tabela store_data a partir dos dados:

CREATE TABLE store_data AS SELECT
'{
   "store":{
      "bicycle":{
        "price":19.95,
        "color":"red"
      }
    }
 }' as raw

A declaração SELECT raw:store.bicycle.price::double FROM store_data retorna:

+--------+
| price  |
+--------+
| 19.95  |
+--------+

Para obter detalhes, consulte Consultar cadeias de caracteres JSON.

Controlar a visibilidade das listas de controle de acesso à tabela

Para evitar o vazamento de informações listando todas as permissões definidas em uma tabela, agora você pode executar SHOW GRANTS [<user>] <object> a instrução somente se estiver:

• Um administrador do Databricks SQL ou o proprietário do <object>.
• O usuário especificado em [<user>].

Novas opções de carregador automático permitem um melhor desempenho

O Auto Loader agora suporta uma nova opção cloudFiles.fetchParallelism para especificar o paralelismo para buscar mensagens do serviço de fila.

Consulte O que é Auto Loader?.

Autenticar no Azure Synapse Analytics com OAuth 2.0 e uma entidade de serviço (Visualização Pública)

O conector do Azure Synapse Analytics agora dá suporte à autenticação com OAuth 2.0 e uma entidade de serviço Microsoft Entra ID, habilitando aplicativos que exigem autenticação com uma entidade de serviço em vez de um nome de usuário e senha. Para saber mais, consulte Como funciona a autenticação entre o Azure Databricks e o Synapse? para o conector do Azure Synapse Analytics.

Inserir IDENTITY colunas manualmente nas tabelas do Azure Synapse Analytics

O conector do Azure Synapse Analytics agora oferece suporte à inserção explícita de valores em IDENTITY colunas nas tabelas do Azure Synapse Analytics com base em valores definidos em DataFrames. Esse recurso é suportado para inserções em lote e streaming e permite casos de uso que exigem valores de coluna personalizados IDENTITY . Para obter detalhes, consulte o identityInsert parâmetro na referência de opções do conector do Azure Synapse Analytics Azure Databricks Synapse.

O Azure Auto Loader agora dá suporte à autenticação com uma entidade de serviço para operações de fila

Agora você pode autenticar com uma entidade de serviço Microsoft Entra ID que recebeu permissões relacionadas à fila para operações de fila com o Auto Loader. Essa alteração remove o requisito anterior de usar uma cadeia de conexão para operações de fila e uma entidade de serviço para operações de evento e permite que você use uma entidade de serviço para ambos os tipos de operação. Para obter mais detalhes, consulte O que é o Auto Loader?.

Acompanhe o progresso do fluxo com métricas Kafka

A fonte de streaming de Kafka agora relata quantas compensações um consumidor está ficando para trás após cada lote. Você pode usar essas métricas para acompanhar o progresso do fluxo. Para obter detalhes sobre como visualizar as métricas, consulte Recuperar métricas de Kafka.

Acompanhe o progresso do fluxo com as métricas de origem de streaming do Delta Lake

Uma fonte de streaming Delta Lake agora relata o tamanho da lista de pendências e quantos arquivos existem na lista de pendências após cada lote. Você pode usar essas métricas para acompanhar o progresso do fluxo. Para obter detalhes sobre como visualizar as métricas, consulte Métricas.

Atualizações da biblioteca

• Biblioteca Python atualizada:
  • Koalas atualizado de 1.5.0 para 1.6.0.
• Bibliotecas Python recém-instaladas:
  • Parcela 4.14.3
  • Tentando novamente 1.3.3
• R atualizado de 4.0.3 para 4.0.4.
• Atualizadas várias bibliotecas R instaladas. Consulte Bibliotecas R instaladas.
• Biblioteca Java atualizada:
  • píer de 9.4.34.v20201102 a 9.4.36.v20210114
• Compilação do OpenJDK 8 atualizada para Zulu 8.52.0.23-CA-linux64 (build 1.8.0_282-b08)

Faísca Apache

O Databricks Runtime 8.1 inclui o Apache Spark 3.1.1. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 8.0 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• [FAÍSCA-34534] Corrigir ordem blockIds ao usar FetchShuffleBlocks para buscar blocos
• [FAÍSCA-34613] [SQL] A visualização de correção não captura a configuração de dica de desativação
• [FAÍSCA-34392] [SQL] Suporte ZoneOffset +h:mm em DateTimeUtils. getZoneId
• [FAÍSCA-34436] [SQL] Suporte DPP LIKE ANY/ALL expressão
• [FAÍSCA-34497] [SQL] Corrija provedores de conexão JDBC integrados para restaurar as alterações de contexto de segurança da JVM
• [FAÍSCA-34543] [SQL] Respeite a configuração ao resolver especificações de spark.sql.caseSensitive partição na v1 SET LOCATION
• [FAÍSCA-34550] [SQL] Ignorar valor nulo InSet durante o filtro push para o metastore do Hive
• [FAÍSCA-34531] [CORE] Remover tag API experimental no PrometheusServlet

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 8.1.

Ambiente do sistema

• Sistema Operacional: Ubuntu 18.04.5 LTS
• Java: Zulu 8.52.0.23-CA-linux64 (compilação 1.8.0_282-b08)
• Escala: 2.12.10
• Python: 3.8.8 (atualizado de 3.8.6 em 26 de maio de 2021 atualização de manutenção)
• R: R versão 4.0.4 (2021-02-15)
• Lago Delta 0.8.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo da CRAN da Microsoft em 2020-11-02.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)