Databricks Runtime 10.1 (EoS)

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 10.1 e o Databricks Runtime 10.1 Photon, da plataforma Apache Spark 3.2.0. A Databricks lançou essa versão em novembro de 2021. O Photon está em Visualização Pública.

Novos recursos e aprimoramentos

• Novas configurações de tabela Delta para compactação de arquivos pequenos
• Novas métricas de grupo de linhas para verificações de consulta Parquet
• Trigger.AvailableNow para consultas de fluxo de origem Delta
• Trigger.AvailableNow para o Auto Loader
• Suporte Delta para configurações do sistema de arquivos do Hadoop que são passadas por meio de opções de DataFrame
• O ponto de verificação de estado assíncrono agora tem suporte em trabalhos de fluxo com estado (Visualização Pública)
• Sparklyr com passagem de credenciais
• Controle de precisão de resumo de dados de Utilitários do Databricks (Visualização Pública)
• Os notebooks do Azure Databricks agora podem ser usados com o kernel do IPython
• Novas funções no Spark SQL

Novas configurações de tabela Delta para compactação de arquivos pequenos

A propriedade delta.autoOptimize.autoCompact da tabela Delta agora aceita os novos valores de auto e legacy, além dos valores existentes de true e false. Quando definida como auto (recomendado), a Compactação Automática usa padrões melhores, como a configuração de 32 MB como o tamanho do arquivo de destino (embora os comportamentos padrão estejam sujeitos a alterações no futuro). Quando definida como legacy ou true, a Compactação Automática usa 128 MB como o tamanho do arquivo de destino.

Em vez de definir essa propriedade para uma tabela individual, você pode definir a configuração spark.databricks.delta.autoCompact.enabled para auto, legacy ou true para habilitar a Compactação Automática para todas as tabelas Delta. Essa configuração tem precedência sobre a propriedade de tabela relacionada durante a sessão atual.

O tamanho do arquivo de destino para Compactação Automática pode ser controlado com a configuração spark.databricks.delta.autoCompact.maxFileSize.

Para obter mais informações sobre Compactação Automática, consulte Compactação automática para Delta Lake no Azure Databricks.

Novas métricas de grupo de linhas para verificações de consulta Parquet

As consultas com verificações de Parquet agora revelam métricas do grupo de linhas na interface do usuário do Spark. Essas métricas de grupo de linhas são:

• número total de grupos de linhas parquet
• número de leituras de grupos de linhas parquet

Trigger.AvailableNow para consultas de fluxo de origem Delta

Essa alteração dá suporte a um novo tipo de gatilho para consultas de fluxo de origem no Scala: Trigger.AvailableNow. É como o Trigger.Once, que processa todos os dados disponíveis e, em seguida, interrompe a consulta. No entanto, o Trigger.AvailableNow oferece melhor escalabilidade, pois os dados podem ser processados em vários lotes em vez de um. Essa alteração não introduz uma nova interface; ela implementa uma API do Spark existente. Esse gatilho também dá suporte a todas as opções de limitação de taxa que já têm suporte no Delta como uma origem.

Exemplo:

spark.readStream
  .format("delta")
  .option("maxFilesPerTrigger", "1")
  .load(inputDir)
  .writeStream
  .trigger(Trigger.AvailableNow)
  .option("checkpointLocation", checkpointDir)
  .start()

Confira a cobertura do Trigger.AvailableNow em O que é o Carregador Automático?.

Trigger.AvailableNow para o Auto Loader

O Trigger.AvailableNow é um novo modo de gatilho de fluxo semelhante ao Trigger.Once. O Trigger.Once processa todos os dados disponíveis e, em seguida, interrompe a consulta. O Trigger.AvailableNow oferece melhor escalabilidade, pois os dados podem ser processados em vários lotes em vez de um. O Auto Loader agora dá suporte ao Trigger.AvailableNow nos modos de listagem de diretório e de notificação de arquivo do Scala. Confira a cobertura do Trigger.AvailableNow em O que é o Carregador Automático?.

Suporte Delta para configurações do sistema de arquivos do Hadoop que são passadas por meio de opções de DataFrame

Semelhante ao Parquet, o Delta agora dá suporte à leitura de Configurações do sistema de arquivos do Hadoop das opções DataFrameReader e DataFrameWriter quando a tabela é lida ou gravada, usando DataFrameReader.load(path) ou DataFrameWriter.save(path). Consulte Configurar credenciais de armazenamento do Delta.

O ponto de verificação de estado assíncrono agora tem suporte em trabalhos de fluxo com estado (Visualização Pública)

O ponto de verificação de estado assíncrono é um novo recurso que pode reduzir a latência de microlote de ponta a ponta em trabalhos de fluxo com grandes atualizações de estado. Consulte Ponto de verificação de estado assíncrono para consultas com estado.

Sparklyr com passagem de credenciais

Agora você pode usar as APIs sparklyr para ler e gravar dados de/para o armazenamento em nuvem usando a passagem de credenciais. Essa funcionalidade é limitada a clusters padrão com acesso de usuário único. Consulte Acessar o Azure Data Lake Storage usando a passagem de credencial do Microsoft Entra ID (herdada).

Controle de precisão de resumo de dados de Utilitários do Databricks (Visualização Pública)

Um novo parâmetro precise para dbutils.data.summarize controla a precisão dos resultados de resumo. Quando precise é definido como false (o padrão), o resumo retorna resultados aproximados para contagens, percentil e contagem distinta de itens frequentes. Quando precise é definido como true, os resumos são calculados com contagens de itens frequentes e contagem distinta exata, com estimativas mais precisas de percentil. Veja o comando resumir (dbutils.data.summarize).

Os notebooks do Azure Databricks agora podem ser usados com o kernel do IPython

Agora você pode configurar um cluster do Azure Databricks para usar o kernel do IPython para executar código do Python. O uso do kernel do IPython no Azure Databricks adiciona suporte para ferramentas de exibição e saída do IPython. Além disso, o kernel do IPython captura as saídas stdout e stderr de processos filho criados por um notebook, permitindo que essa saída seja incluída nos resultados do comando do notebook.

Para obter mais informações, confira Kernel do IPython.

Novas funções no Spark SQL

Os seguintes objetos e comandos foram adicionados para trabalhar com os dados no Unity Catalog (versão prévia):

• Locais externos
• ALTERAR CATÁLOGO
• ALTER CREDENTIAL
• ALTERAR LOCAL
• CRIAR CATÁLOGO
• CRIAR LOCAL
• CRIAR DESTINATÁRIO
• DESCRIÇÃO DO CATÁLOGO
• DESCRIÇÃO DA CREDENCIAL
• DESCRIÇÃO DA LOCALIZAÇÃO
• CATÁLOGO DE DESTINO
• DROP CREDENTIAL
• LOCAL DE DESTINO
• LISTA
• MOSTRAR CATÁLOGOS
• MOSTRAR CREDENCIAIS
• MOSTRAR LOCALIZAÇÕES
• USAR CATÁLOGO

Os comandos a seguir foram adicionados para o Compartilhamento Delta (versão prévia), que permite que você compartilhe dados somente leitura com destinatários fora da sua organização:

• Compartilhamento
• ALTER SHARE
• CREATE SHARE
• DESCRIÇÃO DO RECIPIENTE
• DESCRIBE SHARE
• RECIPIENTE DE DESTINO
• DROP SHARE
• CONCESSÃO DE COMPARTILHAR
• REVOGAR COMPARTILHAMENTO
• SHOW ALL IN SHARE
• MOSTRAR DESTINATÁRIOS
• SHOW SHARES
• SHOW GRANTS ON SHARE
• SHOW GRANTS TO RECIPIENT

Correções de bug

• Correção de uma condição de corrida que pode causar uma falha de consulta com uma IOException como No FileSystem for scheme ou que pode fazer com que as modificações à sparkContext.hadoopConfiguration não entrem em vigor em consultas.

Atualizações da biblioteca

• Bibliotecas do Python atualizadas:
  • filelock de 3.0.12 para 3.3.1
  • koalas de 1.8.1 para 1.8.2
  • plotly de 5.1.0 para 5.3.0
• Bibliotecas do R atualizadas:
  • bslib de 0.3.0 para 0.3.1
  • caret de 6.0-88 para 6.0-90
  • cpp11 de 0.3.1 para 0.4.0
  • data.table de 1.14.0 para 1.14.2
  • desc de 1.3.0 para 1.4.0
  • diffobj de 0.3.4 para 0.3.5
  • digest de 0.6.27 para 0.6.28
  • generics de 0.1.0 para 0.1.1
  • hms de 1.1.0 para 1.1.1
  • knitr de 1.34 para 1.36
  • lattice de 0.20-44 para 0.20-45
  • lifecycle de 1.0.0 para 1.0.1
  • lubridate de 1.7.10 para 1.8.0
  • mgcv de 1.8-37 para 1.8-38
  • mime from 0.11 para 0.12
  • pkgload de 1.2.2 para 1.2.3
  • progressr de 0.8.0 para 0.9.0
  • rcmdcheck de 1.3.3 para 1.4.0
  • readr de 2.0.1 para 2.0.2
  • recipes de 0.1.16 para 0.1.17
  • remotes de 2.4.0 para 2.4.1
  • rlang de 0.4.11 para 0.4.12
  • rvest de 1.0.1 para 1.0.2
  • shiny de 1.6.0 para 1.7.1
  • stringi de 1.7.4 para 1.7.5
  • testthat de 3.0.4 para 3.1.0
  • tidyr de 1.1.3 para 1.1.4
  • tinytex de 0.33 para 0.34
  • usethis de 2.0.1 para 2.1.2
  • xfun de 0.26 para 0.27
• Bibliotecas do Java atualizadas:
  • com.zaxxer.HikariCP de 3.1.0 para 4.0.3

Apache Spark

Databricks Runtime 10.1 inclui o Apache Spark 3.2.0. Esta versão inclui todas as correções e os aprimoramentos do Spark adicionados ao Databricks Runtime 10.0 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

• [SPARK-37037] [SQL] Aprimorar classificação da matriz de bytes unificando a função compareTo de UTF8String e ByteArray
• [SPARK-37091] [R] SystemRequirements para incluir Java < 18
• [SPARK-37041] [SQL] Backport HIVE-15025: suporte de SSL (Secure-Socket-Layer) para HMS
• [SPARK-37098] [SQL] Alterar propriedades da tabela deve invalidar o cache
• [SPARK-36992] [SQL] Aprimorar desempenho da classificação da matriz de bytes unificando a função getPrefix de UTF8String e ByteArray
• [SPARK-37047] [SQL] Adicionar funções lpad e rpad para cadeias de caracteres binárias
• [SPARK-37076] [SQL] Implementar StructType.toString explicitamente no Scala 2.13
• [SPARK-37075] [SQL] Mover a compilação da expressão UDAF do sql/catalyst para o sql/core
• [SPARK-37084] [SQL] Definir spark.sql.files.openCostInBytes como bytesConf
• [SPARK-37088] [PYSPARK][SQL] O thread do gravador não deve acessar a entrada após o retorno do ouvinte de conclusão da tarefa
• [SPARK-37069] [SQL] Fazer fallback corretamente quando Hive.getWithoutRegisterFns não estiver disponível
• [SPARK-37050] [PYTHON] Atualizar instruções de instalação do Conda
• [SPARK-37067] [SQL] Use ZoneId.of() para manipular a cadeia de caracteres de fuso horário em DatetimeUtils
• [SPARK-35925] [SQL] Suporte a DayTimeIntervalType na função width-bucket
• [SPARK-35926] [SQL] Adicionar suporte a YearMonthIntervalType para width_bucket
• [SPARK-35973] [SQL] Adicionar comando SHOW CATALOGS
• [SPARK-36922] [SQL] As funções SIGN/SIGNUM devem dar suporte a intervalos ANSI
• [SPARK-37078] [CORE] Suporte a construtores Sink antigos de três parâmetros
• [SPARK-37061] [SQL] Corrigir CustomMetrics ao usar classes internas
• [SPARK-35918] [AVRO] Unificar o tratamento de incompatibilidade de esquema para leitura/gravação e aprimoramento de mensagens de erro
• [SPARK-36871] [SQL] Migrar comando CreateViewStatement para v2
• [SPARK-36898] [SQL] Tornar o fator de junção hash aleatória configurável
• [SPARK-36921] [SQL] Suporte a intervalos ANSI por DIV
• [SPARK-36794] [SQL] Ignorar chaves de associação duplicadas ao criar a relação para a junção hash SEMI/ANTI aleatorizada
• [SPARK-36867] [SQL] Corrigir mensagem de erro com alias GROUP BY
• [SPARK-36914] [SQL] Implementar dropIndex e listIndexes no JDBC (dialeto MySQL)
• [SPARK-35531] [SQL] Passar diretamente a Tabela do Hive para HiveClient ao chamar getPartitions para evitar a conversão desnecessária de HiveTable -> CatalogTable - -> HiveTable
• [SPARK-36718] [SQL] Recolher projetos somente se não duplicarmos expressões caras
• [SPARK-37046] [SQL]: Alterar exibição não preserva as maiúsculas e minúsculas da coluna
• [SPARK-36978] [SQL] A regra InferConstraints deve criar restrições IsNotNull no campo aninhado acessado em vez do tipo aninhado raiz
• [SPARK-37052] [CORE] O Spark só deve passar o argumento –verbose para a classe principal quando for a sql shell
• [SPARK-37017] [SQL] Reduzir o escopo do sincronizado para evitar um possível deadlock
• [SPARK-37032] [SQL] Corrigir link de sintaxe SQL desfeito na página de Referência do SQL
• [SPARK-36905] [SQL] Corrigir exibições de hive de leitura sem nomes de coluna explícitos
• [SPARK-36678] Migrar SHOW TABLES para usar o comando V2 por padrão
• [SPARK-36943] [SQL] Aprimorar a legibilidade da mensagem de erro de coluna ausente
• [SPARK-36980] [SQL] Inserir consulta de suporte com CTE
• [SPARK-37001] [SQL] Desativar dois níveis do mapa para agregação do hash final por padrão
• [SPARK-36970] [SQL] Formato desabilitado manual B da função date_format para tornar o Java 17 compatível com Java 8
• [SPARK-36546] [SQL] Adicionar suporte de matriz à união por nome
• [SPARK-36979] [SQL] Adicionar regra RewriteLateralSubquery em nonExcludableRules
• [SPARK-36949] [SQL] Não permitir tabelas de provedor do Hive com intervalos ANSI
• [SPARK-36849] [SQL] Migrar UseStatement para a estrutura de comando v2
• [SPARK-36868] [SQL] Migrar CreateFunctionStatement para a estrutura de comando v2
• [SPARK-36841] [SQL] Adicionar sintaxe ANSI set catalog xxx para alterar o catálogo atual
• [SPARK-36821] [SQL] Tornar a classe ColumnarBatch estendível – adendo
• [SPARK-36963] [SQL] Adicionar max_by/min_by ao sql.functions
• [SPARK-36913] [SQL] Implementar createIndex e IndexExists no DS V2 JDBC (dialeto MySQL)
• [SPARK-36848] [SQL] Migrar ShowCurrentNamespaceStatement para a estrutura de comando v2
• [SPARK-36526] [SQL] Suporte ao índice DSV2: adicionar interface supportsIndex
• [SPARK-36960] [SQL] Filtros de pushdown com valores de intervalo ANSI para ORC
• [SPARK-36929] [SQL] Remover método não utilizado ElimineSubqueryAliasesSuite#assertEquivalent
• [SPARK-36931] [SQL] Suporte à leitura e gravação de intervalos ANSI de/para fonte de dados ORC
• [SPARK-34980] [SQL] Suporte à partição de união por meio da união no AQE
• [SPARK-36809] [SQL] Remover transmissão para InSubqueryExec usada no DPP
• [SPARK-36813] [SQL][PYTHON] Propor uma infraestrutura de junção as-of e ps.merge_asof
• [SPARK-36918] [SQL] Ignorar tipos ao comparar structs para unionByName
• [SPARK-36891] [SQL] Refatorar SpecificParquetRecordReaderBase e adicione mais cobertura na decodificação de Parquet vetorizada
• [SPARK-36920] [SQL] Suporte a intervalos ANSI por ABS()
• [SPARK-36888] [SQL] Adicionar casos de testes para a função de sha2
• [SPARK-36889] [SQL] Respeitar spark.sql.parquet.filterPushdown pelo construtor de varredura parquet v2
• [SPARK-36830] [SQL] Suporte à leitura e gravação de intervalos ANSI de/para fonte de dados JSON
• [SPARK-36870] [SQL] Introduzir classe de erro INTERNAL_ERROR
• [SPARK-36831] [SQL] Suporte à leitura e gravação de intervalos ANSI de/para fonte de dados CSV.
• [SPARK-36550] [SQL] Causa de propagação quando a reflexão da UDF falha
• [SPARK-36866] [SQL] Filtros de pushdown com valores de intervalo ANSI para Parquet
• [SPARK-33832] [SQL] Forçar a simplificação e o aprimoramento do código de junção de distorção
• [SPARK-36642] [SQL] Adicionar API df.withMetadata do pyspark
• [SPARK-35765] [SQL] As agregações distintas não diferenciam duplicação
• [SPARK-36825] [SQL] Ler/gravar dataframes com intervalos ANSI de/para arquivos parquet
• [SPARK-36829] [SQL] Refatorar verificação NULL para collectionOperators
• [SPARK-32712] [SQL] Suporte à gravação de tabela em bucket do Hive (formatos de arquivo Hive com hash do Hive)
• [SPARK-36797] [SQL] A união deve resolver colunas aninhadas como colunas de nível superior
• [SPARK-36838] [SQL] Melhorar o desempenho de código gerado pelo InSet
• [SPARK-36683] [SQL] Adicionar novas funções de SQL: SEC e CSC
• [SPARK-36721] [SQL] Simplificar as igualdades boolianas se um lado for literal
• [SPARK-36760] [SQL] Adicionar interface SupportsPushDownV2Filters
• [SPARK-36652] [SQL] A seleção de junção dinâmica do AQE não deve se aplicar à junção non-equi
• [SPARK-36745] [SQL] ExtractEquiJoinKeys deve retornar os predicados originais nas chaves de junção
• [SPARK-36107] [SQL] Refatorar o primeiro conjunto de 20 erros de execução de consulta para usar classes de erro
• [SPARK-32709] [SQL] Suporte à gravação de tabela em bucket do Hive (formato Parquet/ORC com hash do Hive)
• [SPARK-36735] [SQL] Ajustar a sobrecarga da relação armazenada em cache para o DPP
• [SPARK-33832] [SQL] Suporte para otimizar junção distorcida mesmo se isso introduzir aleatoriedade adicional
• [SPARK-36822] [SQL] BroadcastNestedLoopJoinExec deve usar todas as condições em vez de uma condição non-equi
• [SPARK-35221] [SQL] Adicionar a verificação de dicas de junção com suporte
• [SPARK-36814] [SQL] Tornar a classe ColumnarBatch estendível
• [SPARK-36663] [SQL] Suporte a nomes de coluna somente número em fontes de dados ORC
• [SPARK-36751] [SQL][PYTHON][R] Adicionar APIs de bit/octet_length ao Scala, Python e R
• [SPARK-36733] [SQL] Corrigir um problema de perf em SchemaPruning quando um struct tem muitos campos
• [SPARK-36724] [SQL] Suporte ao timestamp_ntz como um tipo de coluna de tempo para SessionWindow
• [SPARK-36556] [SQL] Adicionar filtros DSV2
• [SPARK-36687] [SQL][CORE] Renomear classes de erro com o sufixo _ERROR
• [SPARK-35803] [SQL] Suporte a DataSource V2 CreateTempViewUsing
• [SPARK-36642] [SQL] Adicionar df.withMetadata: um syntax sugar para atualizar os metadados de um dataframe

Atualizações de manutenção

Confira Atualizações de manutenção do Databricks Runtime 10.1.

Ambiente do sistema

• Sistema operacional: Ubuntu 20.04.3 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.8.10
• R: 4.1.1
• Delta Lake: 1.0.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas do R estão instaladas desde o instantâneo do Microsoft CRAN em 26/10/2021.

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)