Compartilhar via

Databricks Runtime 15.2

  • Artigo

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 15.2, da plataforma Apache Spark 3.5.0.

A Databricks lançou essa versão em maio de 2024.

Dica

Para ver as notas sobre a versão das versões do Databricks Runtime que chegaram ao fim do suporte (EoS), confira Notas sobre as versões do Databricks Runtime em fim de suporte. As versões do Databricks Runtime EoS foram desativadas e podem não ser atualizadas.

Alterações comportamentais

O vácuo limpa arquivos de metadados COPY INTO

A execução de VACUUM em uma tabela escrita com COPY INTO, agora limpa metadados não referenciados associados ao acompanhamento de arquivos ingeridos. Não há nenhum impacto na semântica operacional de COPY INTO.

A Federação lakehouse está em GA (disponibilidade geral)

No Databricks Runtime 15.2 e posteriores, os conectores de Federação do Lakehouse nos seguintes tipos de banco de dados estão em GA (disponibilidade geral):

  • MySQL
  • PostgreSQL
  • Amazon Redshift
  • Snowflake
  • Microsoft SQL Server
  • Azure Synapse (SQL do Data Warehouse)
  • Databricks

Esta versão também apresenta as seguintes melhorias:

  • Suporte para autenticação de SSO (logon único) nos conectores Snowflake e Microsoft SQL Server.

  • Suporte ao Link Privado do Azure para o conector do SQL Server de ambientes de computação sem servidor. Consulte Etapa 3: criar pontos de extremidade privados.

  • Suporte para pushdowns adicionais (cadeia de caracteres, matemática e funções diversas).

  • Taxa de sucesso de pushdown melhorada em diferentes formas de consulta.

  • Recursos adicionais de depuração de pushdown:

    • A saída EXPLAIN FORMATTED exibe o texto da consulta enviada por push.
    • A interface do usuário do perfil de consulta exibe o texto da consulta pushed-down, os identificadores de nó federados e os tempos de execução da consulta JDBC (no modo detalhado). Consulte Exibir consultas federadas geradas pelo sistema.

BY POSITION para mapeamento de coluna usando COPY INTO com arquivos CSV sem cabeçalho

No Databricks Runtime 15.2 e posterior, você pode usar as palavras-chave BY POSITION (ou a sintaxe alternativa ( col_name [ , <col_name> ... ] )) com COPY INTO para arquivos CSV sem cabeçalho para simplificar a coluna de origem para o mapeamento de coluna de tabela de destino. Consulte Parâmetros.

Reduzir o consumo de memória quando as tarefas do Spark falharem com um erro Resubmitted

No Databricks Runtime 15.2 e posterior, o valor retornado do método Spark TaskInfo.accumulables() fica vazio quando as tarefas falham com um erro Resubmitted. Anteriormente, o método retornava os valores de uma tentativa de tarefa bem-sucedida anterior. Essa alteração de comportamento afeta os seguintes consumidores:

  • As tarefas do Spark que usam a classe EventLoggingListener.
  • Ouvintes personalizados do Spark.

Para restaurar o comportamento anterior, defina spark.scheduler.dropTaskInfoAccumulablesOnTaskCompletion.enabled como false.

A exibição das versões do plano de execução da consulta adaptável está desabilitada

Para reduzir o consumo de memória, as versões do plano de execução de consulta adaptável (AQE) agora estão desabilitadas por padrão na interface do usuário do Spark. Para habilitar a exibição de versões do plano do AQE na interface do usuário do Spark, defina spark.databricks.sql.aqe.showPlanChangesInUI.enabled como true.

O limite de consultas retidas é diminuído para reduzir o uso de memória da interface do usuário do Spark

No Databricks Runtime 15.2 e posterior, para reduzir a memória consumida pela interface do usuário do Spark na computação do Azure Databricks, o limite do número de consultas visíveis na interface do usuário é reduzido de 1000 para 100. Para alterar o limite, defina um novo valor usando a configuração do Spark spark.sql.ui.retainedExecutions.

DESCRIBE HISTORY agora mostra as colunas de clustering para as tabelas que usam clustering líquido

Quando você executa uma consulta DESCRIBE HISTORY, a coluna operationParameters mostra um campo clusterBy por padrão para as operações CREATE OR REPLACE e OPTIMIZE. Para uma tabela Delta que usa clustering líquido, o campo clusterBy é preenchido com as colunas de clustering da tabela. Se a tabela não usar clustering líquido, o campo ficará vazio.

Novos recursos e aprimoramentos

O suporte para as chaves primárias e estrangeiras é de GA

O suporte para as chaves primárias e estrangeiras no Databricks Runtime está em disponibilidade geral. A versão GA inclui as seguintes alterações nos privilégios necessários para usar chaves primárias e estrangeiras:

  • Para definir uma chave estrangeira, você deve ter o privilégio SELECT na tabela com a chave primária à qual a chave estrangeira se refere. Você não precisa ter a tabela com a chave primária, que era necessária anteriormente.
  • A remoção de uma chave primária usando a cláusula CASCADE não exige privilégios nas tabelas que definem chaves estrangeiras que fazem referência à chave primária. Anteriormente, você precisava ter as tabelas de referência.
  • A remoção de uma tabela que inclui restrições agora requer os mesmos privilégios que a remoção de tabelas que não incluem restrições.

Para saber como usar chaves primárias e estrangeiras com tabelas ou exibições, consulte cláusula CONSTRAINT, cláusula ADD CONSTRAINT e cláusula DROP CONSTRAINT.

O clustering líquido está em disponibilidade geral

O suporte para clustering líquido agora está em disponibilidade geral usando o Databricks Runtime 15.2 e versões superiores. Confira Usar clustering líquido para tabelas Delta.

A ampliação de tipo está em Visualização Pública

Agora você pode habilitar a ampliação de tipo em tabelas apoiadas pelo Delta Lake. Tabelas com a ampliação de tipo habilitada permitem alterar o tipo de colunas para um tipo de dados mais amplo sem reescrever arquivos de dados subjacentes. Consulte Ampliação de tipo.

Cláusula de evolução de esquema adicionada à sintaxe de mesclagem SQL

Você pode agora adicionar a cláusula WITH SCHEMA EVOLUTION a uma instrução de mesclagem SQL para possibilitar a evolução de esquema para a operação. Confira Sintaxe de evolução de esquema para mesclagem.

As fontes de dados personalizadas do PySpark estão disponíveis em Visualização Pública

Um PySpark DataSource pode ser criado usando a API DataSource do Python (PySpark), que permite ler de fontes de dados personalizadas e gravar em coletores de dados personalizados no Apache Spark usando Python. Veja Fontes de dados personalizadas do PySpark

applyInPandas e mapInPandas agora estão disponíveis na computação do Catálogo do Unity com modo de acesso compartilhado

Como parte de uma versão de manutenção do Databricks Runtime 14.3 LTS, agora há suporte para tipos UDF applyInPandas e mapInPandas na computação do modo de acesso compartilhado executando o Databricks Runtime 14.3 e superior.

Use dbutils.widgets.getAll() para obter todos os widgets em um notebook

Use dbutils.widgets.getAll() para obter todos os valores de widget em um notebook. Isso é especialmente útil ao passar vários valores de widgets para uma consulta SQL do Spark.

Suporte a inventário de vácuo

Agora você poderá especificar um inventário de arquivos a serem considerados ao executar o comando VACUUM em uma tabela de Delta. Consulte os documentos do Delta OSS.

Suporte para funções de compactação Zstandard

Agora você pode usar as funções zst_compress, zstd_decompress e try_zstd_decompress para compactar e descompactar dados BINARY.

Correções de bug

Os planos de consulta na interface do usuário do SQL agora são exibidos corretamente PhotonWriteStage

Quando exibidos na interface do usuário do SQL, comandos write em planos de consulta mostraram PhotonWriteStage incorretamente como um operador. Com essa versão, a interface do usuário é atualizada para mostrar PhotonWriteStage como uma fase. Essa é apenas uma alteração de interface do usuário e não afeta a forma como as consultas são executadas.

O Ray é atualizado para corrigir problemas com a inicialização de clusters Ray

Esta versão inclui uma versão corrigida do Ray que corrige uma alteração interruptiva que impede que os clusters Ray iniciem com o Databricks Runtime para Machine Learning. Essa alteração garante que a funcionalidade do Ray seja idêntica às versões do Databricks Runtime anteriores à 15.2.

Classe de erro corrigida para as funções DataFrame.sort() e DataFrame.sortWithinPartitions()

Esta versão inclui uma atualização para as funções DataFrame.sort() e DataFrame.sortWithinPartitions() do PySpark para garantir que a classe de erro ZERO_INDEX seja gerada quando 0 for passada como o argumento de índice. Anteriormente, a classe de erro INDEX_NOT_POSITIVE era gerada.

É feito o downgrade de ipywidgets de 8.0.4 para 7.7.2

Para corrigir os erros introduzidos por uma atualização de ipywidgets para 8.0.4 no Databricks Runtime 15.0, os ipywidgets são rebaixados para 7.7.2 no Databricks Runtime 15.2. Essa é a mesma versão incluída nas versões anteriores do Databricks Runtime.

Atualizações da biblioteca

  • Bibliotecas do Python atualizadas:
    • GitPython de 3.1.42 para 3.1.43
    • google-api-core de 2.17.1 para 2.18.0
    • google-auth de 2.28.1 para 2.29.0
    • google-cloud-storage de 2.15.0 para 2.16.0
    • googleapis-common-protos de 1.62.0 a 1.63.0
    • ipywidgets de 8.0.4 para 7.7.2
    • mlflow-skinny de 2.11.1 para 2.11.3
    • s3transfer de 0.10.0 para 0.10.1
    • sqlparse de 0.4.4 para 0.5.0
    • typing_extensions de 4.7.1 para 4.10.0
  • Atualização das bibliotecas do R:
  • Bibliotecas do Java atualizadas:
    • com.amazonaws.aws-java-sdk-autoscaling de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-cloudformation de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-cloudfront de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-cloudhsm de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-cloudsearch de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-cloudtrail de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-cloudwatch de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-codedeploy de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-cognitoidentity de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-cognitosync de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-config de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-core de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-datapipeline de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-directconnect de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-directory de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-dynamodb de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-ec2 de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-ecs de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-efs de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-elasticache de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-elasticbeanstalk de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-elasticloadbalancing de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-elastictranscoder de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-emr de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-glacier de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-glue de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-iam de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-importexport de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-kinesis de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-kms de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-lambda de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-logs de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-machinelearning de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-opsworks de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-rds de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-redshift de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-route53 de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-s3 de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-ses de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-simpledb de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-simpleworkflow de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-sns de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-sqs de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-ssm de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-storagegateway de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-sts de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-support de 1.12.390 para 1.12.610
    • com.amazonaws.aws-java-sdk-workspaces de 1.12.390 para 1.12.610
    • com.amazonaws.jmespath-java de 1.12.390 para 1.12.610

Apache Spark

O Databricks Runtime 15.2 inclui o Apache Spark 3.5.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 15.1 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

  • [SPARK-47941] [SC-163568] [SS] [Connect] Propagar erros de inicialização de trabalho ForeachBatch para usuários do PySpark
  • [SPARK-47412] [SC-163455][SQL] Adicionar suporte de ordenação para LPad/RPad.
  • [SPARK-47907] [SC-163408][SQL] Inserir negação sob uma configuração
  • [SPARK-46820] [SC-157093][PYTHON] Corrigir regressão de mensagem de erro restaurando new_msg
  • [SPARK-47602] [SPARK-47577][SPARK-47598][SPARK-47577]Core/MLLib/Gerenciadores de recursos: migração de log estruturada
  • [SPARK-47890] [SC-163324][CONNECT][PYTHON] Adicione funções de variantes ao Scala e Python.
  • [SPARK-47894] [SC-163086][CORE][WEBUI] Adicionar página Environment à interface do usuário mestra
  • [SPARK-47805] [SC-163459][SS] Implementando TTL para MapState
  • [SPARK-47900] [SC-163326] Correção da ordenação implícita (UTF8_BINARY)
  • [SPARK-47902] [SC-163316][SQL]Tornando as expressões de Tempo Atual dos Serviços de Computação* dobráveis
  • [SPARK-47845] [SC-163315][SQL][PYTHON][CONNECT] Tipo de coluna de suporte na função de divisão para Scala e Python
  • [SPARK-47754] [SC-162144][SQL] Postgres: Suporte à leitura de matrizes multidimensionais
  • [SPARK-47416] [SC-163001][SQL] Adicionar novas funções ao CollationBenchmark #90339
  • [SPARK-47839] [SC-163075][SQL] Corrigir bug de agregação em RewriteWithExpression
  • [SPARK-47821] [SC-162967][SQL] Implementar expressão is_variant_null
  • [SPARK-47883] [SC-163184][SQL] Tornar CollectTailExec.doExecute lento com RowQueue
  • [SPARK-47390] [SC-163306][SQL] PostgresDialect distingue TIMESTAMP de TIMESTAMP_TZ
  • [SPARK-47924] [SC-163282][CORE] Adicionar um log de DEBUG ao DiskStore.moveFileToBlock
  • [SPARK-47897] [SC-163183][SQL][3.5] Corrigir regressão de desempenho do ExpressionSet no Scala 2.12
  • [SPARK-47565] [SC-161786][PYTHON] Resiliência de falha do pool de trabalho do PySpark
  • [SPARK-47885] [SC-162989][PYTHON][CONNECT] Tornar pyspark.resource compatível com pyspark-connect
  • [SPARK-47887] [SC-163122][CONNECT] Remover spark/connect/common.proto de importação não utilizados do spark/connect/relations.proto
  • [SPARK-47751] [SC-161991][PYTHON][CONNECT] Tornar pyspark.worker_utils compatível com o pyspark-connect
  • [SPARK-47691] [SC-161760][SQL] Postgres: suporte à matriz multidimensional no lado da gravação
  • [SPARK-47617] [SC-162513][SQL] Adicionar infraestrutura de teste TPC-DS para ordenações
  • [SPARK-47356] [SC-162858][SQL] Adicionar suporte para ConcatWs & Elt (todas as ordenações)
  • [SPARK-47543] [SC-161234][CONNECT][PYTHON] Inferindo dict como MapType do DataFrame do Pandas para permitir a criação do DataFrame
  • [SPARK-47863] [SC-162974][SQL] Corrigir implementação ciente da ordenação startsWith & endsWith para ICU
  • [SPARK-47867] [SC-162966][SQL] Variante de suporte na verificação JSON.
  • [SPARK-47366] [SC-162475][SQL][PYTHON] Adicionar VariantVal para PySpark
  • [SPARK-47803] [SC-162726][SQL] Suporte convertido em variante.
  • [SPARK-47769] [SC-162841][SQL] Adicionar expressão schema_of_variant_agg.
  • [SPARK-47420] [SC-162842][SQL] Corrigir saída de teste
  • [SPARK-47430] [SC-161178][SQL] Suporte GROUP BY para MapType
  • [SPARK-47357] [SC-162751][SQL] Adicionar suporte para Superior, Inferior, InitCap (todas as ordenações)
  • [SPARK-47788] [SC-162729][SS] Garanta o mesmo particionamento hash para operações com estado de streaming
  • [SPARK-47776] [SC-162291][SS] Não permitir que a ordenação de desigualdade binária seja usada no esquema chave do operador com estado
  • [SPARK-47673] [SC-162824][SS] Implementando TTL para ListState
  • [SPARK-47818] [SC-162845][CONNECT] Introduza o cache de planos no SparkConnectPlanner para melhorar o desempenho das solicitações de Análise
  • [SPARK-47694] [SC-162783][CONNECT] Tornar o tamanho máximo da mensagem configurável no lado do cliente
  • [SPARK-47274] Reverter “[SC-162479][PYTHON][SQL] Fornecer mais usef…
  • [SPARK-47616] [SC-161193][SQL] Adicionar documento de usuário para mapear tipos de dados SQL do Spark do MySQL
  • [SPARK-47862] [SC-162837][PYTHON][CONNECT]Corrigir a geração de arquivos proto
  • [SPARK-47849] [SC-162724][PYTHON][CONNECT] Alterar o script de versão para liberar pyspark-connect
  • [SPARK-47410] [SC-162518][SQL] Refatorar UTF8String e CollationFactory
  • [SPARK-47807] [SC-162505][PYTHON][ML] Tornar pyspark.ml compatível com pyspark-connect
  • [SPARK-47707] [SC-161768][SQL] Tratamento especial do tipo JSON para o conector MySQL/J 5.x
  • [SPARK-47765] Reverter “[SC-162636][SQL] Adicionar SET COLLATION a…
  • [SPARK-47081] [SC-162151][CONNECT][FOLLOW] Melhorando a usabilidade do manipulador de progresso
  • [SPARK-47289] [SC-161877][SQL] Permitir que as extensões registrem informações estendidas no plano de explicação
  • [SPARK-47274] [SC-162479][PYTHON][SQL] Fornecer contexto mais útil para erros da API de DataFrame do PySpark
  • [SPARK-47765] [SC-162636][SQL] Adicionar SET COLLATION às regras do analisador
  • [SPARK-47828] [SC-162722][CONNECT][PYTHON] DataFrameWriterV2.overwrite falha com plano inválido
  • [SPARK-47812] [SC-162696][CONNECT] Suporte à serialização do SparkSession para a função de trabalho ForEachBatch
  • [SPARK-47253] [SC-162698][CORE] Permitir que o LiveEventBus pare sem o esvaziamento completo da fila de eventos
  • [SPARK-47827] [SC-162625][PYTHON] Avisos ausentes para recursos preteridos
  • [SPARK-47733] [SC-162628][SS] Adicionar métricas personalizadas para o operador transformWithState parte do progresso da consulta
  • [SPARK-47784] [SC-162623][SS] Mesclar TTLMode e TimeoutMode em um único TimeMode.
  • [SPARK-47775] [SC-162319][SQL] Suporte aos tipos escalares restantes na especificação variant.
  • [SPARK-47736] [SC-162503][SQL] Adicionar suporte para AbstractArrayType
  • [SPARK-47081] [SC-161758][CONNECT] Suporte ao andamento da execução da consulta
  • [SPARK-47682] [SC-162138][SQL] Conversão de suporte da variante.
  • [SPARK-47802] [SC-162478][SQL] Reverter () do significado struct() de volta ao significado *
  • [SPARK-47680] [SC-162318][SQL] Adicionar expressão variant_explode.
  • [SPARK-47809] [SC-162511][SQL] checkExceptionInExpression deve verificar o erro para cada modo de codegen
  • [SPARK-41811] [SC-162470][PYTHON][CONNECT] Implementar SQLStringFormatter com WithRelations
  • [SPARK-47693] [SC-162326][SQL] Adicionar otimização para comparação em minúsculas de UTF8String usado na ordenação UTF8_BINARY_LCASE
  • [SPARK-47541] [SC-162006][SQL] Cadeias de caracteres agrupadas em tipos complexos que dão suporte a operações reverse, array_join, concat, map
  • [SPARK-46812] [SC-161535][CONNECT][PYTHON] Tornar o mapInPandas/mapInArrow compatível com ResourceProfile
  • [SPARK-47727] [SC-161982][PYTHON] Fazer SparkConf para o nível raiz para SparkSession e SparkContext
  • [SPARK-47406] [SC-159376][SQL] Manipular TIMESTAMP e DATETIME no MYSQLDialect
  • [SPARK-47081] Revert [ “SC-161758][CONNECT] Support Query Executi…
  • [SPARK-47681] [SC-162043][SQL] Adicionar expressão schema_of_variant.
  • [SPARK-47783] [SC-162222] Adicione alguns SQLSTATEs ausentes e limpe o YY000 a ser usado…
  • [SPARK-47634] [SC-161558][SQL] Adicionar suporte herdado para desabilitar a normalização da chave do mapa
  • [SPARK-47746] [SC-162022] Implementar codificação de intervalo baseada em ordinal no RocksDBStateEncoder
  • [SPARK-47285] [SC-158340][SQL] AdaptiveSparkPlanExec deve sempre usar context.session
  • [SPARK-47643] [SC-161534][SS][PYTHON] Adicionar teste de pyspark para fonte de streaming do Python
  • [SPARK-47582] [SC-161943][SQL] Migrar o logInfo do Catalyst com variáveis para a estrutura de log estruturada
  • [SPARK-47558] [SC-162007][SS] Suporte de TTL de Estado para ValueState
  • [SPARK-47358] [SC-160912][SQL][COLLATION] Melhorar o suporte à expressão de repetição para retornar o tipo de dados correto
  • [SPARK-47504] [SC-162044][SQL] Resolver AbstractDataType simpleStrings para StringTypeCollated
  • [SPARK-47719] Reverter “[SC-161909][SQL] Alterar spark.sql.legacy.t…
  • [SPARK-47657] [SC-162010][SQL] Implementar suporte para efetuar push de filtros de ordenação por fonte de arquivo
  • [SPARK-47081] [SC-161758][CONNECT] Suporte ao andamento da execução da consulta
  • [SPARK-47744] [SC-161999] Adicionar suporte para bytes com valor negativo no codificador de intervalo
  • [SPARK-47713] [SC-162009][SQL][CONNECT] Corrigir uma falha de auto-junção
  • [SPARK-47310] [SC-161930][SS] Adicionar micro-parâmetro para operações de mesclagem para vários valores na parte de valor do repositório de estado
  • [SPARK-47700] [SC-161774][SQL] Corrigir a formatação de mensagens de erro com treeNode
  • [SPARK-47752] [SC-161993][PS][CONNECT] Tornar pyspark.pandas compatível com pyspark-connect
  • [SPARK-47575] [SC-161402][SPARK-47576][SPARK-47654] Implementar a API logWarning/logInfo na estrutura de log estruturada
  • [SPARK-47107] [SC-161201][SS][PYTHON] Implementar leitor de partição para fonte de dados de streaming do Python
  • [SPARK-47553] [SC-161772][SS] Adicionar suporte Java para as APIs do operador transformWithState
  • [SPARK-47719] [SC-161909][SQL] Alterar spark.sql.legacy.timeParserPolicy padrão para CORRECTED
  • [SPARK-47655] [SC-161761][SS] Integrar temporizador ao tratamento de estado inicial para state-v2
  • [SPARK-47665] [SC-161550][SQL] Usar SMALLINT para gravar ShortType no MYSQL
  • [SPARK-47210] [SC-161777][SQL] Adição de conversão implícita sem suporte indeterminado
  • [SPARK-47653] [SC-161767][SS] Adicionar suporte para tipos numéricos negativos e codificador de chave de verificação de intervalo
  • [SPARK-46743] [SC-160777][SQL] Bug de contagem após dobra constante
  • [SPARK-47525] [SC-154568][SQL] Suporte à junção de correlação de subconsultas em atributos de mapa
  • [SPARK-46366] [SC-151277][SQL] Use a expressão WITH em BETWEEN para evitar expressões duplicadas
  • [SPARK-47563] [SC-161183][SQL] Adicionar normalização de mapa na criação
  • [SPARK-42040] [SC-161171][SQL] SPJ: introduzir uma nova API para partição de entrada V2 para relatar estatísticas de partição
  • [SPARK-47679] [SC-161549][SQL] Usar HiveConf.getConfVars ou nomes de configuração do Hive diretamente
  • [SPARK-47685] [SC-161566][SQL] Restaurar o suporte para tipo Stream no Dataset#groupBy
  • [SPARK-47646] [SC-161352][SQL] Fazer try_to_number retornar NULL para entrada malformada
  • [SPARK-47366] [SC-161324][PYTHON] Adicionar aliases de pyspark e dataframe parse_json
  • [SPARK-47491] [SC-161176][CORE] Adicione slf4j-api jar ao caminho da classe primeiro antes dos outros do diretório jars
  • [SPARK-47270] [SC-158741][SQL] Dataset.isEmpty projeta CommandResults localmente
  • [SPARK-47364] [SC-158927][CORE] Fazer PluginEndpoint avisar quando os plug-ins responderem por mensagem unidirecional
  • [SPARK-47280] [SC-158350][SQL] Remover limitação de fuso horário para ORACLE TIMESTAMP WITH TIMEZONE
  • [SPARK-47551] [SC-161542][SQL] Adicionar expressão variant_get.
  • [SPARK-47559] [SC-161255][SQL] Suporte de codegen para variante parse_json
  • [SPARK-47572] [SC-161351][SQL] Impor partitionSpec de janela é solicitável.
  • [SPARK-47546] [SC-161241][SQL] Melhorar a validação ao ler Variant de Parquet
  • [SPARK-47543] [SC-161234][CONNECT][PYTHON] Inferindo dict como MapType do DataFrame do Pandas para permitir a criação do DataFrame
  • [SPARK-47485] [SC-161194][SQL][PYTHON][CONNECT] Criar coluna com ordenações na API de dataframe
  • [SPARK-47641] [SC-161376][SQL] Melhorar o desempenho de UnaryMinus e Abs
  • [SPARK-47631] [SC-161325][SQL] Remover método SQLConf.parquetOutputCommitterClass não utilizado
  • [SPARK-47674] [SC-161504][CORE] Habilitar spark.metrics.appStatusSource.enabled por padrão
  • [SPARK-47273] [SC-161162][SS][PYTHON] Implemente a interface do gravador de fluxo de dados do Python.
  • [SPARK-47637] [SC-161408][SQL] Usar errorCapturingIdentifier em mais locais
  • [SPARK-47497] Reverter ““[SC-160724][SQL] Fazer to_csv dar suporte à saída de array/struct/map/binary como cadeias de caracteres bonitas””
  • [SPARK-47492] [SC-161316][SQL] Ampliar regras de espaço em branco no lexer
  • [SPARK-47664] [SC-161475][PYTHON][CONNECT] Validar o nome da coluna com o esquema armazenado em cache
  • [SPARK-47638] [SC-161339][PS][CONNECT] Ignorar a validação do nome da coluna no PS
  • [SPARK-47363] [SC-161247][SS] Estado Inicial sem implementação de leitor de estado para a API de Estado v2.
  • [SPARK-47447] [SC-160448][SQL] Permitir a leitura de Parquet TimestampLTZ como TimestampNTZ
  • [SPARK-47497] Reverter “[SC-160724][SQL] Fazer to_csv dar suporte à saída de array/struct/map/binary como cadeias de caracteres automática”
  • [SPARK-47434] [SC-160122][WEBUI] Corrigir o link statistics no StreamingQueryPage
  • [SPARK-46761] [SC-159045][SQL] As cadeias de caracteres entre aspas em um caminho JSON devem dar suporte? caracteres
  • [SPARK-46915] [SC-155729][SQL] Simplificar UnaryMinusAbs e alinhar a classe de erro
  • [SPARK-47431] [SC-160919][SQL] Adicionar ordenação padrão no nível da sessão
  • [SPARK-47620] [SC-161242][PYTHON][CONNECT] Adicionar uma função auxiliar para classificar colunas
  • [SPARK-47570] [SC-161165][SS] Integrar alterações do codificador de verificação de intervalo com a implementação do temporizador
  • [SPARK-47497] [SC-160724][SQL] Fazer to_csv dar suporte à saída de array/struct/map/binary como cadeias de caracteres automática
  • [SPARK-47562] [SC-161166][CONNECT] Tratamento literal do fator fora do plan.py
  • [SPARK-47509] [SC-160902][SQL] Bloquear expressões de subconsulta em funções lambda e de ordem superior
  • [SPARK-47539] [SC-160750][SQL] Fazer com que o valor retornado do método castToString seja Any => UTF8String
  • [SPARK-47372] [SC-160905][SS] Adicionar suporte ao codificador de estado de chave baseado em verificação de intervalo para uso com o provedor de repositório de estado
  • [SPARK-47517] [SC-160642][CORE][SQL] Preferir Utils.bytesToString para exibição do tamanho
  • [SPARK-47243] [SC-158059][SS] Corrigir o nome do pacote de StateMetadataSource.scala
  • [SPARK-47367] [SC-160913][PYTHON][CONNECT] Suporte a fontes de dados do Python com o Spark Connect
  • [SPARK-47521] [SC-160666][CORE] Usar Utils.tryWithResource durante a leitura de dados aleatórios do armazenamento externo
  • [SPARK-47474] [SC-160522][CORE] Reverter SPARK-47461 e adicionar alguns comentários
  • [SPARK-47560] [SC-160914][PYTHON][CONNECT] Evitar RPC para validar o nome da coluna com o esquema armazenado em cache
  • [SPARK-47451] [SC-160749][SQL] Dar supoerte a to_json(variant).
  • [SPARK-47528] [SC-160727][SQL] Adicionar suporte de UserDefinedType a DataTypeUtils.canWrite
  • [SPARK-44708] Reverter “[SC-160734][PYTHON] Migrar test_reset_index assert_eq para usar assertDataFrameEqual”
  • [SPARK-47506] [SC-160740][SQL] Adicionar suporte a todos os formatos de fonte de arquivo para tipos de dados agrupados
  • [SPARK-47256] [SC-160784][SQL] Atribui nomes às classes de erro _LEGACY_ERROR_TEMP_102[4-7]
  • [SPARK-47495] [SC-160720][CORE] Corrigir o jar de recurso primário adicionado ao spark.jars duas vezes no modo de cluster k8s
  • [SPARK-47398] [SC-160572][SQL] Extrair uma característica para InMemoryTableScanExec para permitir a extensão da funcionalidade
  • [SPARK-47479] [SC-160623][SQL] A otimização não pode gravar dados em relações com o log de erros de vários caminhos
  • [SPARK-47483] [SC-160629][SQL] Adicionar suporte para operações de agregação e junção em matrizes de cadeias de caracteres agrupadas
  • [SPARK-47458] [SC-160237][CORE] Corrigir o problema com o cálculo das tarefas simultâneas máximas para o estágio de barreira
  • [SPARK-47534] [SC-160737][SQL] Mover o.a.s.variant para o.a.s.types.variant
  • [SPARK-47396] [SC-159312][SQL] Adicionar um mapeamento geral para TIME WITHOUT TIME ZONE ao TimestampNTZType
  • [SPARK-44708] [SC-160734][PYTHON] Migrar test_reset_index assert_eq para usar assertDataFrameEqual
  • [SPARK-47309] [SC-157733][SC-160398][SQL] XML: Adicionar testes de inferência de esquema para marcas de valor
  • [SPARK-47007] [SC-160630][SQL] Adicionar a expressão MapSort
  • [SPARK-47523] [SC-160645][SQL] Substituir JsonParser#getCurrentName preterido por JsonParser#currentName
  • [SPARK-47440] [SC-160635][SQL] Correção de sintaxe sem suporte para MsSqlServer
  • [SPARK-47512] [SC-160617][SS] Tipo de operação de marca usado com a aquisição/liberação do bloqueio de instância do repositório de estado rocksDB
  • [SPARK-47346] [SC-159425][PYTHON] Tornar o modo daemon configurável ao criar trabalhos do planejador do Python
  • [SPARK-47446] [SC-160163][CORE] Fazer BlockManager avisar antes de removeBlockInternal
  • [SPARK-46526] [SC-156099][SQL] Dar suporte a LIMIT sobre subconsultas correlacionadas em que predicados fazem referência apenas à tabela externa
  • [SPARK-47461] [SC-160297][CORE] Remover totalRunningTasksPerResourceProfile de função privada de ExecutorAllocationManager
  • [SPARK-47422] [SC-160219][SQL] Suporte a cadeias de caracteres agrupadas em operações de matriz
  • [SPARK-47500] [SC-160627][PYTHON][CONNECT] Tratamento do nome da coluna do fator de plan.py
  • [SPARK-47383] [SC-160144][CORE] Suporte à configuração spark.shutdown.timeout
  • [SPARK-47342] [SC-159049]Reverter “Suporte [SQL] TimestampNTZ para DB2 TIMESTAMP WITH TIME ZONE”
  • [SPARK-47486] [SC-160491][CONNECT] Remover método de ArrowDeserializers.getString privado não utilizado
  • [SPARK-47233] [SC-154486][CONNECT][SS][2/2] Lógica do cliente e servidor para o ouvinte de consulta de streaming do lado do cliente
  • [SPARK-47487] [SC-160534][SQL] Simplificar código em AnsiTypeCoercion
  • [SPARK-47443] [SC-160459][SQL] Suporte de agregação de janela para ordenações
  • [SPARK-47296] [SC-160457][SQL][COLLATION] Falha nas funções sem suporte para ordenações não binárias
  • [SPARK-47380] [SC-160164][CONNECT] Assegurar no lado do servidor que a SparkSession seja a mesma
  • [SPARK-47327] [SC-160069][SQL] Mover o teste de simultaneidade de chaves de classificação para CollationFactorySuite
  • [SPARK-47494] [SC-160495][Doc] Adicionar documento de migração para a alteração de comportamento da inferência de carimbo de data/hora Parquet desde o Spark 3.3
  • [SPARK-47449] [SC-160372][SS] Refatorar e dividir os testes de unidade de lista/temporizador
  • [SPARK-46473] [SC-155663][SQL] Reutiliza o método getPartitionedFile
  • [SPARK-47423] [SC-160068][SQL] Ordenações – Definir suporte de operação para cadeias de caracteres com ordenações
  • [SPARK-47439] [SC-160115][PYTHON] API de fonte de dados do documento do Python na API de referência
  • [SPARK-47457] [SC-160234][SQL] Corrigir IsolatedClientLoader.supportsHadoopShadedClient para manipular o Hadoop 3.4+
  • [SPARK-47366] [SC-159348][SQL] Implemente parse_json.
  • [SPARK-46331] [SC-152982][SQL] Removendo CodegenFallback do subconjunto de expressões DateTime e expressão version()
  • [SPARK-47395] [SC-159404] Adicionar ordenação a outras APIs
  • [SPARK-47437] [SC-160117][PYTHON][CONNECT] Corrigir a classe de erro para DataFrame.sort*
  • [SPARK-47174] [SC-154483][CONNECT][SS][1/2] SparkConnectListenerBusListener do lado do servidor para o ouvinte de consulta de streaming do lado do cliente
  • [SPARK-47324] [SC-158720][SQL] Adicionar conversão de carimbo de data/hora ausente para tipos aninhados JDBC
  • [SPARK-46962] [SC-158834][SS][PYTHON] Adicionar interface para a API de fonte de dados de streaming do Ppython e implementar o Python Worker para executar a fonte de dados de streaming do Python
  • [SPARK-45827] [SC-158498][SQL] Mover verificações de tipo de dados para CreatableRelationProvider
  • [SPARK-47342] [SC-158874][SQL] Suporte [SQL] TimestampNTZ para DB2 TIMESTAMP WITH TIME ZONE
  • [SPARK-47399] [SC-159378][SQL] Desabilitar colunas geradas em expressões com ordenações
  • [SPARK-47146] [SC-158247][CORE] Possível vazamento de thread ao fazer a junção de mesclagem de classificação
  • [SPARK-46913] [SC-159149][SS] Adicionar suporte para timers baseados em tempo de processamento/evento com o operador transformWithState
  • [SPARK-47375] [SC-159063][SQL] Adicionar diretrizes para mapeamento de carimbo de data/hora em JdbcDialect#getCatalystType
  • [SPARK-47394] [SC-159282][SQL] Suporte a TIMESTAMP WITH TIME ZONE para H2Dialect
  • [SPARK-45827] Reverter “[SC-158498][SQL] Mover verificações de tipo de dados para …
  • [SPARK-47208] [SC-159279][CORE] Permitir a substituição da memória de sobrecarga base
  • [SPARK-42627] [SC-158021][SPARK-26494][SQL] Suporte a TIMESTAMP WITH LOCAL TIME ZONE no Oracle
  • [SPARK-47055] [SC-156916][PYTHON] Atualizar o MyPy 1.8.0
  • [SPARK-46906] [SC-157205][SS] Adicionar uma verificação de alteração de operador com estado para streaming
  • [SPARK-47391] [SC-159283][SQL] Remover a solução alternativa de caso de teste para JDK 8
  • [SPARK-47272] [SC-158960][SS] Adicionar implementação MapState para a API de Estado v2.
  • [SPARK-47375] [SC-159278][Doc][FollowUp] Corrigir um erro no documento de opção preferTimestampNTZ do JDBC
  • [SPARK-42328] [SC-157363][SQL] Remover _LEGACY_ERROR_TEMP_1175 de classes de erro
  • [SPARK-47375] [SC-159261][Doc][FollowUp] Corrigir a descrição da opção preferTimestampNTZ no documento JDBC
  • [SPARK-47344] [SC-159146] Estender erro INVALID_IDENTIFIER além de capturar ‘-‘ em um identificador não citado e corrigir “IS ! NULL” et al.
  • [SPARK-47340] [SC-159039][SQL] Alterar “ordenação” no nome do tipo StringType para minúsculas
  • [SPARK-47087] [SC-157077][SQL] Gerar exceção do Spark com uma classe de erro na verificação de valor de configuração
  • [SPARK-47327] [SC-158824][SQL] Corrigir problema de segurança de thread no Agrupador do ICU
  • [SPARK-47082] [SC-157058][SQL] Corrigir condição de erro fora dos limites
  • [SPARK-47331] [SC-158719][SS] Serialização usando classes de caso/primitivas/POJO com base no codificador SQL para API de Estado Arbitrário v2.
  • [SPARK-47250] [SC-158840][SS] Adicionar validações adicionais e alterações de NERF para o provedor de estado RocksDB e o uso de famílias de colunas
  • [SPARK-47328] [SC-158745][SQL] Renomear ordenação UCS_BASIC para UTF8_BINARY
  • [SPARK-47207] [SC-157845][CORE] Suporte a spark.driver.timeout e DriverTimeoutPlugin
  • [SPARK-47370] [SC-158956][Doc] Adicionar documento de migração: inferência de tipo TimestampNTZ em arquivos Parquet
  • [SPARK-47309] [SC-158827][SQL][XML] Adicionar testes unitários de inferência de esquema
  • [SPARK-47295] [SC-158850][SQL] ICU StringSearch adicionado para as funções startsWith e endsWith
  • [SPARK-47343] [SC-158851][SQL] Corrigir NPE quando valor de variável sqlString for cadeia de caracteres nula em execução imediata
  • [SPARK-46293] [SC-150117][CONNECT][PYTHON] Usar dependência transitiva protobuf
  • [SPARK-46795] [SC-154143][SQL] Substituir UnsupportedOperationException por SparkUnsupportedOperationException no sql/core
  • [SPARK-46087] [SC-149023][PYTHON] Sincronizar dependências do PySpark em documentos e requisitos de desenvolvimento
  • [SPARK-47169] [SC-158848][SQL] Desabilitar bucketing em colunas agrupadas
  • [SPARK-42332] [SC-153996][SQL] Alterando a necessidade para um SparkException em ComplexTypeMergingExpression
  • [SPARK-45827] [SC-158498][SQL] Mover verificações de tipo de dados para CreatableRelationProvider
  • [SPARK-47341] [SC-158825][Conectar] Substituir comandos por relações em alguns testes no SparkConnectClientSuite
  • [SPARK-43255] [SC-158026][SQL] Substituir a classe de erro _LEGACY_ERROR_TEMP_2020 por um erro interno
  • [SPARK-47248] [SC-158494][SQL][COLLATION] Suporte aprimorado à função de cadeia de caracteres: contém
  • [SPARK-47334] [SC-158716][SQL] Fazer withColumnRenamed reutilizar a implementação de withColumnsRenamed
  • [SPARK-46442] [SC-153168][SQL] DS V2 dá suporte a pushdown PERCENTILE_CONT e PERCENTILE_DISC
  • [SPARK-47313] [SC-158747][SQL] Tratamento de scala.MatchError adicionado dentro de QueryExecution.toInternalError
  • [SPARK-45827] [SC-158732][SQL] Adicionar tipo singleton variante para Java
  • [SPARK-47337] [SC-158743][SQL][DOCKER] Atualizar a versão da imagem do docker DB2 para 11.5.8.0
  • [SPARK-47302] [SC-158609][SQL] Agrupar palavra-chave como identificador
  • [SPARK-46817] [SC-154196][CORE] Corrigir o uso de spark-daemon.sh adicionando o comando decommission
  • [SPARK-46739] [SC-153553][SQL] Adicionar a classe de erro UNSUPPORTED_CALL
  • [SPARK-47102] [SC-158253][SQL] Adicionar o sinalizador de configuração COLLATION_ENABLED
  • [SPARK-46774] [SC-153925][SQL][AVRO] Usar mapreduce.output.fileoutputformat.compress em vez de mapred.output.compress preterido em trabalhos de gravação do Avro
  • [SPARK-45245] [SC-146961][PYTHON][CONNECT] PythonWorkerFactory: tempo limite se o trabalho não se conectar novamente.
  • [SPARK-46835] [SC-158355][SQL][Ordenações] Suporte de junção para ordenações não binárias
  • [SPARK-47131] [SC-158154][SQL][COLLATION] Suporte à função de cadeia de caracteres: contains, startswith, endswith
  • [SPARK-46077] [SC-157839][SQL] Considere o tipo gerado por TimestampNTZConverter em JdbcDialect.compileValue.
  • [SPARK-47311] [SC-158465][SQL][PYTHON] Suprimir exceções do Python em que PySpark não está no caminho do Python
  • [SPARK-47319] [SC-158599][SQL] Melhorar o cálculo missingInput
  • [SPARK-47316] [SC-158606][SQL] Correção de TimestampNTZ no Postgres Array
  • [SPARK-47268] [SC-158158][SQL][Collations] Suporte para repartição com ordenações
  • [SPARK-47191] [SC-157831][SQL] Evitar pesquisa de relação desnecessária ao desacompactar tabela/exibição
  • [SPARK-47168] [SC-158257][SQL] Desabilitar o pushdown do filtro parquet ao trabalhar com cadeias de caracteres agrupadas não padrão
  • [SPARK-47236] [SC-158015][CORE] Corrigir deleteRecursivelyUsingJavaIO para ignorar a entrada de arquivo não existente
  • [SPARK-47238] [SC-158466][SQL] Reduzir o uso de memória do executor tornando o código gerado no WSCG uma variável de difusão
  • [SPARK-47249] [SC-158133][CONNECT] Corrigir bug em que todas as execuções de conexão são consideradas abandonadas independentemente de seu status real
  • [SPARK-47202] [SC-157828][PYTHON] Correção de datetimes de quebra de digitação com tzinfo
  • [SPARK-46834] [SC-158139][SQL][Collations] Suporte para agregações
  • [SPARK-47277] [SC-158351][3.5] Função util PySpark assertDataFrameEqual não deve dar suporte ao DF de streaming
  • [SPARK-47155] [SC-158473][PYTHON] Corrigir problema de classe de erro
  • [SPARK-47245] [SC-158163][SQL] Melhorar o código de erro para INVALID_PARTITION_COLUMN_DATA_TYPE
  • [SPARK-39771] [SC-158425][CORE] Adicione um aviso em Dependency quando um número muito grande de blocos for criado ordem aleatória.
  • [SPARK-47277] [SC-158329] Função util PySpark assertDataFrameEqual não deve dar suporte ao DF de streaming
  • [SPARK-47293] [SC-158356][CORE] Criar batchSchema com sparkSchema em vez de acrescentar um por um
  • [SPARK-46732] [SC-153517][CONNECT] Fazer a subconsulta/transmissão funcionar com o gerenciamento de artefatos do Connect
  • [SPARK-44746] [SC-158332][PYTHON] Adicionar mais documentação do Python UDTF para funções que aceitam tabelas de entrada
  • [SPARK-47120] [SC-157517][SQL] Comparação nula efetua push do filtro de dados da subconsulta produzida no NPE no filtro Parquet
  • [SPARK-47251] [SC-158291] [PYTHON] Bloquear tipos inválidos do argumento args para o comando sql
  • [SPARK-47251] Reverter “[SC-158121][PYTHON] Bloquear tipos inválidos do argumento args para o comando sql”
  • [SPARK-47015] [SC-157900][SQL] Desabilitar o particionamento em colunas agrupadas
  • [SPARK-46846] [SC-154308][CORE] Fazer WorkerResourceInfo estender Serializable explicitamente
  • [SPARK-46641] [SC-156314][SS] Adicionar limite maxBytesPerTrigger
  • [SPARK-47244] [SC-158122][CONNECT] SparkConnectPlanner tornar as funções internas privadas
  • [SPARK-47266] [SC-158146][CONNECT] Fazer ProtoUtils.abbreviate retornar o mesmo tipo que a entrada
  • [SPARK-46961] [SC-158183][SS] Usando ProcessorContext para armazenar e recuperar identificador
  • [SPARK-46862] [SC-154548][SQL] Desabilitar a poda de coluna CSV no modo de várias linhas
  • [SPARK-46950] [SC-155803][CORE][SQL] Alinhar classe de erro not available codec
  • [SPARK-46368] [SC-153236][CORE] Suporta readyz na API REST de Envio
  • [SPARK-46806] [SC-154108][PYTHON] Melhorar a mensagem de erro para spark.table quando o tipo de argumento estiver errado
  • [SPARK-47211] [SC-158008][CONNECT][PYTHON] Corrigir ordenação ignorada de cadeia de caracteres do PySpark Connect
  • [SPARK-46552] [SC-151366][SQL] Substituir UnsupportedOperationException por SparkUnsupportedOperationException no catalyst
  • [SPARK-47147] [SC-157842][PYTHON][SQL] Corrigir erro de conversão de cadeia de caracteres agrupada do PySpark
  • [SPARK-47144] [SC-157826][CONNECT][SQL][PYTHON] Corrigir o erro de ordenação do Spark Connect adicionando o campo protobuf collateId
  • [SPARK-46575] [SC-153200][SQL][HIVE] Make HiveThriftServer2.startWithContext DevelopApi repetível e corrigir inconsistências de ThriftServerWithSparkContextInHttpSuite
  • [SPARK-46696] [SC-153832][CORE] No ResourceProfileManager, as chamadas de função devem ocorrer após declarações variáveis
  • [SPARK-47214] [SC-157862][Python] Criar a API UDTF para o método ‘analyze’ para diferenciar argumentos NULL constantes e outros tipos de argumentos
  • [SPARK-46766] [SC-153909][SQL][AVRO] Suporte ao pool de buffers ZSTD para fonte de dados AVRO
  • [SPARK-47192] [SC-157819] Converter alguns erros de _LEGACY_ERROR_TEMP_0035
  • [SPARK-46928] [SC-157341][SS] Adicionar suporte para ListState na API de Estado Arbitrário v2.
  • [SPARK-46881] [SC-154612][CORE] Suporta spark.deploy.workerSelectionPolicy
  • [SPARK-46800] [SC-154107][CORE] Suporta spark.deploy.spreadOutDrivers
  • [SPARK-45484] [SC-146014][SQL] Corrigir o bug que usa o codec de compactação parquet incorreto lz4raw
  • [SPARK-46791] [SC-154018][SQL] Suporte a Conjunto Java em JavaTypeInference
  • [SPARK-46332] [SC-150224][SQL] Migrar CatalogNotFoundException para a classe de erro CATALOG_NOT_FOUND
  • [SPARK-47164] [SC-157616][SQL] Fazer com que o valor padrão do literal estreito do tipo mais largo da v2 se comporte da mesma forma que v1
  • [SPARK-46664] [SC-153181][CORE] Melhorar Master para se recuperar rapidamente no caso de zero trabalhos e aplicativos
  • [SPARK-46759] [SC-153839][SQL][AVRO] Nível de compactação de suporte do Codec xz e zstandard para arquivos avro

Suporte ao driver ODBC/JDBC do Databricks

O Databricks dá suporte a drivers ODBC/JDBC lançados nos últimos dois anos. Baixe os drivers e a atualização lançados recentemente (baixe o ODBC, baixe o JDBC).

Confira Atualizações de manutenção do Databricks Runtime 15.2.

Ambiente do sistema

  • Sistema operacional: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Lake: 3.2.0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
black 23.3.0 blinker 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
clique 8.0.4 cloudpickle 2.2.1 comm 0.1.2
contourpy 1.0.5 criptografia 41.0.3 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 distlib 0.3.8
entrypoints 0,4 em execução 0.8.3 facets-overview 1.1.1
filelock 3.13.1 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.18.0 google-auth 2.29.0
google-cloud-core 2.4.1 google-cloud-storage 2.16.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jedi 0.18.1 jeepney 0.7.1
jmespath 0.10.0 joblib 1.2.0 jupyter_client 7.4.9
jupyter_core 5.3.0 keyring 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.3
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 empacotando 23,2
pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 proto-plus 1.23.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 14.0.1
pyasn1 0.4.8 pyasn1-modules 0.2.8 pyccolo 0.0.52
pycparser 2.21 pydantic 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.38
pyparsing 3.0.9 python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1
pytz 2022.7 PyYAML 6,0 pyzmq 23.2.0
solicitações 2.31.0 rsa 4.9 s3transfer 0.10.1
scikit-learn 1.3.0 scipy 1.11.1 seaborn 0.12.2
SecretStorage 3.3.1 setuptools 68.0.0 six 1.16.0
smmap 5.0.1 sqlparse 0.5.0 ssh-import-id 5.11
stack-data 0.2.0 statsmodels 0.14.0 tenacity 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tornado 6.3.2
traitlets 5.7.1 typing_extensions 4.10.0 tzdata 2022.1
ujson 5.4.0 unattended-upgrades 0,1 urllib3 1.26.16
virtualenv 20.24.2 wadllib 1.3.6 wcwidth 0.2.5
wheel 0.38.4 zipp 3.11.0

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo CRAN do Gerenciador de Pacotes Posit.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
seta 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
backports 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 boot 1.3-28
brew 1.0-10 brio 1.1.4 broom 1.0.5
bslib 0.6.1 cachem 1.0.8 callr 3.7.3
sinal de interpolação 6.0-94 cellranger 1.1.0 chron 2.3-61
class 7.3-22 cli 3.6.2 clipr 0.8.0
clock 0.7.0 cluster 2.1.4 codetools 0.2-19
colorspace 2.1-0 commonmark 1.9.1 compiler 4.3.2
config 0.3.2 conflicted 1.2.0 cpp11 0.4.7
crayon 1.5.2 credenciais 2.0.1 curl 5.2.0
data.table 1.15.0 conjuntos de dados 4.3.2 DBI 1.2.1
dbplyr 2.4.0 desc 1.4.3 devtools 2.4.5
diagrama 1.6.5 diffobj 0.3.5 digest 0.6.34
downlit 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 ellipsis 0.3.2 evaluate 0,23
fansi 1.0.6 farver 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
foreign 0.8-85 forge 0.2.0 fs 1.6.3
future 1.33.1 future.apply 1.11.1 gargle 1.5.2
genéricos 0.1.3 gert 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 glue 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
elemento gráfico 4.3.2 grDevices 4.3.2 grid 4.3.2
gridExtra 2.3 gsubfn 0.7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 haven 2.5.4
highr 0,10 hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 knitr 1,45 labeling 0.4.3
later 1.3.2 lattice 0.21-8 lava 1.7.3
ciclo de vida 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.12 MASS 7.3-60
Matriz 1.5-4.1 memoise 2.0.1 métodos 4.3.2
mgcv 1.8-42 mime 0,12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
parallelly 1.36.0 pillar 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 praise 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 progress 1.2.3
progressr 0.14.0 promises 1.2.1 proto 1.0.0
proxy 0.4-27 ps 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reactable 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
recipes 1.0.9 rematch 2.0.0 rematch2 2.1.2
remotes 2.4.2.1 reprex 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2.25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 sass 0.4.8
scales 1.3.0 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 spatial 7.3-15 splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
survival 3.5-5 swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
textshaping 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 timechange 0.3.0
timeDate 4032.109 tinytex 0,49 manuais 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 utils 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 waldo 0.5.2 whisker 0.4.1
withr 3.0.0 xfun 0,41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip 2.3.1

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)

ID do Grupo Artifact ID Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.610
com.amazonaws aws-java-sdk-cloudformation 1.12.610
com.amazonaws aws-java-sdk-cloudfront 1.12.610
com.amazonaws aws-java-sdk-cloudhsm 1.12.610
com.amazonaws aws-java-sdk-cloudsearch 1.12.610
com.amazonaws aws-java-sdk-cloudtrail 1.12.610
com.amazonaws aws-java-sdk-cloudwatch 1.12.610
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.610
com.amazonaws aws-java-sdk-codedeploy 1.12.610
com.amazonaws aws-java-sdk-cognitoidentity 1.12.610
com.amazonaws aws-java-sdk-cognitosync 1.12.610
com.amazonaws aws-java-sdk-config 1.12.610
com.amazonaws aws-java-sdk-core 1.12.610
com.amazonaws aws-java-sdk-datapipeline 1.12.610
com.amazonaws aws-java-sdk-directconnect 1.12.610
com.amazonaws aws-java-sdk-directory 1.12.610
com.amazonaws aws-java-sdk-dynamodb 1.12.610
com.amazonaws aws-java-sdk-ec2 1.12.610
com.amazonaws aws-java-sdk-ecs 1.12.610
com.amazonaws aws-java-sdk-efs 1.12.610
com.amazonaws aws-java-sdk-elasticache 1.12.610
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.610
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.610
com.amazonaws aws-java-sdk-elastictranscoder 1.12.610
com.amazonaws aws-java-sdk-emr 1.12.610
com.amazonaws aws-java-sdk-glacier 1.12.610
com.amazonaws aws-java-sdk-glue 1.12.610
com.amazonaws aws-java-sdk-iam 1.12.610
com.amazonaws aws-java-sdk-importexport 1.12.610
com.amazonaws aws-java-sdk-kinesis 1.12.610
com.amazonaws aws-java-sdk-kms 1.12.610
com.amazonaws aws-java-sdk-lambda 1.12.610
com.amazonaws aws-java-sdk-logs 1.12.610
com.amazonaws aws-java-sdk-machinelearning 1.12.610
com.amazonaws aws-java-sdk-opsworks 1.12.610
com.amazonaws aws-java-sdk-rds 1.12.610
com.amazonaws aws-java-sdk-redshift 1.12.610
com.amazonaws aws-java-sdk-route53 1.12.610
com.amazonaws aws-java-sdk-s3 1.12.610
com.amazonaws aws-java-sdk-ses 1.12.610
com.amazonaws aws-java-sdk-simpledb 1.12.610
com.amazonaws aws-java-sdk-simpleworkflow 1.12.610
com.amazonaws aws-java-sdk-sns 1.12.610
com.amazonaws aws-java-sdk-sqs 1.12.610
com.amazonaws aws-java-sdk-ssm 1.12.610
com.amazonaws aws-java-sdk-storagegateway 1.12.610
com.amazonaws aws-java-sdk-sts 1.12.610
com.amazonaws aws-java-sdk-support 1.12.610
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.610
com.amazonaws jmespath-java 1.12.610
com.clearspring.analytics fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1,1
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.ibm.icu icu4j 72.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,25
io.delta delta-sharing-client_2.12 1.0.5
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx coletor 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1,3
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,40
org.glassfish.jersey.containers jersey-container-servlet-core 2,40
org.glassfish.jersey.core jersey-client 2,40
org.glassfish.jersey.core jersey-common 2,40
org.glassfish.jersey.core jersey-server 2,40
org.glassfish.jersey.inject jersey-hk2 2,40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap shims 0.9.45-databricks
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2,0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1