Compartilhar via

Databricks Runtime 15.1 (EoS)

  • Artigo

Observação

O suporte para esta versão do Databricks Runtime foi encerrado. Para obter a data de fim do suporte, consulte o Histórico de fim do suporte. Para todas as versões compatíveis do Databricks Runtime, consulte Versões e compatibilidade de notas sobre a versão do Databricks Runtime.

As notas de lançamento a seguir fornecem informações sobre o Databricks Runtime 15.1, desenvolvido com Apache Spark 3.5.0.

O Databricks lançou essa versão em abril de 2024.

Dica

Para ver as notas sobre a versão das versões do Databricks Runtime que chegaram ao fim do suporte (EoS), confira Notas sobre as versões do Databricks Runtime em fim de suporte. As versões do Databricks Runtime EoS foram desativadas e podem não ser atualizadas.

Alterações da falha

O suporte para Databricks Runtime 15.0 e Databricks Runtime 15.0 para Machine Learning termina em 31 de maio de 2024 porque uma atualização da biblioteca pandas de 1.5.3 para 2.0.3 em 15.0 causou uma alteração significativa em várias APIs Apache Spark. Para obter detalhes sobre as alterações mais recentes, veja A biblioteca Python do pandas foi rebaixada para 1.5.3. Para resolver essa incompatibilidade, a Databricks lançou o Databricks Runtime 15.1 e o Databricks Runtime 15.1 para Machine Learning. A funcionalidade suportada por essas versões é a mesma das versões 15.0, mas com a versão do pandas rebaixada para 1.5.3.

Quaisquer clusters ou trabalhos existentes que utilizem as versões 15.0 do Databricks Runtime continuarão a funcionar, mas não receberão atualizações de produtos ou de segurança. Já não é possível configurar uma nova computação que utilize o Databricks Runtime 15.0 ou o Databricks Runtime 15.0 ML na UI do Databricks. Se não estiver a utilizar funcionalidades ou APIs que exijam pandas 2.0+, a Databricks recomenda mudar essas cargas de trabalho para Databricks Runtime 15.1.

Se você estiver usando recursos ou APIs disponíveis apenas no pandas 2.0+ e não estiver usando nenhuma função afetada por essa versão, a Databricks recomenda mudar para o Databricks Runtime 15.1 e atualizar o pacote pandas padrão usando cluster ou bibliotecas com escopo de notebook. Por exemplo, para atualizar a biblioteca pandas num bloco de notas Databricks, utilize o seguinte comando:

%pip install pandas==2.0.3

A biblioteca pandas Python foi rebaixada para 1.5.3

Nessa versão, a biblioteca pandas foi rebaixada da versão 2.0.3 para 1.5.3. Esse downgrade foi necessário porque incompatibilidades na versão 2.0.3 do pandas causaram erros em algumas API do pandas nas funções do Spark. A seguir listamos as funções afetadas pela versão 2.0.3 do pandas:

  • pyspark.date_range: O parâmetro closed está faltando, causando erros quando essa função é chamada pelo código existente.
  • A funcionalidade das colunas GroupBy com MultiIndex foi alterada, causando comportamento inesperado.
  • Alguns atributos datetime de DatetimeIndex (por exemplo day, month, year, e assim por diante) retornam tipos de dados int32 em vez de tipos de dados int64.

A função PySpark spark.sql() agora falha para tipos de argumento inválidos

No Databricks Runtime 15.1 e posterior, o parâmetro args para parâmetros nomeados ou posicionais passados para a função spark.sql() deve ser um dicionário ou lista. Se qualquer outro tipo de objeto for passado, o seguinte erro será gerado: PySparkTypeError: [INVALID_TYPE] Argument `args` should not be a <arg_type>.

O armazenamento de bibliotecas na raiz DBFS foi preterido e desabilitado por padrão

Para melhorar a segurança das bibliotecas num espaço de trabalho Azure Databricks, o armazenamento de ficheiros de biblioteca na raiz DBFS é preterido e desativado por padrão a partir do Databricks Runtime 15.1. O Databricks recomenda carregar todas as bibliotecas, que incluem bibliotecas Python, arquivos JAR e conectores Spark, para arquivos de workspace, volumes do Catálogo do Unity ou usando um repositório de pacotes. Confira Recomendações para upload de bibliotecas.

Para habilitar novamente as bibliotecas de armazenamento na raiz do DBFS, defina o seguinte parâmetro de configuração do Spark: spark.databricks.driver.dbfsLibraryInstallationAllowed true.

A versão padrão do Python foi atualizada da 3.10 para a 3.11

Com o Databricks Runtime 15.1, a versão padrão do Python é 3.11.0. Para obter a lista de bibliotecas do Python atualizadas, consulte Atualizações de bibliotecas.

O JDK 11 foi removido

Conforme anunciado anteriormente, o JDK 11 foi removido do Databricks Runtime 15.1 e posterior. A Databricks recomenda atualizar para o JDK 17 ao atualizar para o Databricks Runtime 15.1 e posterior. Consulte o SDK do Databricks para Java.

O REPL do Python agora termina normalmente

Com o Databricks Runtime 15.1, o processo Python REPL do notebook agora termina normalmente na saída. Isso faz com que todos os ganchos de atexit sejam honrados. Por exemplo, em um fluxo de trabalho com várias tarefas do notebook Python, os ganchos de atexit registrados na primeira tarefa são executados antes da segunda tarefa do notebook Python ser executada.

Novos recursos e aprimoramentos

A cláusula * (asterisco) agora tem suporte na cláusula WHERE

Agora você pode usar a cláusula de asterisco (*) na cláusula WHERE para fazer referência a todas as colunas da lista SELECT. Por exemplo, SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

A configuração spark.sql.json.enablePartialResults agora está habilitada por padrão

A configuração spark.sql.json.enablePartialResults do Spark agora está habilitada por padrão, permitindo que o analisador JSON lide corretamente com erros de análise para tipos complexos, como struct, mapa e matriz sem remover os campos restantes. Essa alteração corrige um problema de consistência para fontes de dados JSON com a remoção de coluna.

As bibliotecas de cluster agora dão suporte a arquivos requirements.txt

Agora você pode instalar bibliotecas de cluster usando um arquivo requirements.txt armazenado em um arquivo de workspace ou volume do Catálogo do Unity. Em clusters de modo de acesso de Usuário único e Compartilhado, o arquivo requirements.txt pode referenciar outros arquivos. Em clusters de modo de acesso Sem isolamento compartilhado, há suporte apenas para pacotes PyPI. Consulte as Bibliotecas de cluster.

A CLI do Databricks agora está disponível no terminal da Web

Agora você pode usar a CLI do Databricks no terminal da Web no notebook. O notebook precisa ser anexado a um cluster no modo de acesso compartilhado de um Usuário único ou Sem isolamento compartilhado. Para obter detalhes, consulte Usar o terminal da Web e a CLI do Databricks.

Adicionar repositórios padrão do Python às configurações de cluster

No Databricks Runtime 15.1 e posterior, você pode configurar parâmetros globais pip index-url e extra-index-url para instalação de cluster e biblioteca com escopo de notebook ao configurar um cluster ou definir uma política de cluster. Para fazer isso, defina as variáveis de ambiente DATABRICKS_PIP_INDEX_URL e DATABRICKS_PIP_EXTRA_INDEX_URL.

A passagem de credencial e os controles de acesso à tabela do metastore do Hive foram preteridos

A passagem de credenciais e os Controles de acesso à tabela do metastore do Hive são modelos de governança de dados herdados. Atualize para o Catálogo do Unity para simplificar a segurança e a governança de seus dados, fornecendo um local central para administrar e auditar o acesso a dados em vários workspaces em sua conta. Veja O que é o Catálogo do Unity?.

O suporte para controles de acesso à tabela do metastore e passagem de credenciais será removido em uma versão futura do DBR.

Atualizações da biblioteca

  • Bibliotecas do Python atualizadas:
    • black de 22.6.0 a 23.3.0
    • boto3 de 1.24.28 a 1.34.39
    • botocore de 1.27.96 a 1.34.39
    • certifi de 2022.12.7 a 2023.7.22
    • cryptography de 39.0.1 a 41.0.3
    • databricks-sdk de 0.1.6 a 0.20.0
    • distlib de 0.3.7 a 0.3.8
    • googleapis-common-protos de 1.62.0 a 1.63.0
    • grpcio de 1.48.2 a 1.60.0
    • grpcio-status de 1.48.1 a 1.60.0
    • importlib-metadata de 4.6.4 a 6.0.0
    • ipykernel de 6.25.0 a 6.25.1
    • ipython de 8.14.0 a 8.15.0
    • ipywidgets de 7.7.2 a 8.0.4
    • jupyter_core de 5.2.0 a 5.3.0
    • jupyterlab-widgets de 1.0.0 a 3.0.5
    • matplotlib de 3.7.0 a 3.7.2
    • pip de 22.3.1 a 23.2.1
    • platformdirs de 2.5.2 a 3.10.0
    • protobuf de 4.24.0 a 4.24.1
    • pyarrow de 8.0.0 a 14.0.1
    • Pygments de 2.11.2 a 2.15.1
    • pyodbc de 4.0.32 a 4.0.38
    • solicitações de 2.28.1 a 2.31.0
    • s3transfer de 0.6.2 a 0.10.0
    • scikit-learn de 1.1.1 a 1.3.0
    • scipy de 1.10.0 para 1.11.1
    • setuptools de 65.6.3 a 68.0.0
    • statsmodels de 0.13.5 a 0.14.0
    • tenacity de 8.1.0 a 8.2.2
    • tornado de 6.1 a 6.3.2
    • typing_extensions de 4.4.0 a 4.7.1
    • urllib3 de 1.26.14 a 1.26.16
    • virtualenv de 20.16.7 a 20.24.2
    • widgetsnbextension de 3.6.1 a 4.0.5
    • zipp de 1.0.0 a 3.11.0
  • Bibliotecas do R atualizadas:
    • arrow de 12.0.1 a 14.0.0.2
    • askpass de 1.1 a 1.2.0
    • base de 4.3.1 a 4.3.2
    • brew de 1.0-8 a 1.0-10
    • brio de 1.1.3 a 1.1.4
    • bslib de 0.5.0 a 0.6.1
    • cli de 3.6.1 a 3.6.2
    • commonmark de 1.9.0 a 1.9.1
    • compiler de 4.3.1 a 4.3.2
    • config de 0.3.1 a 0.3.2
    • cpp11 de 0.4.4 a 0.4.7
    • credentials de 1.3.2 a 2.0.1
    • curl de 5.0.1 a 5.2.0
    • data.table de 1.14.8 a 1.15.0
    • datasets de 4.3.1 a 4.3.2
    • DBI de 1.1.3 a 1.2.1
    • dbplyr de 2.3.3 a 2.4.0
    • desc de 1.4.2 a 1.4.3
    • digest de 0.6.33 a 0.6.34
    • dplyr de 1.1.2 a 1.1.4
    • e1071 de 1.7-13 a 1.7-14
    • evaluate de 0.21 a 0.23
    • fansi de 1.0.4 a 1.0.6
    • fontawesome de 0.5.1 a 0.5.2
    • fs de 1.6.2 a 1.6.3
    • future de 1.33.0 a 1.33.1
    • future.apply de 1.11.0 a 1.11.1
    • gargle de 1.5.1 a 1.5.2
    • gert de 1.9.2 a 2.0.1
    • ggplot2 de 3.4.2 a 3.4.4
    • glmnet de 4.1-7 a 4.1-8
    • glue de 1.6.2 a 1.7.0
    • graphics de 4.3.1 a 4.3.2
    • grDevices de 4.3.1 a 4.3.2
    • grid de 4.3.1 a 4.3.2
    • gtable de 0.3.3 a 0.3.4
    • hardhat de 1.3.0 a 1.3.1
    • haven de 2.5.3 a 2.5.4
    • htmltools de 0.5.5 a 0.5.7
    • htmlwidgets de 1.6.2 a 1.6.4
    • httpuv de 1.6.11 a 1.6.14
    • httr de 1.4.6 a 1.4.7
    • httr2 de 0.2.3 a 1.0.0
    • jsonlite de 1.8.7 a 1.8.8
    • knitr de 1.43 a 1.45
    • rotulagem de 0.4.2 a 0.4.3
    • later de 1.3.1 a 1.3.2
    • lava de 1.7.2.1 a 1.7.3
    • lifecycle de 1.0.3 a 1.0.4
    • listenv de 0.9.0 a 0.9.1
    • lubridate de 1.9.2 a 1.9.3
    • markdown de 1.7 a 1.12
    • methods de 4.3.1 a 4.3.2
    • openssl de 2.0.6 a 2.1.1
    • parallel de 4.3.1 a 4.3.2
    • pkgbuild de 1.4.2 a 1.4.3
    • pkgload de 1.3.2.1 a 1.3.4
    • plyr de 1.8.8 a 1.8.9
    • prettyunits de 1.1.1 a 1.2.0
    • pROC de 1.18.4 a 1.18.5
    • processx de 3.8.2 a 3.8.3
    • prodlim de 2023.03.31 a 2023.08.28
    • progress de 1.2.2 a 1.2.3
    • progressr de 0.13.0 a 0.14.0
    • promises de 1.2.0.1 a 1.2.1
    • ps de 1.7.5 a 1.7.6
    • purrr de 1.0.1 a 1.0.2
    • ragg de 1.2.5 a 1.2.7
    • Rcpp de 1.0.11 a 1.0.12
    • RcppEigen de 0.3.3.9.3 a 0.3.3.9.4
    • readr de 2.1.4 a 2.1.5
    • recipes de 1.0.6 a 1.0.9
    • revanche de 1.0.1 a 2.0.0
    • remotes de 2.4.2 a 2.4.2.1
    • reprex de 2.0.2 a 2.1.0
    • rlang de 1.1.1 a 1.1.3
    • rmarkdown de 2.23 a 2.25
    • RODBC de 1.3-20 a 1.3-23
    • roxygen2 de 7.2.3 a 7.3.1
    • rprojroot de 2.0.3 a 2.0.4
    • Rserve de 1.8-11 a 1.8-13
    • RSQLite de 2.3.1 a 2.3.5
    • sass de 0.4.6 a 0.4.8
    • scales de 1.2.1 a 1.3.0
    • shiny de 1.7.4.1 a 1.8.0
    • sparklyr de 1.8.1 a 1.8.4
    • splines de 4.3.1 a 4.3.2
    • stats de 4.3.1 a 4.3.2
    • stats4 de 4.3.1 a 4.3.2
    • stringi de 1.7.12 a 1.8.3
    • stringr de 1.5.0 a 1.5.1
    • systemfonts de 1.0.4 a 1.0.5
    • tcltk de 4.3.1 a 4.3.2
    • testthat de 3.1.10 a 3.2.1
    • textshaping de 0.3.6 a 0.3.7
    • tidyr de 1.3.0 a 1.3.1
    • timechange de 0.2.0 a 0.3.0
    • timeDate de 4022.108 a 4032.109
    • tinytex de 0.45 a 0.49
    • tools de 4.3.1 a 4.3.2
    • utf8 de 1.2.3 a 1.2.4
    • utils de 4.3.1 a 4.3.2
    • uuid de 1.1-0 a 1.2-0
    • vctrs de 0.6.3 a 0.6.5
    • vroom de 1.6.3 a 1.6.5
    • waldo de 0.5.1 a 0.5.2
    • withr de 2.5.0 a 3.0.0
    • xfun de 0.39 a 0.41
    • xml2 de 1.3.5 a 1.3.6
    • yaml de 2.3.7 a 2.3.8
    • zip de 2.3.0 a 2.3.1
  • Bibliotecas do Java atualizadas:
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 de 2.15.1 a 2.16.0
    • com.google.flatbuffers.flatbuffers-java de 1.12.0 a 23.5.26
    • com.typesafe.config de 1.2.1 a 1.4.3
    • org.apache.ant.ant de 1.9.16 a 1.10.11
    • org.apache.ant.ant-jsch de 1.9.16 a 1.10.11
    • org.apache.ant.ant-launcher de 1.9.16 a 1.10.11
    • org.apache.arrow.arrow-format de 12.0.1 a 15.0.0
    • org.apache.arrow.arrow-memory-core de 12.0.1 a 15.0.0
    • org.apache.arrow.arrow-memory-netty de 12.0.1 a 15.0.0
    • org.apache.arrow.arrow-vector de 12.0.1 a 15.0.0
    • org.apache.avro.avro de 1.11.2 a 1.11.3
    • org.apache.avro.avro-ipc de 1.11.2 a 1.11.3
    • org.apache.avro.avro-mapred de 1.11.2 a 1.11.3
    • org.apache.logging.log4j.log4j-1.2-api de 2.20.0 a 2.22.1
    • org.apache.logging.log4j.log4j-api de 2.20.0 a 2.22.1
    • org.apache.logging.log4j.log4j-core de 2.20.0 a 2.22.1
    • org.apache.logging.log4j.log4j-slf4j2-impl de 2.20.0 a 2.22.1
    • org.postgresql.postgresql de 42.6.0 a 42.6.1

Apache Spark

O Databricks Runtime 15.1 inclui o Apache Spark 3.5.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 14.3 LTS, bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

  • [SPARK-45527] [DBRRM-805][ES-1073714] Reverter “[SC-151626] [CORE] Usar fração para fazer o cálculo do recurso”
  • [SPARK-47102] [DBRRM-803] [SC-158253] [SQL] Adicionar o sinalizador de configuração COLLATION_ENABLED
  • [SPARK-46973] [SC-158140] [DBRRM-777] [SQL] Ignorar pesquisa de tabela V2 quando uma tabela estiver no cache da tabela V1
  • [SPARK-46808] [SC-154113] [PYTHON] Refinar classes de erro no Python com função de classificação automática
  • [SPARK-47251] [SC-158291] [PYTHON] Bloquear tipos inválidos do argumento args para o comando sql
  • [SPARK-47251] [SC-158121] [PYTHON] Bloquear tipos inválidos do argumento args para o comando sql
  • [SPARK-47108] [SC-157204] [CORE] Definir derby.connection.requireAuthentication como false explicitamente em CLIs
  • [SPARK-45599] [SC-157537] [CORE] Usar a igualdade de objetos no OpenHashSet
  • [SPARK-47099] [SC-157352] [SQL] Usar ordinalNumber para definir uniformemente o valor de paramIndex para a classe de erro UNEXPECTED_INPUT_TYPE
  • [SPARK-46558] [SC-151363] [CONNECT] Extrair uma função auxiliar para eliminar o código duplicado que recupera MessageParameters de ErrorParams em GrpcExceptionConverter
  • [SPARK-43117] [SC-156177] [CONNECT] Fazer com que ProtoUtils.abbreviate dê suporte a campos repetidos
  • [SPARK-46342] [SC-150283][SQL] Substituir IllegalStateException por SparkException.internalError no sql
  • [SPARK-47123] [SC-157412] [CORE] JDBCRDD não lida corretamente com erros em getQueryOutputSchema
  • [SPARK-47189] [SC-157667] [SQL] Ajustar texto e nomes de erro de coluna
  • [SPARK-45789] [SC-157101] [SQL] Suporte a DESCRIBE TABLE para colunas de clustering
  • [SPARK-43256] [SC-157699][SQL] Remover _LEGACY_ERROR_TEMP_2021 de classe de erro
  • [SPARK-47201] [SC-157782] [PYTHON] [CONNECT] sameSemantics verifica os tipos de entrada
  • [SPARK-47183] [SC-157660] [PYTHON] Corrigir a classe de erro para sameSemantics
  • [SPARK-47179] [SC-157663] [SQL] Aprimorar a mensagem de erro do SparkThrowableSuite para melhor capacidade de depuração
  • [SPARK-46965] [SC-155791] [CORE] Fazer check-in de logType em Utils.getLog
  • [SPARK-46832] [SC-156774] [SQL] Introdução às expressões Collate e Collation
  • [SPARK-46946] [SC-155721] [SQL] Suporte à transmissão de várias chaves de filtragem no DynamicPruning
  • [SPARK-47079] [VARIANT-22] [SC-157598] [PYTHON] [SQL] [CONNECT] Adicionar informações de tipo Variant ao PySpark
  • [SPARK-47101] [SC-157360] [SQL] Permitir que a vírgula seja usada em nomes de coluna de nível superior e remover a definição de tipo aninhado de verificação em HiveExternalCatalog.verifyDataSchema
  • [SPARK-47173] [SC-157571] [SS] [Interface do usuário] Corrigir um erro de digitação na explicação da interface do usuário de streaming
  • [SPARK-47113] [SC-157348] [CORE] Reverter a lógica de correção do ponto de extremidade S3A do SPARK-35878
  • [SPARK-47130] [SC-157462] [CORE] Usar listStatus para ignorar informações de localização do bloco ao limpar logs de driver
  • [SPARK-43259] [SC-157368][SQL] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_2024
  • [SPARK-47104] [SC-157355] [SQL] TakeOrderedAndProjectExec deve inicializar a projeção não segura
  • [SPARK-47137] [SC-157463] [PYTHON] [CONNECT] Adicionar getAll ao spark.conf para paridade de recursos com o Scala
  • [SPARK-46924] [SC-154905] [CORE] Corrigir o botão Load New na interface do usuário do log Master/HistoryServer
  • [SPARK-47069] [SC-157370] [PYTHON] [CONNECT] Introdução de spark.profile.show/dump para criação de perfil baseada em SparkSession
  • [SPARK-46812] [SC-157075] [SQL] [PYTHON] Tornar o mapInPandas/mapInArrow compatível com ResourceProfile
  • [SPARK-46833] [SC-155866] [SQL] Ordenações – Introdução ao CollationFactory, que fornece regras de comparação e hash para ordenações com suporte
  • [SPARK-47057] [SC-157036] [PYTHON] Reabilitar o teste de dados do MyPy
  • [SPARK-46934] [SC-157084] [SQL] Viagem de ida e volta de leitura/gravação para tipo de struct com caracteres especiais com HMS
  • [SPARK-46727] [SC-153472] [SQL] Porta classifyException() em dialetos JDBC em classes de erro
  • [SPARK-46964] [SC-155740] [SQL] Alterar a assinatura do erro de execução da consulta hllInvalidLgK para usar um inteiro como o quarto argumento
  • [SPARK-46949] [SC-155719] [SQL] Suporte a CHAR/VARCHAR por meio de ResolveDefaultColumns
  • [SPARK-46972] [SC-155888] [SQL] Corrigir substituição assimétrica para char/varchar em V2SessionCatalog.createTable
  • [SPARK-47014] [SC-156778] [PYTHON] [CONNECT] Implementar métodos dumpPerfProfiles e dumpMemoryProfiles do SparkSession
  • [SPARK-46689] [SC-156221] [SPARK-46690] [PYTHON] [CONNECT] Suporte à criação de perfil v2 em grupo/cogrupo applyInPandas/applyInArrow
  • [SPARK-47040] [SC-156773] [CONNECT] Permitir que o Script do Servidor do Spark Connect aguarde
  • [SPARK-46688] [SC-156113] [SPARK-46691] [PYTHON] [CONNECT] Suporte à criação de perfil v2 em UDFs do Pandas de agregação
  • [SPARK-47004] [SC-156499] [CONNECT] Mais testes foram adicionados ao ClientStreamingQuerySuite para aumentar a cobertura de teste do cliente Scala
  • [SPARK-46994] [SC-156169] [PYTHON] Refatorar PythonWrite para se preparar para dar suporte à gravação de streaming de fonte de dados do Python
  • [SPARK-46979] [SC-156587] [SS] Adicionar suporte para especificar o codificador de chave e valor separadamente e também para cada família col no provedor de repositório de estado RocksDB
  • [SPARK-46960] [SC-155940] [SS] Teste de vários fluxos de entrada com o operador TransformWithState
  • [SPARK-46966] [SC-156112] [Python] Adicionar a API UDTF para o método 'analyze' para indicar o subconjunto de colunas de tabela de entrada a serem selecionadas
  • [SPARK-46895] [SC-155950] [CORE] Substituir Temporizador por executor agendado de thread único
  • [SPARK-46967] [SC-155815] [CORE] [Interface do usuário] Ocultar Thread Dump e Heap Histogram de Dead executores na interface do usuário Executors
  • [SPARK-46512] [SC-155826] [CORE] Otimizar a leitura de embaralhamento quando ambos sort e combine forem usados.
  • [SPARK-46958] [SC-155942] [SQL] Adicionar fuso horário ausente para impor valores padrão
  • [SPARK-46754] [SC-153830] [SQL] [AVRO] Corrigir a resolução de código de compactação nas opções de definição e gravação da tabela avro
  • [SPARK-46728] [SC-154207] [PYTHON] Verificar a instalação do Pandas corretamente
  • [SPARK-43403] [SC-154216] [Interface do usuário] Verifique se o SparkUI antigo no HistoryServer foi desanexado antes de carregar um novo
  • [SPARK-39910] [SC-156203] [SQL] Delegar a qualificação de caminho para o sistema de arquivos durante o globbing do caminho do arquivo DataSource
  • [SPARK-47000] [SC-156123] Reverter "[SC-156123][CORE] Usar getTotalMemorySize...
  • [SPARK-46819] [SC-154560] [CORE] Mover categorias de erro e estados para JSON
  • [SPARK-46997] [SC-156175][CORE] Habilitar spark.worker.cleanup.enabled por padrão
  • [SPARK-46865] [SC-156168] [SS] Adicionar suporte em lote para o operador TransformWithState
  • [SPARK-46987] [SC-156040] [CONNECT] ProtoUtils.abbreviate evitar a operação desnecessária setField
  • [SPARK-46970] [SC-155816] [CORE] Reescrever OpenHashSet#hasher com pattern matching
  • [SPARK-46984] [SC-156024] [PYTHON] Remover pyspark.copy_func
  • [SPARK-47000] [SC-156123][CORE] Usa getTotalMemorySize em WorkerArguments
  • [SPARK-46980] [SC-155914] [SQL] [SECUNDÁRIA] Evitar usar APIs internas em testes de ponta a ponta de dataframe
  • [SPARK-46931] Reverter "[SC-155661][PS] Implementar {Frame, Series}.to_hdf”
  • [SPARK-46618] [SC-153828] [SQL] Aprimorar as mensagens de erro para o erro DATA_SOURCE_NOT_FOUND
  • [SPARK-46849] [SC-154586] [SQL] Executar o otimizador em padrões de coluna CREATE TABLE
  • [SPARK-46911] [SC-155724] [SS] Adicionando o operador deleteIfExists ao StatefulProcessorHandleImpl
  • [SPARK-43273] [SQL] Suporte ao codec de compactação lz4raw para Parquet
  • [SPARK-47002] [SC-156223] [Python] Retornar uma melhor mensagem de erro se o campo 'analyze' do método 'orderBy' da UDTF retornar acidentalmente uma lista de cadeias de caracteres
  • [SPARK-46890] [SC-155802] [SQL] Corrigir bug de análise de CSV com valores padrão de existência e remoção de coluna
  • [SPARK-46977] [SC-155892] [CORE] Uma solicitação com falha para obter um token de um NameNode não deve ignorar solicitações de token subsequentes
  • [SPARK-46608] [SC-151806] [SQL] Restaurar a compatibilidade com versões anteriores de JdbcDialect.classifyException
  • [SPARK-46908] [SC-155702] [SQL] Suporte à cláusula de asterisco na cláusula WHERE
  • [SPARK-46908] [SC-155702] [SQL] Suporte à cláusula de asterisco na cláusula WHERE
  • [SPARK-46852] [SC-155665] [SS] Remover o uso do codificador de chave explícito e passá-lo implicitamente para o operador para o operador transformWithState
  • [SPARK-46864] [SC-155669] [SS] Integrar StateV2 Arbitrário à Nova Estrutura de Classe de Erro
  • [SPARK-45807] [SC-155706] [SQL] Retornar Exibição depois de chamar replaceView(..)
  • [SPARK-46899] [SC-154651] [CORE] Remover APIs POST de MasterWebUI quando spark.ui.killEnabled é false
  • [SPARK-46868] [SC-154539] [CORE] Suporte à interface do usuário do Log de Trabalho do Spark
  • [SPARK-46931] [SC-155661] [PS] Implementar {Frame, Series}.to_hdf
  • [SPARK-46940] [SC-155667] [CORE] Remover os updateSparkConfigFromProperties e isAbsoluteURI não usados em o.a.s.u.Utils
  • [SPARK-46929] [SC-155659] [CORE] [CONNECT] [SS] Usar ThreadUtils.shutdown para fechar pools de threads
  • [SPARK-46400] [SC-155658] [CORE] [SQL] Quando houver arquivos corrompidos no repositório maven local, ignorar este cache e tentar novamente
  • [SPARK-46932] [SC-155655] Limpar as importações em pyspark.pandas.test_*
  • [SPARK-46683] [SC-154120] Escrever um gerador de subconsulta que gera permutações de subconsultas para aumentar a cobertura de teste
  • [SPARK-46914] [SC-154776] [Interface do usuário] Encurtar o nome do aplicativo na tabela de resumo na página de histórico
  • [SPARK-46831] [SC-154699] [SQL] Ordenações – Estendendo StringType e PhysicalStringType com o campo collationId
  • [SPARK-46816] [SC-154415] [SS] Adicionar suporte base para novo operador de gerenciamento de estado arbitrário, tipo único valueState, várias variáveis de estado e suporte subjacente para famílias de colunas para RocksDBStateStoreProvider com/sem uso de ponto de verificação para o log de alterações
  • [SPARK-46925] [SC-154890] [PYTHON] [CONNECT] Adicionar um aviso que instrui a instalar memory_profiler para criação de perfil de memória
  • [SPARK-46927] [SC-154904] [PYTHON] Fazer o trabalho assertDataFrameEqual corretamente sem PyArrow
  • [SPARK-46021] [SC-148987] [CORE] Suporte para cancelar trabalhos futuros pertencentes a um grupo de trabalho
  • [SPARK-46747] [SC-154789] [SQL] Evitar verificação em getTableExistsQuery para dialetos JDBC
  • [SPARK-46904] [SC-154704] [Interface do usuário] Corrigir o problema de exibição do resumo da interface do usuário do histórico
  • [SPARK-46870] [SC-154541] [CORE] Suporte à interface do usuário do Log Mestre do Spark
  • [SPARK-46893] [SC-154780] [Interface do usuário] Remover scripts embutidos das descrições da interface do usuário
  • [SPARK-46910] [SC-154760] [PYTHON] Eliminar o requisito do JDK na instalação do PySpark
  • [SPARK-46907] [SC-154736] [CORE] Mostrar o local do log do driver no Servidor de Histórico do Spark
  • [SPARK-46902] [SC-154661] [Interface do usuário] Corrigir a interface do usuário do Servidor de Histórico do Spark para usar um setAppLimit não exportado
  • [SPARK-46687] [SC-154725] [PYTHON] [CONNECT] Suporte básico do criador de perfil de memória baseado em SparkSession
  • [SPARK-46623] [SC-153831][CORE][MLLIB][SQL] Substituir SimpleDateFormat por DateTimeFormatter
  • [SPARK-46875] [SC-154627] [SQL] Quando o valor mode for nulo, um NullPointException deve not ser gerado
  • [SPARK-46872] [SC-154543] [CORE] Recuperar log-view.js para não ser módulo
  • [SPARK-46883] [SC-154629][CORE] Suporte à API /json/clusterutilization
  • [SPARK-46886] [SC-154630][CORE] Habilitar spark.ui.prometheus.enabled por padrão
  • [SPARK-46873] [SC-154638] [SS] Não recrie o novo StreamingQueryManager para a mesma sessão do Spark
  • [SPARK-46829] [SC-154419] [CORE] Remover createExecutorEnv do SparkEnv
  • [SPARK-46827] [SC-154280] [CORE] Fazer com que RocksDBPersistenceEngine dê suporte a um link simbólico
  • [SPARK-46903] [SC-154662] [CORE] Dar suporte à interface do usuário do log do servidor de histórico do Spark
  • [SPARK-46874] [SC-154646] [PYTHON] Remover a dependência pyspark.pandas de assertDataFrameEqual
  • [SPARK-46889] [SC-154639] [CORE] Validar a configuração spark.master.ui.decommission.allow.mode
  • [SPARK-46850] [SC-154443][SQL] Converter _LEGACY_ERROR_TEMP_2102 em UNSUPPORTED_DATATYPE
  • [SPARK-46704] [SC-153323] [CORE] [Interface do usuário] Correção MasterPage para classificar corretamente a tabela Running Drivers pela coluna Duration
  • [SPARK-46796] [SC-154279] [SS] Verificar se os arquivos remotos corretos (mencionados em metadata.zip) são usados na carga de versão do RocksDB
  • [SPARK-46888] [SC-154636] [CORE] Corrigir Master para rejeitar solicitações /workers/kill/ se a desativação estiver desabilitada
  • [SPARK-46818] [SC-154422] [SQL] Aprimorar as mensagens de erro para Range com entradas não dobráveis
  • [SPARK-46898] [SC-154649] [CONNECT] Simplificar a transformação da função protobuf no Planner
  • [SPARK-46828] [SC-154413] [SQL] Remover a declaração inválida do modo remoto para o shell sql do Spark
  • [SPARK-46733] [SC-154274] [CORE] Simplificar o BlockManager pela operação de saída depende apenas do thread de interrupção.
  • [SPARK-46777] [SC-154016] [SS] Refatorar a estrutura do catalisador StreamingDataSourceV2Relation para estar mais alinhada com a versão do lote
  • [SPARK-46515] [SC-151716] Adicionar a função MONTHNAME
  • [SPARK-46823] [SC-154276] [CONNECT] [PYTHON] LocalDataToArrowConversion deve verificar a nulidade
  • [SPARK-46787] [SC-154404] [CONNECT] A função bloomFilter deve gerar AnalysisException para entrada inválida
  • [SPARK-46779] [SC-154045] [SQL] Instâncias InMemoryRelation do mesmo plano armazenado em cache devem ser semanticamente equivalentes
  • [SPARK-45827] [SC-153973] Não permitir particionamento na coluna Variant
  • [SPARK-46797] [SC-154085][CORE][SQL] Renomear spark.deploy.spreadOut para spark.deploy.spreadOutApps
  • [SPARK-46094] [SC-153421] Suporte à criação de perfil JVM do executor
  • [SPARK-46746] [SC-153557] [SQL] [AVRO] Anexar extensão codec a arquivos de fonte de dados do avro
  • [SPARK-46698] [SC-153288] [CORE] Substituir Timer pelo executor agendado de thread único para ConsoleProgressBar.
  • [SPARK-46629] [SC-153835] Correção para DDL do tipo STRUCT que não detecta nulidade e comentário
  • [SPARK-46750] [SC-153772] [CONNECT] [PYTHON] Limpeza do código de APIs do DataFrame
  • [SPARK-46769] [SC-153979][SQL] Refinar a inferência de esquema relacionada ao carimbo de data/hora
  • [SPARK-46765] [SC-153904] [PYTHON] [CONNECT] Fazer com que shuffle especifique o tipo de dados de seed
  • [SPARK-46579] [SC-151481] [SQL] Redigir a URL JDBC em erros e logs
  • [SPARK-46686] [SC-153875] [PYTHON] [CONNECT] Suporte básico do criador de perfil do Python UDF baseado em SparkSession
  • [SPARK-46748] Reverter "[SC-153800][CORE] Remover *slav**.sh scri…
  • [SPARK-46707] [SC-153833] [SQL] Adicionado campo throwable a expressões para aprimorar o pushdown do predicado
  • [SPARK-46519] [SC-151278] [SQL] Limpar classes de erro não utilizadas do arquivo error-classes.json
  • [SPARK-46677] [SC-153426] [SQL] [CONNECT] Correção da resolução dataframe["*"]
  • [SPARK-46317] [SC-150184][PYTHON][CONNECT] Correspondência de comportamentos menores em SparkSession com cobertura de teste completa
  • [SPARK-46748] [SC-153800][CORE] Remover scripts *slav**.sh
  • [SPARK-46663] [SC-153490] [PYTHON] Desabilitar o criador de perfil de memória para UDFs do pandas com iteradores
  • [SPARK-46410] [SC-150776] [SQL] Atribuir classes/subclasses de erro a JdbcUtils.classifyException
  • [SPARK-46277] [SC-150126] [PYTHON] Validar URLs de inicialização com a configuração sendo definida
  • [SPARK-46612] [SC-153536] [SQL] Não converter cadeia de caracteres de tipo de matriz recuperada do driver JDBC
  • [SPARK-46254] [SC-149788] [PYTHON] Remover verificação de versão obsoleta do Python 3.8/3.7
  • [SPARK-46490] [SC-151335] [SQL] Exigir classes de erro em sub-classes SparkThrowable
  • [SPARK-46383] [SC-153274][SC-147443][WARMFIX] Reduzir o uso de heap do driver reduzindo o tempo de vida de TaskInfo.accumulables()
  • [SPARK-46541] [SC-153109][SQL][CONNECT] Corrige a referência de coluna ambígua na autojunção
  • [SPARK-46381] [SC-150495] [SQL] Migrar subclasses de AnalysisException para classes de erro
  • [SPARK-46351] [SC-150335] [SQL] Exigir uma classe de erro em AnalysisException
  • [SPARK-46220] [SC-149689][SQL] Restringe conjuntos de caracteres em decode()
  • [SPARK-46369] [SC-150340] [CORE] Remover o link kill de drivers RELAUNCHING em MasterPage
  • [SPARK-46052] [SC-153284] [CORE] Remover a função TaskScheduler.killAllTaskAttempts
  • [SPARK-46536] [SC-153164] [SQL] Suporte a GROUP BY calendar_interval_type
  • [SPARK-46675] [SC-153209] [SQL] Remover inferTimestampNTZ não utilizado em ParquetReadSupport
  • [SPARK-46717] [SC-153423] [CORE] Simplificar ReloadingX509TrustManager pela operação de saída depende apenas do thread de interrupção.
  • [SPARK-46722] [SC-153438] [CONNECT] Adicionar um teste relacionado à verificação de compatibilidade com versões anteriores para StreamingQueryListener no Spark Connect (Scala/PySpark)
  • [SPARK-46187] [SC-149580][SQL] Alinhar a implementação codegen e não codegen de StringDecode
  • [SPARK-46258] [SC-149799][CORE] Adicionar RocksDBPersistenceEngine
  • [SPARK-46216] [SC-149676] [CORE] Aprimorar FileSystemPersistenceEngine para dar suporte a compactações
  • [SPARK-46189] [SC-149567] [PS] [SQL] Executar comparações e aritméticas entre os mesmos tipos em várias funções de agregação do Pandas para evitar erros de modo interpretado
  • [SPARK-46184] [SC-149563] [CORE] [SQL] [CONNECT] [MLLIB] Reduzir a profundidade da pilha substituindo Option.isDefined por Option.isEmpty
  • [SPARK-46700] [SC-153329] [CORE] Contar o último derramamento para a métrica de bytes de despejo de disco shuffle
  • [SPARK-45642] [SC-150286][CORE][SQL] Corrigir FileSystem.isFile & FileSystem.isDirectory is deprecated
  • [SPARK-46640] [SC-153272] [SQL] Corrigir RemoveRedundantAlias excluindo atributos de subconsulta
  • [SPARK-46681] [SC-153287] [CORE] Refatorar ExecutorFailureTracker#maxNumExecutorFailures para evitar calcular defaultMaxNumExecutorFailures quando MAX_EXECUTOR_FAILURES estiver configurado
  • [SPARK-46695] [SC-153289] [SQL] [HIVE] Sempre definindo hive.execution.engine como mr
  • [SPARK-46325] [SC-150228] [CONNECT] Remover funções de substituição desnecessárias ao construir WrappedCloseableIterator em ResponseValidator#wrapIterator
  • [SPARK-46232] [SC-149699][PYTHON] Migrar todo o ValueError restante para a estrutura de erros do PySpark.
  • [SPARK-46547] [SC-153174] [SS] Absorver exceção não fatal na tarefa de manutenção para evitar deadlock entre o thread de manutenção e o operador de agregação de streaming
  • [SPARK-46169] [SC-149373] [PS] Atribua números JIRA apropriados para parâmetros ausentes da API DataFrame.
  • [SPARK-45857] [SC-148096] [SQL] Impor as classes de erro em sub-classes de AnalysisException

Suporte ao driver ODBC/JDBC do Databricks

O Databricks dá suporte a drivers ODBC/JDBC lançados nos últimos dois anos. Baixe os drivers e a atualização lançados recentemente (baixe o ODBC, baixe o JDBC).

Atualizações de manutenção

Confira Atualizações de manutenção do Databricks Runtime 15.1.

Ambiente do sistema

  • Sistema operacional: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Lake: 3.1.0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
black 23.3.0 blinker 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
clique 8.0.4 cloudpickle 2.2.1 comm 0.1.2
contourpy 1.0.5 criptografia 41.0.3 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 distlib 0.3.8
entrypoints 0,4 em execução 0.8.3 facets-overview 1.1.1
filelock 3.13.1 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.42 google-api-core 2.17.1 google-auth 2.28.2
google-cloud-core 2.4.1 google-cloud-storage 2.15.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipywidgets 8.0.4 isodate 0.6.1
jedi 0.18.1 jeepney 0.7.1 jmespath 0.10.0
joblib 1.2.0 jupyter_client 7.4.9 jupyter_core 5.3.0
jupyterlab-widgets 3.0.5 keyring 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.1
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 empacotando 23,2
pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 protobuf 4.24.1
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 14.0.1 pyasn1 0.4.8
pyasn1-modules 0.2.8 pyccolo 0.0.52 pycparser 2.21
pydantic 1.10.6 Pygments 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.38 pyparsing 3.0.9
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 pytz 2022.7
PyYAML 6,0 pyzmq 23.2.0 solicitações 2.31.0
rsa 4.9 s3transfer 0.10.0 scikit-learn 1.3.0
scipy 1.11.1 seaborn 0.12.2 SecretStorage 3.3.1
setuptools 68.0.0 six 1.16.0 smmap 5.0.1
sqlparse 0.4.4 ssh-import-id 5.11 stack-data 0.2.0
statsmodels 0.14.0 tenacity 8.2.2 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tornado 6.3.2 traitlets 5.7.1
typing_extensions 4.7.1 tzdata 2022.1 ujson 5.4.0
unattended-upgrades 0,1 urllib3 1.26.16 virtualenv 20.24.2
wadllib 1.3.6 wcwidth 0.2.5 wheel 0.38.4
widgetsnbextension 4.0.5 zipp 3.11.0

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo CRAN do Gerenciador de Pacotes Posit em 02/10/2023.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
seta 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
backports 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 boot 1.3-28
brew 1.0-10 brio 1.1.4 broom 1.0.5
bslib 0.6.1 cachem 1.0.8 callr 3.7.3
sinal de interpolação 6.0-94 cellranger 1.1.0 chron 2.3-61
class 7.3-22 cli 3.6.2 clipr 0.8.0
clock 0.7.0 cluster 2.1.4 codetools 0.2-19
colorspace 2.1-0 commonmark 1.9.1 compiler 4.3.2
config 0.3.2 conflicted 1.2.0 cpp11 0.4.7
crayon 1.5.2 credenciais 2.0.1 curl 5.2.0
data.table 1.15.0 conjuntos de dados 4.3.2 DBI 1.2.1
dbplyr 2.4.0 desc 1.4.3 devtools 2.4.5
diagrama 1.6.5 diffobj 0.3.5 digest 0.6.34
downlit 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 ellipsis 0.3.2 evaluate 0,23
fansi 1.0.6 farver 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
foreign 0.8-85 forge 0.2.0 fs 1.6.3
future 1.33.1 future.apply 1.11.1 gargle 1.5.2
genéricos 0.1.3 gert 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 glue 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
elemento gráfico 4.3.2 grDevices 4.3.2 grid 4.3.2
gridExtra 2.3 gsubfn 0.7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 haven 2.5.4
highr 0,10 hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 knitr 1,45 labeling 0.4.3
later 1.3.2 lattice 0.21-8 lava 1.7.3
ciclo de vida 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.12 MASS 7.3-60
Matriz 1.5-4.1 memoise 2.0.1 métodos 4.3.2
mgcv 1.8-42 mime 0,12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
parallelly 1.36.0 pillar 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 praise 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 progress 1.2.3
progressr 0.14.0 promises 1.2.1 proto 1.0.0
proxy 0.4-27 ps 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reactable 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
recipes 1.0.9 rematch 2.0.0 rematch2 2.1.2
remotes 2.4.2.1 reprex 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2.25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 sass 0.4.8
scales 1.3.0 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 spatial 7.3-15 splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
survival 3.5-5 swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
textshaping 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 timechange 0.3.0
timeDate 4032.109 tinytex 0,49 manuais 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 utils 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 waldo 0.5.2 whisker 0.4.1
withr 3.0.0 xfun 0,41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip 2.3.1

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)

ID do Grupo Artifact ID Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1,1
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,25
io.delta delta-sharing-client_2.12 1.0.4
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx coletor 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1,3
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,40
org.glassfish.jersey.containers jersey-container-servlet-core 2,40
org.glassfish.jersey.core jersey-client 2,40
org.glassfish.jersey.core jersey-common 2,40
org.glassfish.jersey.core jersey-server 2,40
org.glassfish.jersey.inject jersey-hk2 2,40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap shims 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2,0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1