Tempo de execução do Databricks 16.0
As notas de versão a seguir fornecem informações sobre o Databricks Runtime 16.0, desenvolvido pelo Apache Spark 3.5.0.
A Databricks lançou esta versão em novembro de 2024.
Gorjeta
Para ver as notas de versão das versões do Databricks Runtime que atingiram o fim do suporte (EoS), consulte Notas de versão do End-of-support Databricks Runtime. As versões do EoS Databricks Runtime foram desativadas e podem não ser atualizadas.
Mudanças comportamentais
- Alteração de quebra: JDK 17 agora é o padrão
- Mudança de rutura: O RStudio hospedado está em fim de vida útil
-
Quebrando a mudança: Remoção do suporte para alterar
byte
,short
int
elong
tipos para tipos mais amplos - Análise correta de padrões regex com negação no agrupamento de caracteres aninhados
-
Melhorar a deteção de correspondência duplicada no Delta Lake
MERGE
- O método de instalação da biblioteca de clusters não pode mais ser substituído
- Tempo limite padrão de duas horas para instalações de bibliotecas com escopo de cluster
-
A instalação de bibliotecas do DBFS e a configuração do spark conf
spark.databricks.driver.dbfsLibraryInstallationAllowed
estão desativadas -
A
addArtifact()
funcionalidade agora é consistente entre os tipos de computação
Alteração de quebra: JDK 17 agora é o padrão
No Databricks Runtime 16.0 e superior, a versão padrão do JDK é trocada do JDK 8 para o JDK 17. Essa alteração é feita devido à descontinuação planejada e ao fim do suporte para o JDK 8. Isso afeta o seguinte:
- O código Java em execução na computação do Azure Databricks deve ser compatível com o Java 17.
- O código Scala em execução em blocos de anotações ou computação do Azure Databricks deve ser compatível com o Java 17.
- As bibliotecas Java e Scala instaladas na computação devem ser compatíveis com o Java 17.
- Versões do cliente metastore Apache Hive abaixo de 2.x. Definir a configuração
spark.sql.hive.metastore.version
do Spark para uma versão inferior a 2.x causará problemas de compatibilidade com o Java 17 e falhas de conexão com o metastore do Hive. O Databricks recomenda atualizar o Hive para uma versão acima da 2.0.0.
Se você precisar reverter para o Java 8, adicione o seguinte às variáveis de ambiente do Spark ao configurar sua computação do Azure Databricks:
JNAME=zulu8-ca-amd64
Se você estiver usando instâncias ARM, use o seguinte:
JNAME=zulu8-ca-arm64
Para saber mais sobre como especificar versões do JDK com a computação do Azure Databricks, consulte Criar um cluster que usa o JDK 17.
Para obter ajuda com a migração do código do Java 8, consulte os seguintes guias:
Mudança de rutura: O RStudio hospedado está em fim de vida útil
Com esta versão, o Servidor RStudio hospedado no Databricks está em fim de vida útil e indisponível em qualquer espaço de trabalho do Azure Databricks que execute o Databricks Runtime 16.0 e superior. Para saber mais e ver uma lista de alternativas ao RStudio, consulte Descontinuação do Servidor RStudio Hospedado.
Quebrando a mudança: Remoção do suporte para alterar byte
, short
int
e long
tipos para tipos mais amplos
No Databricks Runtime 15.4.3 e superior, as seguintes alterações de tipo de dados não podem mais ser aplicadas a tabelas com o recurso de alargamento de tipo habilitado:
-
byte
,short
,int
elong
adecimal
. -
byte
,short
, eint
adouble
.
Essa alteração é feita para garantir um comportamento consistente nas tabelas Delta e Iceberg. Para saber mais sobre o alargamento de tipos, consulte Alargamento de tipos.
Análise correta de padrões regex com negação no agrupamento de caracteres aninhados
Esta versão inclui uma alteração para suportar a análise correta de padrões regex com negação no agrupamento de caracteres aninhados. Por exemplo, [^[abc]]
será analisado como "qualquer personagem que NÃO seja um de 'abc'".
Além disso, o comportamento do Fóton foi inconsistente com o Spark para classes de caracteres aninhados. Os padrões Regex contendo classes de caracteres aninhadas não usarão mais o Photon e, em vez disso, usarão o Spark. Uma classe de caractere aninhada é qualquer padrão que contenha colchetes entre colchetes, como [[a-c][1-3]]
.
Melhorar a deteção de correspondência duplicada no Delta Lake MERGE
No Databricks Runtime 15.4 LTS e inferior, MERGE
as operações falham se mais de uma linha na tabela de origem corresponder à mesma linha na tabela de destino com base na MERGE
condição especificada na ON
cláusula. No Databricks Runtime 16.0 e superior, MERGE
também considera as WHEN MATCHED
condições especificadas na cláusula. Veja Upsert em uma tabela Delta Lake usando mesclagem.
O método de instalação da biblioteca de clusters não pode mais ser substituído
As configurações do spark.databricks.libraries.enableSparkPyPI
Spark , spark.databricks.libraries.enableMavenResolution
e spark.databricks.libraries.enableCRANResolutionnow
agora o padrão para true
e não pode ser substituído.
Tempo limite padrão de duas horas para instalações de bibliotecas com escopo de cluster
No Databricks Runtime 16.0 e superior, a instalação da biblioteca com escopo de cluster tem um tempo limite padrão de duas horas. As instalações da biblioteca que levarem mais tempo limite do que esse tempo limite falharão e a instalação será encerrada. Ao configurar um cluster, você pode alterar o período de tempo limite usando a configuração spark.databricks.driver.clusterLibraryInstallationTimeoutSec
do Spark .
A instalação de bibliotecas do DBFS e a configuração do spark conf spark.databricks.driver.dbfsLibraryInstallationAllowed
estão desativadas
No Databricks Runtime 16.0 e superior, a instalação de bibliotecas do DBFS está totalmente desativada. Essa alteração é feita para melhorar a segurança das bibliotecas em um espaço de trabalho Databricks. Além disso, no Databricks Runtime 16.0 e superior, você não pode mais usar a configuração spark.databricks.driver.dbfsLibraryInstallationAllowed
do Spark .
A addArtifact()
funcionalidade agora é consistente entre os tipos de computação
Com esta versão, o arquivo morto é descompactado automaticamente quando você usa addArtifact(archive = True)
para adicionar uma dependência à computação compartilhada ou sem servidor do Azure Databricks. Essa alteração torna o comportamento 'addArtifact(archive = True) nesses tipos de computação consistente com a computação de usuário único, que já suporta descompactar arquivos automaticamente.
Novos recursos e melhorias
-
Recarregamento mais confiável de módulos Python modificados com melhorias para
autoreload
- Suporte Avro para esquema recursivo
- to_avro e from_avro funções
- Suporte expandido para Confluent Schema Registry for Avro
- Forçar o reagrupamento em tabelas com agrupamento líquido
- As APIs Delta para Python e Scala agora suportam colunas de identidade
- O controle de acesso refinado na computação de um único usuário está geralmente disponível
- Crie tabelas clusterizadas líquidas durante gravações de streaming
- Suporte para a cláusula OTIMIZE FULL
- Suporte para especificação de opções WITH em INSERT e table-reference
- Novas funções SQL
- Habilite a evolução automática do esquema ao mesclar dados em uma tabela Delta
Recarregamento mais confiável de módulos Python modificados com melhorias para autoreload
No Databricks Runtime 16.0 e superior, as atualizações para a autoreload
extensão melhoram a segurança e a confiabilidade do recarregamento de módulos Python modificados importados de arquivos de espaço de trabalho. Com essas alterações, autoreload
, quando possível, recarrega apenas a parte de um módulo que foi alterada em vez do módulo inteiro. Além disso, o Azure Databricks agora sugere automaticamente o uso da autoreload
extensão se o módulo tiver sido alterado desde sua última importação. Consulte Autoreload para módulos Python.
Suporte Avro para esquema recursivo
Agora você pode usar a recursiveFieldMaxDepth
opção com a from_avro
função e a fonte de avro
dados. Esta opção define a profundidade máxima para recursão de esquema na fonte de dados Avro. Consulte Ler e gravar dados Avro de streaming.
to_avro e from_avro funções
As funções to_avro e from_avro permitem a conversão de tipos SQL para dados binários Avro e vice-versa.
Suporte expandido para Confluent Schema Registry for Avro
O Azure Databricks agora dá suporte à referência de esquema Avro com o Registro de Esquema Confluent. Consulte Autenticar em um registro de esquema confluente externo.
Forçar o reagrupamento em tabelas com agrupamento líquido
No Databricks Runtime 16.0 e superior, você pode usar a OPTIMIZE FULL
sintaxe para forçar o reagrupamento de todos os registros em uma tabela com clustering líquido habilitado. Consulte Forçar reagrupamento para todos os registros.
As APIs Delta para Python e Scala agora suportam colunas de identidade
Agora você pode usar as APIs Delta para Python e Scala para criar tabelas com colunas de identidade. Consulte Usar colunas de identidade no Delta Lake.
O controle de acesso refinado na computação de um único usuário está geralmente disponível
No Databricks Runtime 16.0 e superior, o controle de acesso refinado na computação de usuário único está geralmente disponível. Em espaços de trabalho habilitados para computação sem servidor, se uma consulta for executada em computação suportada, como computação de usuário único e a consulta acessar qualquer um dos seguintes objetos, o recurso de computação passará a consulta para a computação sem servidor para executar a filtragem de dados:
- Modos de exibição definidos em tabelas nas quais o usuário não tem o
SELECT
privilégio. - Vistas dinâmicas.
- Tabelas com filtros de linha ou máscaras de coluna aplicadas.
- Visualizações materializadas e tabelas de streaming.
Crie tabelas clusterizadas líquidas durante gravações de streaming
Agora você pode usar clusterBy
para habilitar o clustering líquido ao criar novas tabelas com gravações de Streaming Estruturado. Consulte Ativar agrupamento de líquidos.
Suporte para a cláusula OTIMIZE FULL
O Databricks Runtime 16.0 suporta a cláusula OTIMIZE FULL . Esta cláusula otimiza todos os registros em uma tabela que usa clustering líquido, incluindo dados que podem ter sido agrupados anteriormente.
Suporte para especificação de opções WITH em INSERT e table-reference
O Databricks Runtime 16.0 suporta uma especificação de opções para referências de tabela e nomes de tabela de uma INSERT
instrução que pode ser usada para controlar o comportamento de fontes de dados.
Novas funções SQL
As seguintes funções SQL são adicionadas no Databricks Runtime 16.0:
-
Esta função é uma versão tolerante a erros do url_decode. Essa função retornará
NULL
se a entrada não for uma cadeia de caracteres codificada por URL válida. -
Se a expressão de entrada para a
zeroifnull()
função forNULL
, então a função retornará 0. Caso contrário, o valor da expressão de entrada será retornado. -
Retorna
NULL
se a entrada for 0 ou sua entrada se não for 0. Se a expressão de entrada para anullifzero()
função for 0, então a função retornaráNULL
. Se a expressão de entrada não for 0, o valor da expressão de entrada será retornado
Habilite a evolução automática do esquema ao mesclar dados em uma tabela Delta
Esta versão adiciona suporte para o withSchemaEvolution()
DeltaMergeBuilder
membro da classe. Use withSchemaEvolution()
para habilitar a evolução automática do esquema durante MERGE
as operações. Por exemplo, mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}}
.
Outras alterações
O SparkR foi preterido
No Databricks Runtime 16.0 e superior, o SparkR no Databricks foi preterido em preparação para sua substituição na próxima versão do Spark 4. Consulte o thread Apache Spark Deprecate SparkR.
A Databricks recomenda o uso do sparklyr .
O Databricks Runtime 16.0 não é suportado com PVC
O Databricks Runtime 16.0 não é suportado pelo Databricks Private Virtual Cloud (PVC). Você deve usar o Databricks Runtime 15.4 ou inferior com todas as versões de PVC.
Correções de erros
Auto Loader agora resgata tipos de registro Avro com esquemas vazios
Ao carregar um arquivo Avro em uma tabela Delta usando o Auto Loader, record
os tipos no arquivo que têm um esquema vazio agora são adicionados à coluna de dados resgatados. Como não é possível ingerir tipos de dados complexos vazios em uma tabela Delta, isso resolve um problema com o carregamento de alguns arquivos Avro. Para saber mais sobre os dados resgatados, consulte O que é a coluna de dados resgatados?.
Correção para erro ao gravar carimbos de data/hora com fusos horários contendo um segundo deslocamento.
Esta versão corrige um bug que afeta alguns carimbos de data/hora com fusos horários contendo um segundo deslocamento. Esse bug faz com que os segundos sejam omitidos ao gravar em JSON, XML ou CSV, levando a valores de carimbo de data/hora incorretos.
Para retornar ao comportamento anterior, use a seguinte opção ao gravar em um dos formatos afetados: .option("yyyy-MM-dd'T'HH:mm:ss[.SSS][XXX]")
.
Atualizações da biblioteca
- Bibliotecas Python atualizadas:
- azure-core de 1.30.2 a 1.31.0
- azure-storage-blob de 12.19.1 a 12.23.0
- azure-storage-file-datalake de 12.14.0 a 12.17.0
- preto de 23.3.0 a 24.4.2
- piscar de 1.4 a 1.7.0
- boto3 de 1.34.39 a 1.34.69
- botocore de 1.34.39 a 1.34.69
- certifi de 2023.7.22 a 2024.6.2
- CFFI de 1.15.1 a 1.16.0
- Clique de 8.0.4 para 8.1.7
- comunicação de 0.1.2 a 0.2.1
- contorno de 1.0.5 a 1.2.0
- Criptografia de 41.0.3 a 42.0.5
- Cython de 0.29.32 a 3.0.11
- Databricks-SDK de 0.20.0 a 0.30.0
- dbus-python de 1.2.18 a 1.3.2
- filelock de 3.13.4 a 3.15.4
- Fonttools de 4.25.0 a 4.51.0
- GitPython de 3.1.43 a 3.1.37
- google-api-core de 2.18.0 a 2.20.0
- google-auth de 2.31.0 a 2.35.0
- google-cloud-storage de 2.17.0 a 2.18.2
- google-crc32c de 1.5.0 a 1.6.0
- google-retomable-media de 2.7.1 a 2.7.2
- googleapis-common-protos de 1.63.2 a 1.65.0
- httplib2 de 0.20.2 a 0.20.4
- IDNA de 3,4 a 3,7
- ipykernel de 6.25.1 a 6.28.0
- iPython de 8.15.0 a 8.25.0
- Jedi de 0.18.1 a 0.19.1
- jmespath de 0.10.0 a 1.0.1
- joblib de 1.2.0 a 1.4.2
- jupyter_client de 7.4.9 a 8.6.0
- jupyter_core de 5.3.0 a 5.7.2
- launchpadlib de 1.10.16 a 1.11.0
- lazr.restfulclient de 0.14.4 a 0.14.6
- matplotlib de 3.7.2 a 3.8.4
- mlflow-skinny de 2.11.4 a 2.15.1
- mais-itertools de 8.10.0 a 10.3.0
- mypy-extensões de 0.4.3 a 1.0.0
- nest-asyncio de 1.5.6 a 1.6.0
- numpy de 1.23.5 a 1.26.4
- oauthlib de 3.2.0 a 3.2.2
- embalagem de 23,2 a 24,1
- patsy de 0.5.3 a 0.5.6
- pip de 23.2.1 a 24.2
- plotly de 5.9.0 a 5.22.0
- prompt-toolkit de 3.0.36 a 3.0.43
- Pyarrow de 14.0.1 a 15.0.2
- Pydantic de 1.10.6 a 2.8.2
- PyGObject de 3.42.1 a 3.48.2
- PyJWT de 2.3.0 a 2.7.0
- pyodbc de 4.0.38 a 5.0.1
- python-dateutil de 2.8.2 a 2.9.0.post0
- python-lsp-jsonrpc de 1.1.1 a 1.1.2
- pytz de 2022.7 a 2024.1
- PyYAML de 6.0 a 6.0.1
- pyzmq de 23.2.0 a 25.1.2
- Pedidos de 2.31.0 a 2.32.2
- scikit-learn de 1.3.0 a 1.4.2
- Scipy de 1.11.1 a 1.13.1
- seaborn de 0.12.2 a 0.13.2
- setuptools de 68.0.0 a 74.0.0
- smmap de 5.0.1 a 5.0.0
- sqlparse de 0.5.0 a 0.5.1
- statsmodels de 0.14.0 a 0.14.2
- Tornado de 6.3.2 a 6.4.1
- características de 5.7.1 a 5.14.3
- typing_extensions de 4.10.0 a 4.11.0
- ujson de 5.4.0 a 5.10.0
- virtualenv de 20.24.2 a 20.26.2
- roda de 0.38.4 a 0.43.0
- zipp de 3.11.0 a 3.17.0
- Bibliotecas R atualizadas:
- seta de 14.0.0.2 para 16.1.0
- backports de 1.4.1 a 1.5.0
- base de 4.3.2 a 4.4.0
- bitops de 1,0-7 a 1,0-8
- inicializar de 1.3-28 a 1.3-30
- brio de 1.1.4 a 1.1.5
- Vassoura de 1.0.5 a 1.0.6
- bslib de 0.6.1 a 0.8.0
- cachem de 1.0.8 a 1.1.0
- chamador de 3.7.3 a 3.7.6
- CLI de 3.6.2 a 3.6.3
- relógio de 0.7.0 a 0.7.1
- agrupamento de 2.1.4 a 2.1.6
- CodeTools de 0.2-19 a 0.2-20
- espaço de cores de 2.1-0 a 2.1-1
- compilador de 4.3.2 a 4.4.0
- giz de cera de 1.5.2 a 1.5.3
- curvatura de 5.2.0 a 5.2.1
- data.table de 1.15.0 a 1.15.4
- conjuntos de dados de 4.3.2 a 4.4.0
- DBI de 1.2.1 a 1.2.3
- dbplyr de 2.4.0 a 2.5.0
- digest de 0.6.34 a 0.6.36
- Downlit de 0.4.3 para 0.4.4
- avaliar de 0,23 a 0,24,0
- farver de 2.1.1 a 2.1.2
- fastmap de 1.1.1 a 1.2.0
- estrangeiro de 0,8-85 a 0,8-86
- fs de 1.6.3 a 1.6.4
- futuro de 1.33.1 a 1.34.0
- future.apply de 1.11.1 a 1.11.2
- Gert de 2.0.1 a 2.1.0
- ggplot2 de 3.4.4 a 3.5.1
- GH de 1.4.0 a 1.4.1
- globais de 0.16.2 a 0.16.3
- gráficos de 4.3.2 a 4.4.0
- grDevices de 4.3.2 a 4.4.0
- grelha de 4.3.2 a 4.4.0
- gt de 0.10.1 a 0.11.0
- gtable de 0.3.4 a 0.3.5
- Hardhat de 1.3.1 a 1.4.0
- maior de 0,10 a 0,11
- htmltools de 0.5.7 a 0.5.8.1
- httpuv de 1.6.14 a 1.6.15
- httr2 de 1.0.0 a 1.0.2
- ipred de 0,9-14 a 0,9-15
- KernSmooth de 2.23-21 a 2.23-22
- knitr de 1,45 a 1,48
- rede de 0,21-8 a 0,22-5
- lava de 1.7.3 a 1.8.0
- markdown de 1.12 para 1.13
- MASSA de 7,3-60 a 7,3-60,0.1
- Matriz de 1,5-4,1 a 1,6-5
- Métodos de 4.3.2 a 4.4.0
- mgcv de 1.8-42 a 1.9-1
- mlflow de 2.10.0 a 2.14.1
- Munsell de 0.5.0 a 0.5.1
- nlme de 3.1-163 a 3.1-165
- openssl de 2.1.1 a 2.2.0
- paralelo de 4.3.2 a 4.4.0
- paralelamente de 1.36.0 a 1.38.0
- pkgbuild de 1.4.3 a 1.4.4
- pkgdown de 2.0.7 para 2.1.0
- pkgload de 1.3.4 a 1.4.0
- processx de 3.8.3 a 3.8.4
- prodlim de 2023.08.28 a 2024.06.25
- Promessas de 1.2.1 a 1.3.0
- ps de 1.7.6 a 1.7.7
- ragg de 1.2.7 a 1.3.2
- Rcpp de 1.0.12 a 1.0.13
- RcppEigen de 0.3.3.9.4 a 0.3.4.0.0
- reactR de 0.5.0 a 0.6.0
- receitas de 1.0.9 a 1.1.0
- Controles remotos de 2.4.2.1 a 2.5.0
- reprex de 2.1.0 a 2.1.1
- rlang de 1.1.3 a 1.1.4
- rmarkdown de 2,25 para 2,27
- roxigen2 de 7.3.1 a 7.3.2
- parte de 4.1.21 a 4.1.23
- RSQLite de 2.3.5 a 2.3.7
- rstudioapi de 0.15.0 a 0.16.0
- rvest de 1.0.3 a 1.0.4
- sass de 0.4.8 a 0.4.9
- forma de 1.4.6 a 1.4.6.1
- brilhante de 1.8.0 a 1.9.1
- Sparklyr de 1.8.4 a 1.8.6
- espacial de 7,3-15 a 7,3-17
- splines de 4.3.2 a 4.4.0
- Estatísticas de 4.3.2 a 4.4.0
- stats4 de 4.3.2 a 4.4.0
- stringi de 1.8.3 a 1.8.4
- sobrevida de 3,5-5 a 3,6-4
- swagger de 3.33.1 a 5.17.14.1
- systemfonts de 1.0.5 a 1.1.0
- tcltk de 4.3.2 a 4.4.0
- ensaio de 3.2.1 a 3.2.1.1
- textshaping de 0.3.7 a 0.4.0
- tidyselect de 1.2.0 a 1.2.1
- tinytex de 0,49 a 0,52
- Ferramentas de 4.3.2 a 4.4.0
- usethis de 2.2.2 a 3.0.0
- utils de 4.3.2 a 4.4.0
- UUID de 1.2-0 a 1.2-1
- V8 de 4.4.1 a 4.4.2
- Withr de 3.0.0 a 3.0.1
- xfun de 0,41 a 0,46
- xopen de 1.0.0 a 1.0.1
- yaml de 2.3.8 a 2.3.10
- Bibliotecas Java atualizadas:
- com.amazonaws.aws-java-sdk-autoscaling de 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-cloudformation de 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-cloudfront de 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-cloudhsm de 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-cloudsearch de 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-cloudtrail de 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-cloudwatch de 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-cloudwatchmetrics de 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-codedeploy de 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-cognitoidentity de 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-cognitosync de 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-config de 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-core de 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-datapipeline de 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-directconnect de 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-directory de 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-dynamoDB de 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-ec2 de 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-ecs de 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-efs de 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-elasticache de 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-elasticbeanstalk de 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-elasticloadbalancing de 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-elastictranscoder de 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-emr de 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-glacier de 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-glue de 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-iam de 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-importexport de 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-kinesis de 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-kms de 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-lambda de 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-logs de 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-machinelearning de 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-opsworks de 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-rds de 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-redshift de 1.12.610 para 1.12.638
- com.amazonaws.aws-java-sdk-route53 de 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-s3 de 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-ses de 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-simpledb de 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-simpleworkflow de 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-sns de 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-sqs de 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-ssm de 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-storagegateway de 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-sts de 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-support de 1.12.610 a 1.12.638
- com.amazonaws.aws-java-sdk-workspaces de 1.12.610 a 1.12.638
- com.amazonaws.jmespath-java de 1.12.610 a 1.12.638
- com.google.protobuf.protobuf-java de 2.6.1 a 3.25.1
- io.airlift.aircompressor de 0,25 a 0,27
- io.delta.delta-sharing-client_2.12 de 1.1.3 a 1.2.0
- io.netty.netty-all de 4.1.96.Final a 4.1.108.Final
- io.netty.netty-buffer de 4.1.96.Final a 4.1.108.Final
- io.netty.netty-codec de 4.1.96.Final a 4.1.108.Final
- io.netty.netty-codec-http de 4.1.96.Final a 4.1.108.Final
- io.netty.netty-codec-http2 de 4.1.96.Final a 4.1.108.Final
- io.netty.netty-codec-socks de 4.1.96.Final a 4.1.108.Final
- io.netty.netty-common de 4.1.96.Final a 4.1.108.Final
- io.netty.netty-handler de 4.1.96.Final a 4.1.108.Final
- io.netty.netty-handler-proxy de 4.1.96.Final a 4.1.108.Final
- io.netty.netty-resolver de 4.1.96.Final a 4.1.108.Final
- io.netty.netty-transport de 4.1.96.Final a 4.1.108.Final
- io.netty.netty-transport-classes-epoll de 4.1.96.Final a 4.1.108.Final
- io.netty.netty-transport-classes-kqueue de 4.1.96.Final a 4.1.108.Final
- io.netty.netty-transport-native-epoll de 4.1.96.Final-linux-x86_64 a 4.1.108.Final-linux-x86_64
- io.netty.netty-transport-native-kqueue de 4.1.96.Final-osx-x86_64 a 4.1.108.Final-osx-x86_64
- io.netty.netty-transport-native-unix-common de 4.1.96.Final a 4.1.108.Final
- org.apache.ivy.ivy de 2.5.1 a 2.5.2
- org.apache.zookeeper.zookeeper de 3.6.3 a 3.9.2
- org.apache.zookeeper.zookeeper-juta de 3.6.3 a 3.9.2
- org.rocksdb.rocksdbjni de 8.11.4 a 9.2.1
- org.scalactic.scalactic_2.12 de 3.2.15 a 3.2.16
- org.scalatest.scalatest-compatível de 3.2.15 a 3.2.16
- org.scalatest.scalatest-core_2.12 de 3.2.15 a 3.2.16
- org.scalatest.scalatest-diagrams_2.12 de 3.2.15 a 3.2.16
- org.scalatest.scalatest-featurespec_2.12 de 3.2.15 a 3.2.16
- org.scalatest.scalatest-flatspec_2.12 de 3.2.15 a 3.2.16
- org.scalatest.scalatest-freespec_2.12 de 3.2.15 a 3.2.16
- org.scalatest.scalatest-funspec_2.12 de 3.2.15 a 3.2.16
- org.scalatest.scalatest-funsuite_2.12 de 3.2.15 a 3.2.16
- org.scalatest.scalatest-matchers-core_2.12 de 3.2.15 a 3.2.16
- org.scalatest.scalatest-mustmatchers_2.12 de 3.2.15 a 3.2.16
- org.scalatest.scalatest-propspec_2.12 de 3.2.15 a 3.2.16
- org.scalatest.scalatest-refspec_2.12 de 3.2.15 a 3.2.16
- org.scalatest.scalatest-shouldmatchers_2.12 de 3.2.15 a 3.2.16
- org.scalatest.scalatest-wordspec_2.12 de 3.2.15 a 3.2.16
- org.scalatest.scalatest_2.12 de 3.2.15 a 3.2.16
Faísca Apache
O Databricks Runtime 16.0 inclui o Apache Spark 3.5.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 15.4 LTS, bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:
- [FAÍSCA-49093] [DBRRM-1371] Reverter "[SC-172958][SQL] GROUP BY com MapType nes...
- [FAÍSCA-49898] [DBRRM-1282][SC-178410] Corrigir a documentação e o padrão para o sinalizador de log de log de tarefas do acumulador de log do SPARK-42204
- [FAÍSCA-49743] [ES-1260022][BEHAVE-157][SC-177475][SQL] OptimizeCsvJsonExpr não deve alterar campos de esquema ao remover GetArrayStructFields
- [FAÍSCA-49816] [SC-177896][SQL] Deve atualizar apenas a contagem de ref-out para a relação CTE externa referenciada
- [FAÍSCA-48939] [SC-177022][SC-172766][AVRO] Suporte a leitura do Avro com referência de esquema recursivo
- [FAÍSCA-49688] [SC-177468][ES-1242349][CONECTAR] Corrigir uma corrida de dados entre o plano de interrupção e execução
- [FAÍSCA-49771] [SC-177466][PYTHON] Melhorar o erro UDF do Pandas Scalar Iter quando as linhas de saída excedem as linhas de entrada
- [FAÍSCA-48866] [SC-170772][SQL] Corrija dicas de charset válido na mensagem de erro do INVALID_PARAMETER_VALUE. CARSET
- [FAÍSCA-48195] [FIXFORWARD][SC-177267][CORE] Salvar e reutilizar RDD/Broadcast criado por SparkPlan
- [FAÍSCA-49585] [CONECTAR] Substitua o mapa de execuções em SessionHolder pelo conjunto operationID
- [FAÍSCA-49211] [SC-174257][SQL] O Catálogo V2 também pode suportar fontes de dados incorporadas
- [FAÍSCA-49684] Minimizar a vida útil do bloqueio de restauração da sessão
- [FAÍSCA-48059] [FAÍSCA-48145][FAÍSCA-48134][FAÍSCA-48182][FAÍSCA-48209][FAÍSCA-48291] Estrutura de log estruturada no lado java
- [FAÍSCA-48857] [SC-170661][SQL] Restringir charsets em CSVOptions
- [FAÍSCA-49152] [SC-173690][SQL] V2SessionCatalog deve usar V2Command
- [FAÍSCA-42846] [SC-176588][SQL] Remover condição de erro _LEGACY_ERROR_TEMP_2011
- [FAÍSCA-48195] [SC-177267][CORE] Salvar e reutilizar RDD/Broadcast criado por SparkPlan
- [FAÍSCA-49630] [SC-177379][SS] Adicionar opção de nivelamento para processar tipos de coleta com o leitor de fonte de dados de estado
- [FAÍSCA-49699] [SC-177154][SS] Desativar PruneFilters para cargas de trabalho de streaming
- [FAÍSCA-48781] [SC-175282][SQL] Adicionar APIs de catálogo para carregar procedimentos armazenados
- [FAÍSCA-49667] [SC-177068][SQL] Não permitir CS_AI agrupadores com expressões que usam StringSearch
- [FAÍSCA-49737] [SC-177207][SQL] Desabilitar bucketing em colunas agrupadas em tipos complexos
- [FAÍSCA-48712] [SC-169794][SQL] Melhoria do Perf para codificação com valores vazios ou conjunto de caracteres UTF-8
- [FAÍSCA-49038] [SC-173933][SQL] SQLMetric deve relatar o valor bruto no evento de atualização do acumulador
- [FAÍSCA-48541] [SC-169066][CORE] Adicionar um novo código de saída para executores mortos por TaskReaper
- [FAÍSCA-48774] [SC-170138][SQL] Usar SparkSession em SQLImplicits
-
[FAÍSCA-49719] [SC-177139][SQL] Criar
UUID
eSHUFFLE
aceitar números inteirosseed
-
[FAÍSCA-49713] [SC-177135][PYTHON][CONECTAR] Fazer com que a função
count_min_sketch
aceite argumentos numéricos - [FAÍSCA-47601] [SC-162499][GRAPHX] Graphx: Migrar logs com variáveis para a estrutura de log estruturada
- [FAÍSCA-49738] [SC-177219][SQL] Termina com correção de bug
- [FAÍSCA-48623] [SC-170822][CORE] Migrações de log estruturado [Parte 3]
- [FAÍSCA-49677] [SC-177148][SS] Verifique se os arquivos do changelog estão gravados na confirmação e se o sinalizador forceSnapshot também é redefinido
- [FAÍSCA-49684] [SC-177040][CONECTAR] Remover bloqueios globais dos gerenciadores de sessão e execução
- [FAÍSCA-48302] [SC-168814][PYTHON] Preservar nulos em colunas de mapa em tabelas PyArrow
- [FAÍSCA-48601] [SC-169025][SQL] Forneça uma mensagem de erro mais amigável ao definir um valor nulo para a opção JDBC
- [FAÍSCA-48635] [SC-169263][SQL] Atribuir classes para erros de tipo de junção e erro de junção como de junção
- [FAÍSCA-49673] [SC-177032][CONECTAR] Aumentar o CONNECT_GRPC_ARROW_MAX_BATCH_SIZE para 0,7 * CONNECT_GRPC_MAX_MESSAGE_SIZE
-
[FAÍSCA-49693] [SC-177071][PYTHON][CONECTAR] Refinar a representação de cadeia de caracteres de
timedelta
-
[FAÍSCA-49687] [SC-176901][SQL] Atrasar a classificação em
validateAndMaybeEvolveStateSchema
-
[FAÍSCA-49718] [SC-177112][PS] Alternar
Scatter
gráfico para dados de amostra - [FAÍSCA-48472] [SC-169044][SQL] Habilitar expressões de reflexão com cadeias de caracteres agrupadas
- [FAÍSCA-48484] [SC-167484][SQL] Correção: V2Write usar o mesmo TaskAttemptId para diferentes tentativas de tarefa
- [FAÍSCA-48341] [SC-166560][CONECTAR] Permitir que plug-ins usem QueryTest em seus testes
-
[FAÍSCA-42252] [SC-168723][CORE] Adicionar
spark.shuffle.localDisk.file.output.buffer
e depreciarspark.shuffle.unsafe.file.output.buffer
- [FAÍSCA-48314] [SC-166565][SS] Não duplique arquivos de cache para FileStreamSource usando Trigger.AvailableNow
-
[FAÍSCA-49567] [SC-176241][PYTHON] Use
classic
em vez devanilla
a partir da base de código PySpark - [FAÍSCA-48374] [SC-167596][PYTHON] Suporta tipos de coluna adicionais da Tabela PyArrow
-
[FAÍSCA-48300] [SC-166481][SQL] Suporte Codegen para
from_xml
- [FAÍSCA-49412] [SC-177059][PS] Calcule todas as métricas de gráfico de caixa em um único trabalho
- [FAÍSCA-49692] [SC-177031][PYTHON][CONECTAR] Refinar a representação de cadeia de caracteres de data literal e datetime
- [FAÍSCA-49392] [ES-1130351][SC-176705][SQL] Detetar erros ao não gravar na fonte de dados externa
- [FAÍSCA-48306] [SC-166241][SQL] Melhorar UDT na mensagem de erro
- [FAÍSCA-44924] [SC-166379][SS] Adicionar configuração para arquivos em cache do FileStreamSource
- [FAÍSCA-48176] [SC-165644][SQL] Ajustar o nome de FIELD_ALREADY_EXISTS condição de erro
-
[FAÍSCA-49691] [SC-176988][PYTHON][CONECTAR] A função
substring
deve aceitar nomes de colunas - [FAÍSCA-49502] [SC-176077][CORE] Evite NPE em SparkEnv.get.shuffleManager.unregisterShuffle
- [FAÍSCA-49244] [SC-176703][SQL] Outras melhorias de exceção para analisador/intérprete
- [FAÍSCA-48355] [SC-176684][SQL] Suporte para declaração CASE
-
[FAÍSCA-49355] [SC-175121][SQL]
levenshtein
deve verificar se oscollation
valores de todos os tipos de parâmetros são os mesmos -
[FAÍSCA-49640] [SC-176953][PS] Aplicar a amostragem do reservatório em
SampledPlotBase
-
[FAÍSCA-49678] [SC-176857][CORE] Apoio
spark.test.master
emSparkSubmitArguments
-
[FAÍSCA-49680] [SC-176856][PYTHON] Limitar
Sphinx
o paralelismo de compilação a 4 por padrão - [FAÍSCA-49396] Reverter "[SC-176030][SQL] Modificar verificação de anulabilidade para a expressão CaseWhen"
- [FAÍSCA-48419] [SC-167443][SQL] Propagação dobrável substituir coluna dobrável shoul...
- [FAÍSCA-49556] [SC-176757][SQL] Adicionar sintaxe de pipe SQL para o operador SELECT
-
[FAÍSCA-49438] [SC-175237][SQL] Corrija o nome bonito da
FromAvro
expressão &ToAvro
- [FAÍSCA-49659] [SC-1229924][SQL] Adicione um bom erro voltado para o usuário para subconsultas escalares dentro da cláusula VALUES
- [FAÍSCA-49646] [SC-176778][SQL] corrige a descorrelação de subconsulta para operações união/conjunto quando parentOuterReferences tem referências não cobertas em collectedChildOuterReferences
-
[FAÍSCA-49354] [SC-175034][SQL]
split_part
deve verificar se oscollation
valores de todos os tipos de parâmetros são os mesmos - [FAÍSCA-49478] [SC-175914][CONECTAR] Manipular métricas nulas em ConnectProgressExecutionListener
- [FAÍSCA-48358] [SC-176374][SQL] Suporte para a instrução REPEAT
- [FAÍSCA-49183] [SC-173680][SQL] V2SessionCatalog.createTable deve respeitar PROP_IS_MANAGED_LOCATION
-
[FAÍSCA-49611] [SC-176791][SQL] Introduzir TVF
collations()
& remover oSHOW COLLATIONS
comando - [FAÍSCA-49261] [SC-176589][SQL] Não substitua literais em expressões agregadas por expressões agrupadas
- [FAÍSCA-49099] [SC-173229][SQL] CatalogManager.setCurrentNamespace deve respeitar o catálogo de sessão personalizado
- [FAÍSCA-49594] [SC-176569][SS] Adicionando verificação se columnFamilies foram adicionados ou removidos para gravar o arquivo StateSchemaV3
- [FAÍSCA-49578] [SC-176385][SQL] Remova a sugestão de configuração ANSI no CAST_INVALID_INPUT e CAST_OVERFLOW
- [FAÍSCA-48882] [SC-174256][SS] Atribuir nomes a classes de erro relacionadas ao modo de saída de streaming
-
[FAÍSCA-49155] [SC-176506][SQL][SS] Use o tipo de parâmetro mais apropriado para construir
GenericArrayData
- [FAÍSCA-49519] [SC-176388][SQL] Opções de mesclagem de tabela e relação ao construir o FileScanBuilder
- [FAÍSCA-49591] [SC-176587][SQL] Adicionar coluna Tipo Lógico ao Leiame da variante
-
[FAÍSCA-49596] [SC-176423][SQL] Melhorar o desempenho de
FormatString
- [FAÍSCA-49525] [SC-176044][SS][CONECTAR] Pequena melhoria de log para o Server Side Streaming Query ListenerBus Listener
-
[FAÍSCA-49583] [SC-176272][SQL] Definir a subcondição
SECONDS_FRACTION
de erro para o padrão de fração de segundos inválido - [FAÍSCA-49536] [SC-176242] Manipular erro na pré-busca de registro de fonte de dados de streaming python
- [FAÍSCA-49443] [SC-176273][SQL][PYTHON] Implementar to_variant_object expressão e fazer com que schema_of_variant expressões imprimam OBJECT for for Variant Objects
- [FAÍSCA-49544] [SASP-3990][SC-176557][CONECTAR] Substitua o bloqueio grosseiro em SparkConnectExecutionManager por ConcurrentMap
- [FAÍSCA-49548] [SASP-3990][SC-176556][CONECTAR] Substitua o bloqueio grosseiro no SparkConnectSessionManager pelo ConcurrentMap
- [FAÍSCA-49551] [SC-176218][SS] Melhorar o log do RocksDB para replayChangelog
-
[FAÍSCA-49595] [SC-176396][CONECTAR][SQL] Correção
DataFrame.unpivot/melt
no cliente Spark Connect Scala - [FAÍSCA-49006] [SC-176162] Implementar limpeza para arquivos OperatorStateMetadataV2 e StateSchemaV3
-
[FAÍSCA-49600] [SC-176426][PYTHON] Remover
Python 3.6 and older
lógica relacionada detry_simplify_traceback
- [FAÍSCA-49303] [SC-176013][SS] Implementar TTL para ValueState na API transformWithStateInPandas
- [FAÍSCA-49191] [SC-176243][SS] Adicionar suporte para leitura de variáveis de estado do mapa transformWithState com leitor de fonte de dados de estado
- [FAÍSCA-49593] [SC-176371][SS] Lançar exceção RocksDB para o chamador no banco de dados fechar se um erro for visto
-
[FAÍSCA-49334] [SC-174803][SQL]
str_to_map
deve verificar se oscollation
valores de todos os tipos de parâmetros são os mesmos - [FAÍSCA-42204] [SC-176126][CORE] Adicionar opção para desativar o log redundante de acumuladores internos do TaskMetrics em logs de eventos
- [FAÍSCA-49575] [SC-176256][SS] Adicionar log para liberação de bloqueio somente se acquiredThreadInfo não for nulo
- [FAÍSCA-49539] [SC-176250][SS] Atualizar o identificador de início das famílias col internas para um identificador diferente
- [FAÍSCA-49205] [SC-173853][SQL] KeyGroupedPartitioning deve herdar HashPartitioningLike
- [FAÍSCA-49396] [SC-176030][SQL] Modificar a verificação de anulabilidade da expressão CaseWhen
- [FAÍSCA-49476] [SC-175700][SQL] Corrigir a anulabilidade da função base64
- [FAÍSCA-47262] [SC-174829][SQL] Atribuir nomes a condições de erro para conversões de parquet
- [FAÍSCA-47247] [SC-158349][SQL] Use um tamanho de destino menor ao aglutinar partições com junções explosivas
- [FAÍSCA-49501] [SC-176166][SQL] Corrigir fuga dupla da localização da tabela
- [FAÍSCA-49083] [SC-173214][CONECTAR] Permitir que from_xml e from_json trabalhem nativamente com esquemas json
- [FAÍSCA-49043] [SC-174673][SQL] Corrigir grupo de codepath interpretado por no mapa contendo cadeias de caracteres agrupadas
- [FAÍSCA-48986] [SC-172265][CONECTAR][SQL] Adicionar representação intermediária ColumnNode
- [FAÍSCA-49326] [SC-176016][SS] Classify Error class for Foreach sink user function error
-
[FAÍSCA-48348] [SC-175950][FAÍSCA-48376][SQL] Introdução
LEAVE
eITERATE
declarações - [FAÍSCA-49523] [SC-175949][CONECTAR] Aumente o tempo máximo de espera para que o servidor de conexão seja testado
- [FAÍSCA-49000] [BEHAVE-105][ES-1194747][SQL] Corrija "select count(distinct 1) from t" onde t é a tabela vazia expandindo RewriteDistinctAggregates - DBR versão 16.x
- [FAÍSCA-49311] [SC-175038][SQL] Tornar possível que grandes valores de 'segundo intervalo' sejam convertidos em decimais
- [FAÍSCA-49200] [SC-173699][SQL] Corrigir exceção de ordenação não-codegen de tipo nulo
- [FAÍSCA-49467] [SC-176051][SS] Adicionar suporte para leitor de fonte de dados de estado e estado da lista
- [FAÍSCA-47307] [SC-170891][SQL] Adicionar uma configuração a strings base64 opcionalmente chunk
- [FAÍSCA-49391] [SC-176032][PS] Box plot selecionar outliers por distância das cercas
- [FAÍSCA-49445] [SC-175845][UI] Suporte mostrar dica de ferramenta na barra de progresso da interface do usuário
- [FAÍSCA-49451] [SC-175702] Permitir chaves duplicadas no parse_json.
- [FAÍSCA-49275] [SC-175701][SQL] Corrigir a nulidade do tipo de retorno da expressão xpath
- [FAÍSCA-49021] [SC-175578][SS] Adicione suporte para ler variáveis de estado de valor transformWithState com leitor de fonte de dados de estado
- [FAÍSCA-49474] [BEHAVE-143][SC-169253][SC-175933][SS] Classify Error class for FlatMapGroupsWithState user function error
- [FAÍSCA-49408] [SC-175932][SQL] Usar IndexedSeq em ProjectingInternalRow
-
[FAÍSCA-49509] [SC-175853][CORE] Utilizar
Platform.allocateDirectBuffer
em vez deByteBuffer.allocateDirect
- [FAÍSCA-49382] [SC-175013][PS] Faça com que o gráfico da caixa de quadros renderize corretamente os panfletos/outliers
- [FAÍSCA-49002] [SC-172846][SQL] Manipule consistentemente locais inválidos em WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY
-
[FAÍSCA-49480] [SC-175699][CORE] Corrigir NullPointerException de
SparkThrowableHelper.isInternalError
- [FAÍSCA-49477] [SC-175828][PYTHON] Melhorar pandas udf mensagem de erro de tipo de retorno inválido
- [FAÍSCA-48693] [SC-169492][SQL] Simplifique e unifique toString de Invoke e StaticInvoke
-
[FAÍSCA-49441] [SC-175716][ML]
StringIndexer
classificar matrizes em executores - [FAÍSCA-49347] [SC-175004][R] Deprecate SparkR
- [FAÍSCA-49357] [SC-175227][CONECTAR][PYTHON] Truncar verticalmente a mensagem de protobuf profundamente aninhada
- [FAÍSCA-41982] [SC-120604][SQL] As partições do tipo string não devem ser tratadas como tipos numéricos
- [FAÍSCA-48776] [SC-170452][BEHAVE-72] Corrigir formatação de carimbo de data/hora para json, xml e csv
- [FAÍSCA-49223] [SC-174800][ML] Simplifique o StringIndexer.countByValue com funções incorporadas
-
[FAÍSCA-49016] Reverter "[SC-174663][SQL] Restaurar o comportamento de que consultas de arquivos CSV brutos não são permitidos quando incluir apenas coluna de registro corrompido e atribuir nome a
_LEGACY_ERROR_TEMP_1285
" -
[FAÍSCA-49041] [SC-172392][PYTHON][CONECTAR] Levante o erro adequado para
dropDuplicates
quando o errosubset
é dado - [FAÍSCA-49050] [SC-175235] Habilitando o operador deleteIfExists no TWS com famílias de colunas virtuais
- [FAÍSCA-49216] [SC-173919][CORE]Correção para não registrar o contexto da mensagem com explicitamente LogEntry construído quando o conf de Log Estruturado está desativado
-
[FAÍSCA-49252] [SC-175596][CORE] Fazer
TaskSetExcludeList
eHeathTracker
independente - [FAÍSCA-49352] [SC-174971][SQL] Evite a transformação de matriz redundante para expressão idêntica
- [FAÍSCA-42307] [SC-173863][SQL] Atribuir nome para erro _LEGACY_ERROR_TEMP_2232
-
[FAÍSCA-49197] [SC-173732][CORE] Redact
Spark Command
saída nolauncher
módulo - [FAÍSCA-48913] [SC-173934][SQL] Implementar IndentingXMLStreamWriter
- [FAÍSCA-49306] [SC-175363][PYTHON][SQL] Criar aliases de função SQL para 'zeroifnull' e 'nullifzero'
- [FAÍSCA-48344] [SQL] Execução de scripts SQL (incluindo Spark Connect)
- [FAÍSCA-49402] [SC-175122][PYTHON] Corrigir a integração do fichário na documentação do PySpark
- [FAÍSCA-49017] [SC-174664][SQL] A instrução Insert falha quando vários parâmetros estão sendo usados
- [FAÍSCA-49318] [SC-174733][SQL] Antecipe erros de baixa prioridade na ACV até o final da análise de verificação para melhorar a experiência de erro
-
[FAÍSCA-49016] [SC-174663][SQL] Restaure o comportamento de que consultas de arquivos CSV brutos não são permitidas quando apenas incluir coluna de registro corrompido e atribuir nome a
_LEGACY_ERROR_TEMP_1285
-
[FAÍSCA-49387] [SC-175124][PYTHON] Corrigir dica de tipo para
accuracy
inpercentile_approx
eapprox_percentile
- [FAÍSCA-49131] [SC-174666][SS] TransformWithState deve definir corretamente chaves de agrupamento implícitas, mesmo com iteradores preguiçosos
- [FAÍSCA-49301] [SC-174795][SS] Dados de seta de bloco passados para o trabalhador Python
- [FAÍSCA-49039] [SC-174651][UI] Caixa de seleção Redefinir quando as métricas do executor são carregadas na guia Estágios
- [FAÍSCA-48428] [SC-169806][SQL]: Corrigir IllegalStateException em NestedColumnAliasing
-
[FAÍSCA-49353] [SC-174830][SQL] Atualizar documentos relacionados com codificação
UTF-32
/descodificação - [FAÍSCA-48613] [SC-170966][SQL] SPJ: Suporte auto-shuffle um lado + menos chaves de junção do que as chaves de partição
- [FAÍSCA-47473] [SC-160450][BEHAVE-127][SQL] Corrigir o problema de correção da conversão de carimbos de data/hora postgres INFINITY
- [FAÍSCA-49142] [SC-173658][CONECTAR][PYTHON] Acompanhamento para reverter proto para custo de desempenho de cadeia de caracteres
- [FAÍSCA-49300] [SC-175008][CORE] Corrija o vazamento de token de delegação do Hadoop quando tokenRenewalInterval não estiver definido.
- [FAÍSCA-49367] [SC-175012][PS] Paralelizar o cálculo do KDE para várias colunas (plotly backend)
- [FAÍSCA-49365] [SC-175011][PS] Simplifique a agregação do bucket no gráfico hist
- [FAÍSCA-49372] [SC-175003][SS] Certifique-se de que latestSnapshot está definido como none on close para evitar o uso subsequente
-
[FAÍSCA-49341] [SC-174785] Remover
connector/docker
em favor deApache Spark Operator
-
[FAÍSCA-49344] [SC-174894][PS] Suporte
json_normalize
para Pandas API no Spark - [FAÍSCA-49306] [SC-174794][SQL] Criar novas funções SQL 'zeroifnull' e 'nullifzero'
- [FAÍSCA-48796] [SC-174668][SS] Carregar ID da família de colunas do RocksDBCheckpointMetadata para VCF ao reiniciar
- [FAÍSCA-49342] [SC-174899][SQL] Tornar TO_AVRO função SQL 'jsonFormatSchema' argumento opcional
- [FAÍSCA-48628] [SC-174695][CORE] Adicionar métricas de memória de heap ativada/desativada de pico de tarefa
- [FAÍSCA-47407] [SC-159379][BEHAVE-126][SQL] Suporte java.sql.Types.NULL mapa para NullType
- [FAÍSCA-48628] [SC-173407][CORE] Adicionar métricas de memória de heap ativada/desativada de pico de tarefa
- [FAÍSCA-49166] [SC-173987][SQL] Suporte OFFSET em subconsulta correlacionada
- [FAÍSCA-49269] [SC-174676][SQL] Avalie ansiosamente a lista VALUES() no AstBuilder
- [FAÍSCA-49281] [SC-174782][SQL] Otimize o parquet binário getBytes com getBytesUnsafe para evitar o custo de cópia
- [FAÍSCA-49113] [SC-174734] Não afirme em erros de tradução - engula silenciosamente a exceção
- [FAÍSCA-49098] [SC-173253][SQL] Adicionar opções de escrita para INSERT
- [FAÍSCA-48638] [SC-174694][SEGUIR][CONECTAR] Corrigir documentação para ExecutionInfo
- [FAÍSCA-49250] [ES-1222826][SQL] Melhorar a mensagem de erro para UnresolvedWindowExpression aninhado no CheckAnalysis
- [FAÍSCA-48755] [SC-174258][SS][PYTHON] transformWithState pyspark base implementation e suporte ValueState
- [FAÍSCA-48966] [SC-174329][SQL] Melhorar a mensagem de erro com referência de coluna não resolvida inválida na chamada UDTF
- [FAÍSCA-46590] [SC-154115][SQL] Falha na correção de coalesce com indeces de partição inesperados
- [FAÍSCA-49235] [SC-174159][SQL] Refatore a regra ResolveInlineTables para que ela não percorra toda a árvore
- [FAÍSCA-49060] [SC-173107][CONECTAR] Limpar regras Mima para verificações de compatibilidade binária SQL-Connect
- [FAÍSCA-48762] [SC-172525][SQL] Introduza a API clusterBy DataFrameWriter para Python
- [FAÍSCA-49207] [SC-173852][SQL] Corrigir o mapeamento de casos um-para-muitos em SplitPart e StringSplitSQL
- [FAÍSCA-49204] [SC-173850][SQL] Corrigir a manipulação de pares substitutos em StringInstr e StringLocate
- [FAÍSCA-36680] [SC-170640][SQL] Suporta opções de tabela dinâmica para Spark SQL
- [FAÍSCA-49204] [SC-173849][SQL] Corrigir a manipulação de par substituto em SubstringIndex
- [FAÍSCA-49204] [SC-173848][SQL] Corrigir a manipulação de par substituto no StringTrim
- [FAÍSCA-48967] [SC-173993]Corrigir o teste SparkConfigOwnershipSuite para OTIMIZE_INSERT_INTO_VALUES_PARSER
- [FAÍSCA-49204] [SC-173851][SQL] Corrigir a manipulação de par substituto em StringReplace
- [FAÍSCA-48967] [SC-173993][SQL][16.x] Melhorar o desempenho e a pegada de memória de "INSERT INTO ... VALORES" Declarações
- [FAÍSCA-49099] Reverter "[SC-173229][SQL] CatalogManager.setCurrent...
- [FAÍSCA-48347] [SC-173812][SQL] Suporte para a declaração WHILE
- [FAÍSCA-49128] [SC-173344][CORE] Ofereça suporte ao título personalizado da interface do usuário do Servidor de Histórico
- [FAÍSCA-49146] [SC-173825][SS] Mover erros de asserção relacionados à marca d'água ausente nas consultas de streaming do modo de acréscimo para a estrutura de erros
- [FAÍSCA-45787] [SC-172197][SQL] Suporte Catalog.listColumns para colunas de agrupamento
- [FAÍSCA-49099] [SC-173229][SQL] CatalogManager.setCurrentNamespace deve respeitar o catálogo de sessão personalizado
- [FAÍSCA-49138] [SC-173483][SQL] Corrigir CollationTypeCasts de várias expressões
- [FAÍSCA-49163] [SC-173666][SQL] A tentativa de criar uma tabela com base em resultados de dados de partição parquet quebrados deve retornar o erro voltado para o usuário
-
[FAÍSCA-49201] [SC-173793][PS][PYTHON][CONECTAR] Reimplementar
hist
gráfico com o Spark SQL - [FAÍSCA-49188] [SC-173682][SQL] Erro interno no concat_ws chamado na matriz de matrizes de string
-
[FAÍSCA-49137] [SC-173677][SQL] Quando a condição booleana no
if statement
é inválida, uma exceção deve ser lançada - [FAÍSCA-49193] [SC-173672][SQL] Melhorar o desempenho de RowSetUtils.toColumnBasedSet
- [FAÍSCA-49078] [SC-173078][SQL] Suporte mostrar sintaxe de colunas na tabela v2
- [FAÍSCA-49141] [SC-173388][SQL] Marcar variante como tipo de dados incompatível com hive
-
[FAÍSCA-49059] [Escolha a dedo][15.x][SC-172528][CONECTAR] Mover
SessionHolder.forTesting(...)
para o pacote de teste - [FAÍSCA-49111] [SC-173661][SQL] Mover comProjectAndFilter para o objeto complementar de DataSourceV2Strategy
-
[FAÍSCA-49185] [SC-173688][PS][PYTHON][CONECTAR] Reimplementar
kde
gráfico com o Spark SQL -
[FAÍSCA-49178] [SC-173673][SQL] Otimize o desempenho de
Row#getSeq
para corresponder ao desempenho ao usar o Spark 3.5 com o Scala 2.12 - [FAÍSCA-49093] [SC-172958][SQL] GROUP BY com MapType aninhado dentro do tipo complexo
- [FAÍSCA-49142] [SC-173469][CONECTAR][PYTHON] Menor nível de log do cliente Spark Connect para depuração
- [FAÍSCA-48761] [SC-172048][SQL] Introduzir clusterBy DataFrameWriter API para Scala
- [FAÍSCA-48346] [SC-173083][SQL] Suporte para instruções IF ELSE em scripts SQL
- [FAÍSCA-48338] [SC-173112][SQL] Melhorar as exceções lançadas do analisador/intérprete
- [FAÍSCA-48658] [SC-169474][SQL] As funções de codificação/decodificação relatam erros de codificação em vez de mojibake para caracteres não mapeáveis
- [FAÍSCA-49071] [SC-172954][SQL] Remover característica ArraySortLike
-
[FAÍSCA-49107] Revert "Revert "[SC-173103][SQL]
ROUTINE_ALREADY_EXISTS
suporta RoutineType"" - [FAÍSCA-49070] [SC-172907][SS][SQL] TransformWithStateExec.initialState é reescrito incorretamente para produzir um plano de consulta inválido
- [FAÍSCA-49114] [SC-173217] A subcategorização não pode carregar erros de armazenamento de estado
-
[FAÍSCA-49107] Reverter "[SC-173103][SQL]
ROUTINE_ALREADY_EXISTS
suporta RoutineType" - [FAÍSCA-49048] [SC-173223][SS] Adicione suporte para leitura de metadados relevantes do operador em determinado ID de lote
- [FAÍSCA-49094] [SC-173049][SQL] Corrigir ignoreCorruptFiles não funcional para hive orc impl com mergeSchema desativado
-
[FAÍSCA-49108] [SC-173102][EXEMPLO] Adicionar
submit_pi.sh
exemplo de API REST -
[FAÍSCA-49107] [SC-173103][SQL]
ROUTINE_ALREADY_EXISTS
suporta RoutineType - [FAÍSCA-48997] [SC-172484][SS] Implementar descarregamentos individuais para falhas de thread do pool de threads de manutenção
- [FAÍSCA-49063] [SC-173094][SQL] Corrigir entre com ScalarSubqueries
- [FAÍSCA-45891] [SC-172305][SQL][PYTHON][VARIANTE] Adicionar suporte para tipos de intervalo na especificação de variante
-
[FAÍSCA-49074] [BEHAVE-110][SC-172815][SQL] Corrigir variante com
df.cache()
- [FAÍSCA-49003] [SC-172613][SQL] Corrigir hashing de caminho de código interpretado para ter reconhecimento de agrupamento
- [FAÍSCA-48740] [SC-172430][SQL] Detetar erro de especificação de janela ausente antecipadamente
- [FAÍSCA-48999] [SC-172245][SS] Dividir PythonStreamingDataSourceSimpleSuite
- [FAÍSCA-49031] [SC-172602] Implementar validação para o operador TransformWithStateExec usando OperatorStateMetadataV2
- [FAÍSCA-49053] [SC-172494][PYTHON][ML] Fazer com que as funções auxiliares de guarda/carregamento do modelo aceitem sessão de faísca
- [FAÍSCA-49032] [Backport][15.x][SS] Adicionar caminho de esquema na entrada da tabela de metadados, verificar a versão esperada e adicionar teste relacionado a metadados do operador para o formato de metadados do operador v2
-
[FAÍSCA-49034] [SC-172306][CORE] Suporte à substituição do lado
sparkProperties
do servidor na API de envio REST - [FAÍSCA-48931] [SC-171895][SS] Reduza o custo da API da Lista de Lojas na Nuvem para a tarefa de manutenção do armazenamento de estado
- [FAÍSCA-48849] [SC-172068][SS]Criar OperatorStateMetadataV2 para o operador TransformWithStateExec
- [FAÍSCA-49013] [SC-172322] Alterar chave em agrupamentosMapa para tipos de mapa e matriz em scala
-
[FAÍSCA-48414] [SC-171884][PYTHON] Corrigir alteração de quebra em python's
fromJson
- [FAÍSCA-48910] [SC-171001][SQL] Use HashSet/HashMap para evitar pesquisas lineares em PreprocessTableCreation
-
[FAÍSCA-49007] [SC-172204][CORE] Melhorar
MasterPage
para suportar título personalizado - [FAÍSCA-49009] [SC-172263][SQL][PYTHON] Fazer com que as APIs e funções da Coluna aceitem Enums
-
[FAÍSCA-49033] [SC-172303][CORE] Suporte à substituição do lado
environmentVariables
do servidor na API de envio REST -
[FAÍSCA-48363] [SC-166470][SQL] Limpe alguns códigos redundantes em
from_xml
- [FAÍSCA-46743] [SC-170867][SQL][BEHAVE-84] Bug de contagem depois que ScalarSubqery é dobrado se tiver uma relação vazia
-
[FAÍSCA-49040] [SC-172351][SQL] Corrigir documento
sql-ref-syntax-aux-exec-imm.md
- [FAÍSCA-48998] [SC-172212][ML] Meta algoritmos salvar/carregar modelo com SparkSession
-
[FAÍSCA-48959] [SC-171708][SQL] Fazer
NoSuchNamespaceException
extensãoNoSuchDatabaseException
para restaurar o tratamento de exceções - [FAÍSCA-48996] [SC-172130][SQL][PYTHON] Permitir literais nus para e e oude Coluna
- [FAÍSCA-48990] [SC-171936] Acompanhamento para #101759 - correção de teste
- [FAÍSCA-48338] [SC-171912][SQL] Verificar declarações de variáveis
- [FAÍSCA-48990] [SC-171936][SQL] Palavras-chave de sintaxe SQL relacionadas a variáveis unificadas
-
[FAÍSCA-48988] [SC-171915][ML] Manipular
DefaultParamsReader/Writer
metadados com sessão de faísca -
[FAÍSCA-48974] [SC-171978][SQL][SS][ML][MLLIB] Utilizar
SparkSession.implicits
em vez deSQLContext.implicits
- [FAÍSCA-48760] [SC-170870][SQL] Corrigir CatalogV2Util.applyClusterByChanges
- [FAÍSCA-48928] [SC-171956] Aviso de log para chamar .unpersist() em RDDs de ponto de verificação local
- [FAÍSCA-48760] [SC-170139][SQL] Introduza ALTER TABLE ... Sintaxe CLUSTER BY SQL para alterar colunas de clustering
- [FAÍSCA-48844] Reverter "[SC-170669][SQL] USE INVALID_EMPTY_LOCATION em vez de UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY quando o caminho estiver vazio"
-
[FAÍSCA-48833] [SC-171914][SQL][VARIANTE] Variante de suporte em
InMemoryTableScan
-
[FAÍSCA-48975] [SC-171894][PROTOBUF] Remova a definição desnecessária
ScalaReflectionLock
deprotobuf
- [FAÍSCA-48970] [SC-171800][PYTHON][ML] Evite usar SparkSession.getActiveSession no leitor/gravador de spark ML
- [FAÍSCA-48844] [SC-170669][SQL] USE INVALID_EMPTY_LOCATION em vez de UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY quando o caminho estiver vazio
- [FAÍSCA-48714] [SC-170136] Corrigir testes df.mergeInto com falha no PySpark e UC
- [FAÍSCA-48957] [SC-171797][SS] Retornar classe de erro subclassificada na carga de armazenamento de estado para o provedor hdfs e rocksdb
- [FAÍSCA-48891] [Backport][15x][SC-171677][SS] Refatore StateSchemaCompatibilityChecker para unificar todos os formatos de esquema de estado
- [FAÍSCA-48972] [SC-171795][PYTHON] Unifique a manipulação literal de cadeia de caracteres em funções
- [FAÍSCA-48388] [SC-171337][SQL] Corrigir o comportamento da instrução SET para scripts SQL
- [FAÍSCA-48743] [SC-170552][SQL][SS] MergingSessionIterator deve lidar melhor quando getStruct retorna null
- [FAÍSCA-48623] [15.x][SC-171322][CORE] Migrar logs do FileAppender para o log estruturado
- [FAÍSCA-36680] [DBRRM-1123] Reverter "[SC-170640][SQL] suporta opções de tabela dinâmica para Spark SQL"
-
[FAÍSCA-48841] [SC-170868][BEHAVE-83][SQL] Incluir
collationName
asql()
deCollate
- [FAÍSCA-48941] [SC-171703][PYTHON][ML] Substitua a invocação da API de leitura/gravação RDD pela API de leitura/gravação de Dataframe
- [FAÍSCA-48938] [SC-171577][PYTHON] Melhorar mensagens de erro ao registrar UDTFs Python
- [FAÍSCA-48350] [SC-171040][SQL] Introdução de exceções personalizadas para scripts SQL
-
[FAÍSCA-48907] [SC-171158][SQL] Fixe o valor
explicitTypes
emCOLLATION_MISMATCH.EXPLICIT
-
[FAÍSCA-48945] [SC-171658][PYTHON] Simplifique as funções regex com
lit
- [FAÍSCA-48944] [SC-171576][CONECTAR] Unifique a manipulação de esquema no formato JSON no Connect Server
- [FAÍSCA-48836] [SC-171569] Integrar esquema SQL com esquema/metadados de estado
- [FAÍSCA-48946] [SC-171504][SQL] NPE no método redact quando a sessão é nula
- [FAÍSCA-48921] [SC-171412][SQL] Os codificadores ScalaUDF na subconsulta devem ser resolvidos para MergeInto
- [FAÍSCA-45155] [SC-171048][CONECTAR] Adicionar documentos de API para o cliente JVM/Scala do Spark Connect
-
[FAÍSCA-48900] [SC-171319] Adicionar
reason
campo paracancelJobGroup
ecancelJobsWithTag
- [FAÍSCA-48865] [SC-171154][SQL] Adicionar função try_url_decode
-
[FAÍSCA-48851] [SC-170767][SQL] Alterar o valor de
SCHEMA_NOT_FOUND
denamespace
paracatalog.namespace
-
[FAÍSCA-48510] [SC-170893][2/2] Suporta API UDAF
toColumn
no Spark Connect -
[FAÍSCA-45190] [SC-171055][FAÍSCA-48897][PYTHON][CONECTAR] Tornar
from_xml
o esquema StructType de suporte -
[FAÍSCA-48930] [SC-171304][CORE] Redigir
awsAccessKeyId
incluindoaccesskey
padrão - [FAÍSCA-48909] [SC-171080][ML][MLLIB] Usa SparkSession sobre SparkContext ao escrever metadados
- [FAÍSCA-48883] [SC-171133][ML][R] Substitua a invocação da API de leitura/gravação RDD pela API de leitura/gravação de Dataframe
-
[FAÍSCA-48924] [SC-171313][PS] Adicionar uma função auxiliar semelhante
make_interval
a pandas -
[FAÍSCA-48884] [SC-171051][PYTHON] Remover função auxiliar não utilizada
PythonSQLUtils.makeInterval
- [FAÍSCA-48817] [SC-170636][SQL] Execute ansiosamente os comandos multi união juntos
- [FAÍSCA-48896] [SC-171079][ML][MLLIB] Evite a repartição ao escrever os metadados
-
[FAÍSCA-48892] [SC-171127][ML] Evite a leitura de param por linha
Tokenizer
-
[FAÍSCA-48927] [SC-171227][CORE] Mostrar o número de RDDs armazenados em cache em
StoragePage
- [FAÍSCA-48886] [15.x][Backport][SC-171039][SS] Adicione informações de versão ao changelog v2 para permitir uma evolução mais fácil
- [FAÍSCA-48903] [SC-171136][SS] Defina a última versão do último snapshot do RocksDB corretamente no carregamento remoto
- [FAÍSCA-48742] [SC-170538][SS] Família de colunas virtuais para RocksDB
- [FAÍSCA-48726] [15.x][SC-170753][SS] Crie o formato de arquivo StateSchemaV3 e escreva-o para o operador TransformWithStateExec
- [FAÍSCA-48794] [SC-170882][CONECTAR][15.x] Suporte df.mergeInto para Spark Connect (Scala e Python)
-
[FAÍSCA-48714] [SC-170136][PYTHON] Implementar
DataFrame.mergeInto
no PySpark - [FAÍSCA-48772] [SC-170642][SS][SQL] Fonte de Dados de Estado Alterar Modo de Leitor de Feed
- [FAÍSCA-48666] [SC-170887][SQL] Não empurre o filtro para baixo se ele contiver PythonUDFs
- [FAÍSCA-48845] [SC-170889][SQL] Exceções genéricas de captura de crianças
- [FAÍSCA-48880] [SC-170974][CORE] Evite lançar NullPointerException se o plug-in do driver falhar ao inicializar
- [FAÍSCA-48888] [Backport][15x][SC-170973][SS] Remover a criação de instantâneos com base no tamanho das operações do changelog
- [FAÍSCA-48871] [SC-170876] Corrigir INVALID_NON_DETERMINISTIC_EXPRESSIONS validação em...
- [FAÍSCA-48883] [SC-170894][ML][R] Substitua a invocação da API de leitura/gravação RDD pela API de leitura/gravação de Dataframe
- [FAÍSCA-36680] [SC-170640][SQL] Suporta opções de tabela dinâmica para Spark SQL
- [FAÍSCA-48804] [SC-170558][SQL] Add classIsLoadable & OutputCommitter.isAssignableFrom check for output committer class configrations
- [FAÍSCA-46738] [SC-170791][PYTHON] Reativar um grupo de doctests
-
[FAÍSCA-48858] [SC-170756][PYTHON] Remover chamada de método preterido
setDaemon
deThread
inlog_communication.py
- [FAÍSCA-48639] [SC-169801][CONECTAR][PYTHON] Adicionar origem a RelationCommon
- [FAÍSCA-48863] [SC-170770][ES-1133940][SQL] Corrija ClassCastException ao analisar JSON com "spark.sql.json.enablePartialResults" ativado
- [FAÍSCA-48343] [SC-170450][SQL] Introdução ao interpretador de scripts SQL
- [FAÍSCA-48529] [SC-170755][SQL] Introdução de rótulos em scripts SQL
- [FAÍSCA-45292] Reverter "[SC-151609][SQL][HIVE] Remover goiaba de classes compartilhadas de IsolatedClientLoader"
- [FAÍSCA-48037] [SC-165330][CORE][3.5] O Fix SortShuffleWriter não possui métricas relacionadas à escrita aleatória, resultando em dados potencialmente imprecisos
-
[FAÍSCA-48720] [SC-170551][SQL] Alinhar o comando
ALTER TABLE ... UNSET TBLPROPERTIES ...
em v1 e v2 - [FAÍSCA-48485] [SC-167825][CONECTAR][SS] Suporte interruptTag e interruptAll em consultas de streaming
- [FAÍSCA-45292] [SC-151609][SQL][VIH] Remover goiaba de classes compartilhadas de IsolatedClientLoader
- [FAÍSCA-48668] [SC-169815][SQL] Suporte ALTER NAMESPACE ... PROPRIEDADES NÃO DEFINIDAS na v2
- [FAÍSCA-47914] [SC-165313][SQL] Não exibir o parâmetro splits em Range
- [FAÍSCA-48807] [SC-170643][SQL] Suporte binário para fonte de dados CSV
- [FAÍSCA-48220] [SC-167592][PYTHON][15.X] Permitir a passagem da tabela PyArrow para createDataFrame()
- [FAÍSCA-48545] [SC-169543][SQL] Crie funções to_avro e from_avro SQL para corresponder aos equivalentes do DataFrame
- [FAÍSCA-47577] [SC-168875][FAÍSCA-47579] Corrigir o uso enganoso da chave de log TASK_ID
Suporte ao driver ODBC/JDBC do Databricks
O Databricks suporta drivers ODBC/JDBC lançados nos últimos 2 anos. Faça o download dos drivers lançados recentemente e atualize (baixe ODBC, baixe JDBC).
Ambiente do sistema
- Sistema Operacional: Ubuntu 24.04.1 LTS
- Java: Zulu17.50+19-CA
- Escala: 2.12.18
- Píton: 3.12.3
- R: 4.4.0
- Lago Delta: 3.2.1
Bibliotecas Python instaladas
Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
---|---|---|---|---|---|
tipos anotados | 0.7.0 | AstTokens | 2.0.5 | Astunparse | 1.6.3 |
Comando automático | 2.2.2 | azure-core | 1.31.0 | azure-storage-blob | 12.23.0 |
azure-storage-file-datalake | 12.17.0 | backports.tarfile | 1.2.0 | preto | 24.4.2 |
pisca-pisca | 1.7.0 | boto3 | 1.34.69 | botocore | 1.34.69 |
Ferramentas de cache | 5.3.3 | certifi | 2024.6.2 | cffi | 1.16.0 |
chardet | 4.0.0 | Normalizador de Charset | 2.0.4 | clicar | 8.1.7 |
Cloudpickle | 2.2.1 | Comm | 0.2.1 | contorno | 1.2.0 |
criptografia | 42.0.5 | cycler | 0.11.0 | Quisto | 3.0.11 |
Databricks-SDK | 0.30.0 | dbus-python | 1.3.2 | depuração | 1.6.7 |
decorador | 5.1.1 | Preterido | 1.2.14 | Distlib | 0.3.8 |
docstring-para-markdown | 0,11 | pontos de entrada | 0.4 | execução | 0.8.3 |
facetas-visão geral | 1.1.1 | filelock | 3.15.4 | Fonttools | 4.51.0 |
GitDB | 4.0.11 | GitPython | 3.1.37 | google-api-core | 2.20.0 |
Google-Auth | 2.35.0 | google-nuvem-core | 2.4.1 | google-nuvem-armazenamento | 2.18.2 |
Google-CRC32C | 1.6.0 | google-retomable-media | 2.7.2 | googleapis-comuns-protos | 1.65.0 |
Grpcio | 1.60.0 | grpcio-status | 1.60.0 | httplib2 | 0.20.4 |
idna | 3.7 | importlib-metadados | 6.0.0 | importlib_resources | 6.4.0 |
flexionar | 7.3.1 | ipyflow-núcleo | 0.0.198 | Ipykernel | 6.28.0 |
ipython | 8.25.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
Isodato | 0.6.1 | jaraco.contexto | 5.3.0 | jaraco.functools | 4.0.1 |
jaraco.texto | 3.12.1 | Jedi | 0.19.1 | jmespath | 1.0.1 |
Joblib | 1.4.2 | jupyter_client | 8.6.0 | jupyter_core | 5.7.2 |
Kiwisolver | 1.4.4 | launchpadlib | 1.11.0 | lazr.restfulclient | 0.14.6 |
lazr.uri | 1.0.6 | matplotlib | 3.8.4 | matplotlib-em linha | 0.1.6 |
Mccabe | 0.7.0 | mlflow-magro | 2.15.1 | mais-itertools | 10.3.0 |
mypy | 1.10.0 | mypy-extensões | 1.0.0 | Ninho-Asyncio | 1.6.0 |
nodeenv | 1.9.1 | numpy | 1.26.4 | OAuthlib | 3.2.2 |
OpenTelemetry-API | 1.27.0 | OpenTelemetry-SDK | 1.27.0 | OpenTelemetria-Semântica-Convenções | 0,48b0 |
embalagem | 24.1 | pandas | 1.5.3 | Parso | 0.8.3 |
PathSpec | 0.10.3 | patsy | 0.5.6 | pexpect | 4.8.0 |
travesseiro | 10.3.0 | pip | 24.2 | plataformadirs | 3.10.0 |
enredo | 5.22.0 | pluggy | 1.0.0 | prompt-toolkit | 3.0.43 |
Proto-Plus | 1.24.0 | protobuf | 4.24.1 | PSUTIL | 5.9.0 |
psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | puro-eval | 0.2.2 |
pyarrow | 15.0.2 | pyasn1 | 0.4.8 | pyasn1-módulos | 0.2.8 |
Pyccolo | 0.0.52 | pycparser | 2.21 | Pidântico | 2.8.2 |
pydantic_core | 2.20.1 | Pyflakes | 3.2.0 | Pygments | 2.15.1 |
PyGObject | 3.48.2 | PyJWT | 2.7.0 | Pyodbc | 5.0.1 |
pyparsing | 3.0.9 | Pyright | 1.1.294 | python-dateutil | 2.9.0.post0 |
python-lsp-jsonrpc | 1.1.2 | python-lsp-servidor | 1.10.0 | pytoolconfig | 1.2.6 |
pytz | 2024.1 | PyYAML | 6.0.1 | Pyzmq | 25.1.2 |
pedidos | 2.32.2 | corda | 1.12.0 | RSA | 4,9 |
s3transferir | 0.10.2 | scikit-learn | 1.4.2 | scipy | 1.13.1 |
seaborn | 0.13.2 | setuptools | 74.0.0 | seis | 1.16.0 |
smmap | 5.0.0 | SQLPARSE | 0.5.1 | ssh-import-id | 5.11 |
dados de pilha | 0.2.0 | statsmodels | 0.14.2 | tenacidade | 8.2.2 |
ThreadPoolCtl | 2.2.0 | tokenize-rt | 4.2.1 | Tomli | 2.0.1 |
tornado | 6.4.1 | traços | 5.14.3 | Protetor de Tipografia | 4.3.0 |
tipos-protobuf | 3.20.3 | tipos-psutil | 5.9.0 | tipos-pytz | 2023.3.1.1 |
tipos-PyYAML | 6.0.0 | tipos-pedidos | 2.31.0.0 | tipos-setuptools | 68.0.0.0 |
tipos-seis | 1.16.0 | tipos-urllib3 | 1.26.25.14 | typing_extensions | 4.11.0 |
Ujson | 5.10.0 | Upgrades autônomos | 0.1 | urllib3 | 1.26.16 |
virtualenv | 20.26.2 | wadllib | 1.3.6 | largura de wc | 0.2.5 |
whatthepatch | 1.0.2 | roda | 0.43.0 | embrulhado | 1.14.1 |
Yapf | 0.33.0 | zipp | | 3.17.0 |
Bibliotecas R instaladas
As bibliotecas R são instaladas a partir do instantâneo CRAN do Posit Package Manager.
Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
---|---|---|---|---|---|
seta | 16.1.0 | AskPass | 1.2.0 | asserçãoat | 0.2.1 |
backports | 1.5.0 | base | 4.4.0 | base64enc | 0.1-3 |
bigD | 0.2.0 | bit | 4.0.5 | bit64 | 4.0.5 |
bitops | 1.0-8 | blob | 1.2.4 | arranque | 1.3-30 |
brew | 1.0-10 | Brio | 1.1.5 | vassoura | 1.0.6 |
BSLIB | 0.8.0 | cachem | 1.1.0 | Chamador | 3.7.6 |
acento circunflexo | 6.0-94 | Cellranger | 1.1.0 | crono | 2.3-61 |
classe | 7.3-22 | cli | 3.6.3 | Clipr | 0.8.0 |
relógio | 0.7.1 | cluster | 2.1.6 | codetools | 0.2-20 |
espaço em cores | 2.1-1 | marca comum | 1.9.1 | compilador | 4.4.0 |
configuração | 0.3.2 | conflituosos | 1.2.0 | CPP11 | 0.4.7 |
lápis de cor | 1.5.3 | credenciais | 2.0.1 | curl | 5.2.1 |
data.table | 1.15.4 | conjuntos de dados | 4.4.0 | DBI | 1.2.3 |
DBPlyr | 2.5.0 | desc | 1.4.3 | devtools | 2.4.5 |
diagrama | 1.6.5 | diffobj | 0.3.5 | resumo | 0.6.36 |
Iluminação reduzida | 0.4.4 | dplyr | 1.1.4 | DTPlyr | 1.3.1 |
E1071 | 1.7-14 | reticências | 0.3.2 | evaluate | 0.24.0 |
Fãsi | 1.0.6 | Farver | 2.1.2 | mapa rápido | 1.2.0 |
fontawesome | 0.5.2 | FORCATS | 1.0.0 | foreach | 1.5.2 |
externa | 0.8-86 | forjar | 0.2.0 | FS | 1.6.4 |
Futuro | 1.34.0 | future.apply | 1.11.2 | gargarejo | 1.5.2 |
Genéricos | 0.1.3 | Gert | 2.1.0 | ggplot2 | 3.5.1 |
GH | 1.4.1 | git2r | 0.33.0 | gitcreds | 0.1.2 |
glmnet | 4.1-8 | Globais | 0.16.3 | colar | 1.7.0 |
GoogleDrive | 2.1.1 | googlesheets4 | 1.1.1 | gower | 1.0.1 |
gráficos | 4.4.0 | grDevices | 4.4.0 | grelha | 4.4.0 |
gridExtra | 2.3 | gsubfn | 0.7 | gt | 0.11.0 |
gtable | 0.3.5 | capacete | 1.4.0 | Refúgio | 2.5.4 |
mais alto | 0,11 | HMS | 1.1.3 | htmltools | 0.5.8.1 |
htmlwidgets | 1.6.4 | httpuv | 1.6.15 | httr | 1.4.7 |
HTTR2 | 1.0.2 | IDs | 1.0.1 | ini | 0.3.1 |
ipred | 0.9-15 | Isoband | 0.2.7 | iteradores | 1.0.14 |
jquerylib | 0.1.4 | jsonlite | 1.8.8 | suco suculento | 0.1.0 |
KernSmooth | 2.23-22 | Knitr | 1.48 | etiquetagem | 0.4.3 |
mais tarde | 1.3.2 | lattice | 0.22-5 | lava | 1.8.0 |
ciclo de vida | 1.0.4 | ouvirv | 0.9.1 | lubridate | 1.9.3 |
magrittr | 2.0.3 | Marcação | 1.13 | MASSA | 7.3-60.0.1 |
Matriz | 1.6-5 | memoise | 2.0.1 | métodos | 4.4.0 |
mgcv | 1.9-1 | mime | 0,12 | miniUI | 0.1.1.1 |
Mlflow | 2.14.1 | ModelMetrics | 1.2.2.2 | Modelador | 0.1.11 |
munsell | 0.5.1 | nlme | 3.1-165 | nnet | 7.3-19 |
numDeriv | 2016.8-1.1 | openssl | 2.2.0 | paralelo | 4.4.0 |
Paralelamente | 1.38.0 | pilar | 1.9.0 | pkgbuild | 1.4.4 |
pkgconfig | 2.0.3 | pkgdown | 2.1.0 | pkgload | 1.4.0 |
plogr | 0.2.0 | plyr | 1.8.9 | elogiar | 1.0.0 |
unidades bonitas | 1.2.0 | pROC | 1.18.5 | processx | 3.8.4 |
prodlim | 2024.06.25 | Profvis | 0.3.8 | Progresso | 1.2.3 |
progressor | 0.14.0 | promessas | 1.3.0 | proto | 1.0.0 |
procuração | 0.4-27 | PS | 1.7.7 | purrr | 1.0.2 |
R6 | 2.5.1 | RAGG | 1.3.2 | randomForest | 4.7-1.1 |
rappdirs | 0.3.3 | rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 |
Rcpp | 1.0.13 | RcppEigen | 0.3.4.0.0 | reactável | 0.4.4 |
reactR | 0.6.0 | Leitor | 2.1.5 | ReadXL | 1.4.3 |
receitas | 1.1.0 | revanche | 2.0.0 | revanche2 | 2.1.2 |
Controles remotos | 2.5.0 | Reprex | 2.1.1 | remodelar2 | 1.4.4 |
rlang | 1.1.4 | rmarkdown | 2.27 | RODBC | 1.3-23 |
roxygen2 | 7.3.2 | rpart | 4.1.23 | rprojroot | 2.0.4 |
Rserve | 1.8-13 | RSQLite | 2.3.7 | rstudioapi | 0.16.0 |
rversões | 2.1.2 | Rvest | 1.0.4 | Sass | 0.4.9 |
escalas | 1.3.0 | seletor | 0.4-2 | sessioninfo | 1.2.2 |
forma | 1.4.6.1 | brilhante | 1.9.1 | ferramentas de origem | 0.1.7-1 |
sparklyr | 1.8.6 | espacial | 7.3-17 | splines | 4.4.0 |
sqldf | 0.4-11 | QUADRADO | 2021.1 | estatísticas | 4.4.0 |
stats4 | 4.4.0 | stringi | 1.8.4 | stringr | 1.5.1 |
sobrevivência | 3.6-4 | swagger | 5.17.14.1 | sys | 3.4.2 |
fontes do sistema | 1.1.0 | tcltk | 4.4.0 | testeatat | 3.2.1.1 |
formatação de texto | 0.4.0 | tibble | 3.2.1 | tidyr | 1.3.1 |
tidyselect | 1.2.1 | Tidyverse | 2.0.0 | mudança de hora | 0.3.0 |
timeDate | 4032.109 | Tinytex | 0.52 | ferramentas | 4.4.0 |
TZDB | 0.4.0 | urlchecker | 1.0.1 | usethis | 3.0.0 |
UTF8 | 1.2.4 | utilitários | 4.4.0 | uuid | 1.2-1 |
V8 | 4.4.2 | VCTRS | 0.6.5 | viridisLite | 0.4.2 |
vroom | 1.6.5 | Waldo | 0.5.2 | whisker | 0.4.1 |
withr | 3.0.1 | xfun | 0,46 | xml2 | 1.3.6 |
xopen | 1.0.1 | xtable | 1.8-4 | yaml | 2.3.10 |
Zeallot | 0.1.0 | zip | 2.3.1 |
Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)
ID do Grupo | ID do Artefacto | Versão |
---|---|---|
antlr | antlr | 2.7.7 |
com.amazonaws | amazon-kinesis-client | 1.12.0 |
com.amazonaws | aws-java-sdk-autoscaling | 1.12.638 |
com.amazonaws | aws-java-sdk-cloudformation | 1.12.638 |
com.amazonaws | aws-java-sdk-cloudfront | 1.12.638 |
com.amazonaws | aws-java-sdk-cloudhsm | 1.12.638 |
com.amazonaws | aws-java-sdk-cloudsearch | 1.12.638 |
com.amazonaws | aws-java-sdk-cloudtrail | 1.12.638 |
com.amazonaws | aws-java-sdk-cloudwatch | 1.12.638 |
com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.638 |
com.amazonaws | aws-java-sdk-codedeploy | 1.12.638 |
com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.638 |
com.amazonaws | aws-java-sdk-cognitosync | 1.12.638 |
com.amazonaws | aws-java-sdk-config | 1.12.638 |
com.amazonaws | aws-java-sdk-core | 1.12.638 |
com.amazonaws | aws-java-sdk-datapipeline | 1.12.638 |
com.amazonaws | aws-java-sdk-directconnect | 1.12.638 |
com.amazonaws | aws-java-sdk-directory | 1.12.638 |
com.amazonaws | aws-java-sdk-dynamodb | 1.12.638 |
com.amazonaws | aws-java-sdk-ec2 | 1.12.638 |
com.amazonaws | aws-java-sdk-ecs | 1.12.638 |
com.amazonaws | aws-java-sdk-efs | 1.12.638 |
com.amazonaws | aws-java-sdk-elasticache | 1.12.638 |
com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.638 |
com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.638 |
com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.638 |
com.amazonaws | aws-java-sdk-emr | 1.12.638 |
com.amazonaws | aws-java-sdk-glacier | 1.12.638 |
com.amazonaws | aws-java-sdk-glue | 1.12.638 |
com.amazonaws | aws-java-sdk-iam | 1.12.638 |
com.amazonaws | aws-java-sdk-importexport | 1.12.638 |
com.amazonaws | aws-java-sdk-kinesis | 1.12.638 |
com.amazonaws | aws-java-sdk-kms | 1.12.638 |
com.amazonaws | aws-java-sdk-lambda | 1.12.638 |
com.amazonaws | aws-java-sdk-logs | 1.12.638 |
com.amazonaws | aws-java-sdk-machinelearning | 1.12.638 |
com.amazonaws | aws-java-sdk-opsworks | 1.12.638 |
com.amazonaws | aws-java-sdk-rds | 1.12.638 |
com.amazonaws | aws-java-sdk-redshift | 1.12.638 |
com.amazonaws | aws-java-sdk-route53 | 1.12.638 |
com.amazonaws | aws-java-sdk-s3 | 1.12.638 |
com.amazonaws | aws-java-sdk-ses | 1.12.638 |
com.amazonaws | aws-java-sdk-simpledb | 1.12.638 |
com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.638 |
com.amazonaws | aws-java-sdk-sns | 1.12.638 |
com.amazonaws | aws-java-sdk-sqs | 1.12.638 |
com.amazonaws | aws-java-sdk-ssm | 1.12.638 |
com.amazonaws | aws-java-sdk-storagegateway | 1.12.638 |
com.amazonaws | aws-java-sdk-sts | 1.12.638 |
com.amazonaws | aws-java-sdk-support | 1.12.638 |
com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
com.amazonaws | aws-java-sdk-workspaces | 1.12.638 |
com.amazonaws | jmespath-java | 1.12.638 |
com.clearspring.analytics | transmissão em fluxo | 2.9.6 |
com.databricks | Rserve | 1.8-3 |
com.databricks | databricks-sdk-java | 0.27.0 |
com.databricks | jets3t | 0.7.1-0 |
com.databricks.scalapb | scalapb-runtime_2,12 | 0.4.15-10 |
com.esotericsoftware | sombreado de kryo | 4.0.2 |
com.esotericsoftware | minlog | 1.3.0 |
com.fasterxml | colega de turma | 1.3.4 |
com.fasterxml.jackson.core | jackson-anotações | 2.15.2 |
com.fasterxml.jackson.core | jackson-core | 2.15.2 |
com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.15.2 |
com.fasterxml.jackson.dataformat | jackson-dataformat-yaml | 2.15.2 |
com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.15.2 |
com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.16.0 |
com.fasterxml.jackson.module | jackson-module-paranamer | 2.15.2 |
com.fasterxml.jackson.module | jackson-módulo-scala_2.12 | 2.15.2 |
com.github.ben-manes.cafeína | cafeína | 2.9.3 |
com.github.fommil | jniloader | 1.1 |
com.github.fommil.netlib | native_ref-java | 1.1 |
com.github.fommil.netlib | native_ref-java | 1.1-Nativos |
com.github.fommil.netlib | native_system-java | 1.1 |
com.github.fommil.netlib | native_system-java | 1.1-Nativos |
com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-Nativos |
com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1-Nativos |
com.github.luben | ZSTD-JNI | 1.5.5-4 |
com.github.wendykierp | JTransforms | 3.1 |
com.google.code.findbugs | jsr305 | 3.0.0 |
com.google.code.gson | gson | 2.10.1 |
com.google.crypto.tink | Tink | 1.9.0 |
com.google.errorprone | error_prone_annotations | 2.10.0 |
com.google.flatbuffers | flatbuffers-java | 23.5.26 |
com.google.guava | guava | 15.0 |
com.google.protobuf | protobuf-java | 3.25.1 |
com.helger | criador de perfil | 1.1.1 |
com.ibm.icu | ICU4J | 75.1 |
com.jcraft | jsch | 0.1.55 |
com.jolbox | bonecp | 0.8.0.RELEASE |
com.lihaoyi | sourcecode_2.12 | 0.1.9 |
com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
com.ning | compress-lzf | 1.1.2 |
com.sun.mail | javax.mail | 1.5.2 |
com.sun.xml.bind | JAXB-CORE | 2.2.11 |
com.sun.xml.bind | JAXB-IMPL | 2.2.11 |
com.tdunning | json | 1.8 |
com.thoughtworks.paranamer | paranamer | 2.8 |
com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
com.twitter | chill-java | 0.10.0 |
com.twitter | chill_2.12 | 0.10.0 |
com.twitter | util-app_2.12 | 7.1.0 |
com.twitter | util-core_2.12 | 7.1.0 |
com.twitter | util-function_2.12 | 7.1.0 |
com.twitter | util-jvm_2.12 | 7.1.0 |
com.twitter | util-lint_2.12 | 7.1.0 |
com.twitter | util-registry_2.12 | 7.1.0 |
com.twitter | util-stats_2.12 | 7.1.0 |
com.typesafe | configuração | 1.4.3 |
com.typesafe.scala-logging | Escala-logging_2.12 | 3.7.2 |
com.uber | h3 | 3.7.3 |
com.univocity | univocity-parsers | 2.9.1 |
com.zaxxer | HikariCP | 4.0.3 |
commons-cli | commons-cli | 1.5.0 |
commons-codec | commons-codec | 1.16.0 |
commons-collections | commons-collections | 3.2.2 |
commons-dbcp | commons-dbcp | 1.4 |
commons-fileupload | commons-fileupload | 1.5 |
commons-httpclient | commons-httpclient | 3.1 |
commons-io | commons-io | 2.13.0 |
commons-lang | commons-lang | 2.6 |
registo de comuns | registo de comuns | 1.1.3 |
commons-pool | commons-pool | 1.5.4 |
dev.ludovic.netlib | ARPACK | 3.0.3 |
dev.ludovic.netlib | Blas | 3.0.3 |
dev.ludovic.netlib | Lapack | | 3.0.3 |
info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
io.ponte aérea | compressor de ar | 0.27 |
IO.Delta | delta-compartilhamento-client_2.12 | 1.2.0 |
io.dropwizard.metrics | métricas-anotação | 4.2.19 |
io.dropwizard.metrics | metrics-core | 4.2.19 |
io.dropwizard.metrics | metrics-graphite | 4.2.19 |
io.dropwizard.metrics | metrics-healthchecks | 4.2.19 |
io.dropwizard.metrics | metrics-jetty9 | 4.2.19 |
io.dropwizard.metrics | métricas-jmx | 4.2.19 |
io.dropwizard.metrics | metrics-json | 4.2.19 |
io.dropwizard.metrics | metrics-jvm | 4.2.19 |
io.dropwizard.metrics | metrics-servlets | 4.2.19 |
io.netty | netty-all | 4.1.108.Final |
io.netty | netty-buffer | 4.1.108.Final |
io.netty | netty-codec | 4.1.108.Final |
io.netty | netty-codec-http | 4.1.108.Final |
io.netty | netty-codec-http2 | 4.1.108.Final |
io.netty | netty-codec-meias | 4.1.108.Final |
io.netty | netty-comum | 4.1.108.Final |
io.netty | netty-manipulador | 4.1.108.Final |
io.netty | netty-handler-proxy | 4.1.108.Final |
io.netty | netty-resolver | 4.1.108.Final |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-aarch_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-x86_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-aarch_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-x86_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Janelas finais x86_64 |
io.netty | netty-tcnative-classes | 2.0.61.Final |
io.netty | transporte de rede | 4.1.108.Final |
io.netty | netty-transport-classes-epoll | 4.1.108.Final |
io.netty | netty-transport-classes-kqueue | 4.1.108.Final |
io.netty | netty-transport-native-epoll | 4.1.108.Final |
io.netty | netty-transport-native-epoll | 4.1.108.Final-linux-aarch_64 |
io.netty | netty-transport-native-epoll | 4.1.108.Final-linux-riscv64 |
io.netty | netty-transport-native-epoll | 4.1.108.Final-linux-x86_64 |
io.netty | netty-transport-nativo-kqueue | 4.1.108.Final-osx-aarch_64 |
io.netty | netty-transport-nativo-kqueue | 4.1.108.Final-osx-x86_64 |
io.netty | netty-transport-nativo-unix-comum | 4.1.108.Final |
io.prometheus | simpleclient | 0.7.0 |
io.prometheus | simpleclient_common | 0.7.0 |
io.prometheus | simpleclient_dropwizard | 0.7.0 |
io.prometheus | simpleclient_pushgateway | 0.7.0 |
io.prometheus | simpleclient_servlet | 0.7.0 |
io.prometheus.jmx | recoletor | 0.12.0 |
jacarta.anotação | Jacarta.Anotação-API | 1.3.5 |
jacarta.servlet | jacarta.servlet-api | 4.0.3 |
jacarta.validação | Jacarta.validation-api | 2.0.2 |
jakarta.ws.rs | Jacarta.ws.rs-api | 2.1.6 |
javax.activation | ativação | 1.1.1 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.transaction | jta | 1.1 |
javax.transaction | API de transação | 1.1 |
javax.xml.bind | jaxb-api | 2.2.11 |
javolution | javolution | 5.5.1 |
jline | jline | 2.14.6 |
joda-time | joda-time | 2.12.1 |
net.java.dev.jna | JNA | 5.8.0 |
net.razorvine | picles | 1.3 |
net.sf.jpam | jpam | 1.1 |
net.sf.opencsv | opencsv | 2.3 |
net.sf.supercsv | super-csv | 2.2.0 |
net.floco de neve | flocos de neve-ingestão-sdk | 0.9.6 |
net.sourceforge.f2j | arpack_combined_all | 0.1 |
org.acplt.remotetea | Remotetea-oncrpc | 1.1.2 |
org.antlr | ST4 | 4.0.4 |
org.antlr | antlr-runtime | 3.5.2 |
org.antlr | antlr4-runtime | 4.9.3 |
org.antlr | stringtemplate | 3.2.1 |
org.apache.ant | formiga | 1.10.11 |
org.apache.ant | ant-jsch | 1.10.11 |
org.apache.ant | ant-launcher | 1.10.11 |
org.apache.arrow | formato de seta | 15.0.0 |
org.apache.arrow | seta-memória-núcleo | 15.0.0 |
org.apache.arrow | seta-memória-netty | 15.0.0 |
org.apache.arrow | vetor de seta | 15.0.0 |
org.apache.avro | avro | 1.11.3 |
org.apache.avro | avro-ipc | 1.11.3 |
org.apache.avro | avro-mapeado | 1.11.3 |
org.apache.commons | colecções-commons4 | 4.4 |
org.apache.commons | commons-compress | 1.23.0 |
org.apache.commons | commons-crypto | 1.1.0 |
org.apache.commons | commons-lang3 | 3.12.0 |
org.apache.commons | commons-math3 | 3.6.1 |
org.apache.commons | commons-texto | 1.10.0 |
org.apache.curator | curador-cliente | 2.13.0 |
org.apache.curator | curador-framework | 2.13.0 |
org.apache.curator | curador-receitas | 2.13.0 |
org.apache.datasketches | Datasketches-Java | 3.1.0 |
org.apache.datasketches | datasketches-memória | 2.0.0 |
org.apache.derby | derby | 10.14.2.0 |
org.apache.hadoop | hadoop-client-runtime | 3.3.6 |
org.apache.hive | hive-beeline | 2.3.9 |
org.apache.hive | hive-cli | 2.3.9 |
org.apache.hive | hive-jdbc | 2.3.9 |
org.apache.hive | hive-llap-cliente | 2.3.9 |
org.apache.hive | colmeia-lamp-comum | 2.3.9 |
org.apache.hive | Colmeia-Serde | 2.3.9 |
org.apache.hive | colmeias-calços | 2.3.9 |
org.apache.hive | hive-storage-api | 2.8.1 |
org.apache.hive.shims | colmeia-calços-0,23 | 2.3.9 |
org.apache.hive.shims | colmeia-calços-comum | 2.3.9 |
org.apache.hive.shims | colmeia-shims-scheduler | 2.3.9 |
org.apache.httpcomponents | httpclient | 4.5.14 |
org.apache.httpcomponents | httpcore | 4.4.16 |
org.apache.ivy | hera | 2.5.2 |
org.apache.logging.log4j | log4j-1.2-api | 2.22.1 |
org.apache.logging.log4j | log4j-api | 2.22.1 |
org.apache.logging.log4j | log4j-core | 2.22.1 |
org.apache.logging.log4j | log4j-layout-modelo-json | 2.22.1 |
org.apache.logging.log4j | log4j-slf4j2-impl | 2.22.1 |
org.apache.orc | orc-núcleo | 1.9.2-protobuf sombreado |
org.apache.orc | orc-mapreduce | 1.9.2-protobuf sombreado |
org.apache.orc | Orc-calços | 1.9.2 |
org.apache.thrift | libfb303 | 0.9.3 |
org.apache.thrift | libthrift | 0.12.0 |
org.apache.ws.xmlschema | xmlschema-core | 2.3.0 |
org.apache.xbean | xbean-asm9-sombreado | 4.23 |
org.apache.yetus | anotações de audiência | 0.13.0 |
org.apache.zookeeper | zookeeper | 3.9.2 |
org.apache.zookeeper | zookeeper-juta | 3.9.2 |
org.checkerframework | verificador-qual | 3.31.0 |
org.codehaus.jackson | jackson-core-asl | 1.9.13 |
org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
org.codehaus.janino | commons-compiler | 3.0.16 |
org.codehaus.janino | janino | 3.0.16 |
org.datanucleus | datanucleus-api-jdo | 4.2.4 |
org.datanucleus | datanucleus-core | 4.1.17 |
org.datanucleus | datanucleus-rdbms | 4.1.19 |
org.datanucleus | javax.jdo | 3.2.0-m3 |
org.eclipse.collections | eclipse-coleções | 11.1.0 |
org.eclipse.collections | eclipse-collections-api | 11.1.0 |
org.eclipse.jetty | jetty-client | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-continuation | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-http | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-io | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-jndi | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-plus | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-proxy | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-security | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-server | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-servlet | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-servlets | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-util | 9.4.52.v20230823 |
org.eclipse.jetty | cais-util-ajax | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-webapp | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-xml | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | API WebSocket | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | Websocket-cliente | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | Websocket-Comum | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | servidor websocket | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | Websocket-servlet | 9.4.52.v20230823 |
org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
org.glassfish.hk2 | hk2-api | 2.6.1 |
org.glassfish.hk2 | localizador hk2 | 2.6.1 |
org.glassfish.hk2 | hk2-utils | 2.6.1 |
org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
org.glassfish.hk2.external | jacarta.inject | 2.6.1 |
org.glassfish.jersey.containers | jersey-container-servlet | 2.40 |
org.glassfish.jersey.containers | jersey-container-servlet-core | 2.40 |
org.glassfish.jersey.core | jersey-client | 2.40 |
org.glassfish.jersey.core | jersey-common | 2.40 |
org.glassfish.jersey.core | servidor de jersey | 2.40 |
org.glassfish.jersey.inject | Jersey-HK2 | 2.40 |
org.hibernate.validator | hibernate-validator | 6.1.7.Final |
org.ini4j | ini4j | 0.5.4 |
org.javassist | javassist | 3.29.2-GA |
org.jboss.logging | jboss-logging | 3.3.2.Final |
org.jdbi | jdbi | 2.63.1 |
org.jetbrains | anotações | 17.0.0 |
org.joda | joda-convert | 1.7 |
org.jodd | jodd-core | 3.5.2 |
org.json4s | JSON4S-ast_2.12 | 3.7.0-M11 |
org.json4s | JSON4S-core_2.12 | 3.7.0-M11 |
org.json4s | JSON4S-jackson_2,12 | 3.7.0-M11 |
org.json4s | JSON4S-scalap_2.12 | 3.7.0-M11 |
org.lz4 | LZ4-Java | 1.8.0 |
org.mlflow | mlflow-spark_2,12 | 2.9.1 |
org.objenesis | objenesis | 2.5.1 |
org.postgresql | postgresql | 42.6.1 |
org.roaringbitmap | RoaringBitmap | 0.9.45-databricks |
org.roaringbitmap | calços | 0.9.45-databricks |
org.rocksdb | rocksdbjni | 9.2.1 |
org.rosuda.REngine | REngine | 2.1.0 |
org.scala-lang | Escala-compiler_2.12 | 2.12.15 |
org.scala-lang | Escala-library_2.12 | 2.12.15 |
org.scala-lang | Escala-reflect_2,12 | 2.12.15 |
org.scala-lang.modules | scala-coleção-compat_2.12 | 2.11.0 |
org.scala-lang.modules | scala-java8-compat_2.12 | 0.9.1 |
org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
org.scala-lang.modules | Escala-xml_2.12 | 1.2.0 |
org.scala-sbt | interface de teste | 1.0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.2.16 |
org.scalanlp | Brisa-macros_2.12 | 2.1.0 |
org.scalanlp | breeze_2.12 | 2.1.0 |
org.scalatest | compatível com scalatest | 3.2.16 |
org.scalatest | scalatest-core_2.12 | 3.2.16 |
org.scalatest | scalatest-diagrams_2.12 | 3.2.16 |
org.scalatest | scalatest-featurespec_2.12 | 3.2.16 |
org.scalatest | scalatest-flatspec_2.12 | 3.2.16 |
org.scalatest | scalatest-freespec_2.12 | 3.2.16 |
org.scalatest | scalatest-funspec_2.12 | 3.2.16 |
org.scalatest | scalatest-funsuite_2.12 | 3.2.16 |
org.scalatest | scalatest-matchers-core_2.12 | 3.2.16 |
org.scalatest | scalatest-mustmatchers_2.12 | 3.2.16 |
org.scalatest | scalatest-propspec_2.12 | 3.2.16 |
org.scalatest | scalatest-refspec_2.12 | 3.2.16 |
org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.16 |
org.scalatest | scalatest-wordspec_2.12 | 3.2.16 |
org.scalatest | scalatest_2.12 | 3.2.16 |
org.slf4j | jcl-over-slf4j | 2.0.7 |
org.slf4j | jul-to-slf4j | 2.0.7 |
org.slf4j | slf4j-api | 2.0.7 |
org.slf4j | SLF4J-Simples | 1.7.25 |
org.threeten | trêsdez-extra | 1.7.1 |
org.tukaani | xz | 1.9 |
org.typelevel | algebra_2.12 | 2.0.1 |
org.typelevel | gatos-kernel_2.12 | 2.1.1 |
org.typelevel | torre-macros_2.12 | 0.17.0 |
org.typelevel | torre-platform_2.12 | 0.17.0 |
org.typelevel | torre-util_2.12 | 0.17.0 |
org.typelevel | spire_2.12 | 0.17.0 |
org.wildfly.openssl | mosca-selvagem-openssl | 1.1.3.Final |
org.xerial | sqlite-jdbc | 3.42.0.0 |
org.xerial.snappy | snappy-java | 1.1.10.3 |
org.yaml | snakeyaml | 2.0 |
oro | oro | 2.0.8 |
pl.edu.icm | JLargeArrays | 1.5 |
software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.2-linux-x86_64 |
stax | stax-api | 1.0.1 |