Databricks Runtime 16.0

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 16.0, da plataforma Apache Spark 3.5.0.

O Databricks lançou essa versão em novembro de 2024.

Alterações comportamentais

• Alteração significativa: JDK 17 agora é o padrão
• Alteração significativa: o RStudio hospedado está no fim da vida útil
• Alteração significativa: Remoção do suporte para alterar byte, short, int e tipos long para tipos mais amplos
• Análise correta de padrões regex com negação no agrupamento de caracteres aninhados
• Melhorar a detecção de correspondência duplicada no Delta Lake MERGE
• O método de instalação da biblioteca de clusters não pode mais ser substituído
• Tempo limite padrão de duas horas para instalações de biblioteca no escopo do cluster
• A instalação de bibliotecas do DBFS e a configuração da configuração do spark conf spark.databricks.driver.dbfsLibraryInstallationAllowed estão desabilitadas
• A addArtifact() funcionalidade agora é consistente em todos os tipos de computação

Alteração significativa: JDK 17 agora é o padrão

No Databricks Runtime 16.0 e superior, a versão padrão do JDK é alternada do JDK 8 para o JDK 17. Essa alteração é feita devido à descontinuação planejada e ao fim do suporte para o JDK 8. Isso afeta o seguinte:

• O código Java em execução na computação do Azure Databricks deve ser compatível com o Java 17.
• O código Scala em execução em notebooks ou na computação do Azure Databricks deve ser compatível com o Java 17.
• As bibliotecas Java e Scala instaladas na computação devem ser compatíveis com o Java 17.
• Versões do cliente de metastore do Apache Hive abaixo de 2.x. Definir a configuração spark.sql.hive.metastore.version do Spark para uma versão inferior a 2.x causará problemas de compatibilidade com o Java 17 e falhas de conexão com o metastore do Hive. O Databricks recomenda atualizar o Hive para uma versão acima de 2.0.0.

Se você precisar reverter para o Java 8, adicione o seguinte às variáveis de ambiente do Spark ao configurar a computação do Azure Databricks:

JNAME=zulu8-ca-amd64

Se você estiver usando instâncias do ARM, use o seguinte:

JNAME=zulu8-ca-arm64

Para saber mais sobre como especificar versões do JDK com a computação do Azure Databricks, confira Criar um cluster que usa o JDK 17.

Para obter ajuda com a migração do código do Java 8, consulte os seguintes guias:

• Transição do Java 8 para o Java 11
• Migrando do JDK 8 para versões posteriores do JDK

Alteração significativa: o RStudio hospedado está no fim da vida útil

Com esta versão, o RStudio Server hospedado pelo Databricks está no fim da vida útil e indisponível em qualquer workspace do Azure Databricks que executa o Databricks Runtime 16.0 e superior. Para saber mais e ver uma lista de alternativas ao RStudio, consulte Substituição do RStudio Server hospedado.

Alteração significativa: Remoção do suporte para alterar byte, short, int e tipos long para tipos mais amplos

No Databricks Runtime 15.4.3 e superior, as seguintes alterações de tipo de dados não podem mais ser aplicadas a tabelas com o recurso de alargamento de tipo habilitado:

• byte, shorte int long para decimal.
• byte, shorte int para double.

Essa alteração é feita para garantir um comportamento consistente nas tabelas Delta e Iceberg. Para saber mais sobre a ampliação de tipo, consulte Ampliação de tipo.

Análise correta de padrões regex com negação no agrupamento de caracteres aninhados

Esta versão inclui uma alteração para dar suporte à análise correta de padrões regex com negação no agrupamento de caracteres aninhados. Por exemplo, [^[abc]] será analisado como "qualquer caractere que NÃO seja um de 'abc'".

Além disso, o comportamento do Photon era inconsistente com o Spark para classes de caracteres aninhados. Os padrões Regex contendo classes de caracteres aninhados não usarão mais o Photon e, em vez disso, usarão o Spark. Uma classe de caracteres aninhada é qualquer padrão que contenha colchetes entre colchetes, como [[a-c][1-3]].

Melhorar a detecção de correspondência duplicada no Delta Lake MERGE

No Databricks Runtime 15.4 LTS e inferior, MERGE as operações falharão se mais de uma linha na tabela de origem corresponder à mesma linha na tabela de destino com base na MERGE condição especificada na ON cláusula. No Databricks Runtime 16.0 e superior, MERGE também considera as condições especificadas na WHEN MATCHED cláusula. Confira Executar upsert em uma tabela do Delta Lake usando mesclagem.

O método de instalação da biblioteca de clusters não pode mais ser substituído

As configurações do spark.databricks.libraries.enableSparkPyPISpark , spark.databricks.libraries.enableMavenResolutione spark.databricks.libraries.enableCRANResolutionnow agora são padrão e true não podem ser substituídas.

Tempo limite padrão de duas horas para instalações de biblioteca no escopo do cluster

No Databricks Runtime 16.0 e superior, a instalação da biblioteca com escopo de cluster tem um tempo limite padrão de duas horas. As instalações da biblioteca que demorarem mais do que esse tempo limite falharão e a instalação será encerrada. Ao configurar um cluster, você pode alterar o período de tempo limite usando a configuração spark.databricks.driver.clusterLibraryInstallationTimeoutSecdo Spark.

A instalação de bibliotecas do DBFS e a configuração da configuração do spark conf spark.databricks.driver.dbfsLibraryInstallationAllowed estão desabilitadas

No Databricks Runtime 16.0 e superior, a instalação de bibliotecas do DBFS está totalmente desabilitada. Essa alteração é feita para melhorar a segurança das bibliotecas em um workspace do Databricks. Além disso, no Databricks Runtime 16.0 e superior, você não pode mais usar a configuração spark.databricks.driver.dbfsLibraryInstallationAlloweddo Spark.

A addArtifact() funcionalidade agora é consistente em todos os tipos de computação

Com esta versão, o arquivo morto é descompactado automaticamente quando você usa addArtifact(archive = True) para adicionar uma dependência à computação compartilhada ou sem servidor do Azure Databricks. Essa alteração torna o comportamento 'addArtifact(archive = True) nesses tipos de computação consistente com a computação de usuário único, que já dá suporte ao descompactação automática de arquivos.

Novos recursos e aprimoramentos

• Recarregamento mais confiável de módulos Python modificados com melhorias para autoreload
• Suporte Avro para esquema recursivo
• Suporte expandido para Confluent Schema Registry for Avro
• Forçar reclustering em tabelas com clustering líquido
• As APIs Delta para Python e Scala agora oferecem suporte a colunas de identidade
• O controle de acesso refinado na computação de usuário único está disponível para o público geral
• Criar tabelas agrupadas líquidas durante gravações de streaming
• Suporte para a cláusula OPTIMIZE FULL
• Suporte para especificação de opções WITH em INSERT e referência de tabela
• Novas funções SQL
• Habilitar a evolução automática do esquema ao mesclar dados em uma tabela Delta

Recarregamento mais confiável de módulos Python modificados com melhorias para autoreload

No Databricks Runtime 16.0 e superior, as atualizações da autoreload extensão melhoram a segurança e a confiabilidade do recarregamento de módulos Python modificados importados de arquivos de workspace. Com essas alterações, autoreloado , quando possível, recarrega apenas a parte de um módulo que foi alterada em vez de todo o módulo. Além disso, o Azure Databricks agora sugere automaticamente o uso da autoreload extensão se o módulo tiver sido alterado desde sua última importação. Consulte Recarregamento automático para módulos Python.

Suporte Avro para esquema recursivo

Agora você pode usar a recursiveFieldMaxDepth opção com a from_avro função e a avro fonte de dados. Essa opção define a profundidade máxima para a recursão de esquema na fonte de dados Avro. Confira Ler e gravar dados de streaming do Avro.

Suporte expandido para Confluent Schema Registry for Avro

O Azure Databricks agora dá suporte à referência de esquema Avro com o Registro de Esquema Confluente. Consulte Autenticar em um Registro de Esquema Confluente externo.

Forçar reclustering em tabelas com clustering líquido

No Databricks Runtime 16.0 e superior, você pode usar a OPTIMIZE FULL sintaxe para forçar o reclustering de todos os registros em uma tabela com clustering líquido habilitado. Consulte Forçar reclustering para todos os registros.

As APIs Delta para Python e Scala agora oferecem suporte a colunas de identidade

Agora você pode usar as APIs Delta para Python e Scala para criar tabelas com colunas de identidade. Consulte Usar colunas de identidade no Delta Lake.

O controle de acesso refinado na computação de usuário único está disponível para o público geral

No Databricks Runtime 16.0 e superior, o controle de acesso refinado na computação de usuário único está disponível para o público geral. Em workspaces habilitados para computação sem servidor, se uma consulta for executada em computação com suporte, como computação de usuário único, e a consulta acessar qualquer um dos seguintes objetos, o recurso de computação passará a consulta para a computação sem servidor para executar a filtragem de dados:

• Exibições definidas sobre tabelas nas quais o usuário não tem o privilégio SELECT.
• Visualizações dinâmicas.
• Tabelas com filtros de linha ou máscaras de coluna aplicadas.
• Exibições materializadas e tabelas de streaming.

Criar tabelas agrupadas líquidas durante gravações de streaming

Agora você pode usar clusterBy para habilitar o clustering líquido ao criar novas tabelas com gravações de Streaming Estruturado. Consulte Habilitar o clustering líquido.

Suporte para a cláusula OPTIMIZE FULL

O Databricks Runtime 16.0 dá suporte à cláusula OPTIMIZE FULL . Essa cláusula otimiza todos os registros em uma tabela que usa clustering líquido, incluindo dados que podem ter sido agrupados anteriormente.

Suporte para especificação de opções WITH em INSERT e referência de tabela

O Databricks Runtime 16.0 dá suporte a uma especificação de opções para referências de tabela e nomes de tabela de uma INSERT instrução que pode ser usada para controlar o comportamento das fontes de dados.

Novas funções SQL

As seguintes funções SQL são adicionadas no Databricks Runtime 16.0:

• try_url_decode

  Essa função é uma versão tolerante a erros do url_decode. Essa função retornará NULL se a entrada não for uma cadeia de caracteres codificada em URL válida.

• zeroifnull

  Se a expressão de entrada para a zeroifnull() função for NULL, a função retornará 0. Caso contrário, o valor da expressão de entrada será retornado.

• nullifzero

  Retorna NULL se a entrada for 0 ou sua entrada se não for 0. Se a expressão de entrada para a nullifzero() função for 0, a função retornará NULL. Se a expressão de entrada não for 0, o valor da expressão de entrada será retornado

Habilitar a evolução automática do esquema ao mesclar dados em uma tabela Delta

Esta versão adiciona suporte para o withSchemaEvolution() membro da DeltaMergeBuilder classe. Use withSchemaEvolution() para habilitar a evolução automática do esquema durante MERGE as operações. Por exemplo, mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}}.

Outras alterações

O SparkR agora está obsoleto

No Databricks Runtime 16.0 e superior, o SparkR no Databricks foi preterido em preparação para sua substituição na próxima versão do Spark 4. Consulte o thread do Apache Spark para substituir o SparkR.

O Databricks recomenda usar o sparklyr .

Não há suporte para o Databricks Runtime 16.0 com PVC

O Databricks Runtime 16.0 não é compatível com a PVC (Nuvem Virtual Privada) do Databricks. Você deve usar o Databricks Runtime 15.4 ou inferior com todas as versões do PVC.

Correções de bug

O Carregador Automático agora resgata tipos de registro Avro com esquemas vazios

Ao carregar um arquivo Avro em uma tabela Delta usando o Carregador Automático, record os tipos no arquivo que têm um esquema vazio agora são adicionados à coluna de dados resgatados. Como você não pode ingerir tipos de dados complexos vazios em uma tabela Delta, isso resolve um problema com o carregamento de alguns arquivos Avro. Para saber mais sobre dados resgatados, consulte O que é a coluna de dados resgatados?.

Correção de erro ao gravar carimbos de data/hora com fusos horários contendo um segundo deslocamento.

Esta versão corrige um bug que afeta alguns carimbos de data/hora com fusos horários contendo um segundo deslocamento. Esse bug faz com que os segundos sejam omitidos ao gravar em JSON, XML ou CSV, levando a valores incorretos de carimbo de data/hora.

Para retornar ao comportamento anterior, use a seguinte opção ao gravar em um dos formatos afetados: .option("yyyy-MM-dd'T'HH:mm:ss[.SSS][XXX]").

Atualizações da biblioteca

• Bibliotecas do Python atualizadas:
  • azure-core de 1.30.2 para 1.31.0
  • azure-storage-blob de 12.19.1 para 12.23.0
  • azure-storage-file-datalake de 12.14.0 para 12.17.0
  • preto de 23.3.0 a 24.4.2
  • pisca-pisca de 1.4 para 1.7.0
  • boto3 de 1.34.39 para 1.34.69
  • botocore de 1.34.39 para 1.34.69
  • Certificado de 22/7/2023 a 2024/6/2
  • CFFI de 1.15.1 para 1.16.0
  • clique de 8.0.4 para 8.1.7
  • comunicação de 0.1.2 a 0.2.1
  • Contourpy de 1.0.5 para 1.2.0
  • criptografia de 41.0.3 a 42.0.5
  • Cython de 0.29.32 para 3.0.11
  • databricks-sdk de 0.20.0 para 0.30.0
  • dbus-python de 1.2.18 para 1.3.2
  • filelock de 3.13.4 para 3.15.4
  • fonttools de 4.25.0 a 4.51.0
  • GitPython de 3.1.43 para 3.1.37
  • google-api-core de 2.18.0 para 2.20.0
  • google-auth de 2.31.0 para 2.35.0
  • google-cloud-storage de 2.17.0 para 2.18.2
  • google-crc32c de 1.5.0 para 1.6.0
  • google-resumable-media de 2.7.1 para 2.7.2
  • googleapis-common-protos da versão 1.63.2 para a versão 1.65.0
  • httplib2 de 0.20.2 para 0.20.4
  • IDNA de 3,4 para 3,7
  • ipykernel de 6.25.1 para 6.28.0
  • ipython de 8.15.0 para 8.25.0
  • Jedi de 0.18.1 para 0.19.1
  • jmespath de 0.10.0 para 1.0.1
  • joblib de 1.2.0 para 1.4.2
  • jupyter_client de 7.4.9 para 8.6.0
  • jupyter_core de 5.3.0 a 5.7.2
  • launchpadlib de 1.10.16 para 1.11.0
  • lazr.restfulclient de 0.14.4 para 0.14.6
  • matplotlib de 3.7.2 para 3.8.4
  • mlflow-skinny de 2.11.4 para 2.15.1
  • more-itertools de 8.10.0 para 10.3.0
  • mypy-extensions de 0.4.3 para 1.0.0
  • nest-asyncio de 1.5.6 para 1.6.0
  • numpy de 1.23.5 para 1.26.4
  • oauthlib de 3.2.0 para 3.2.2
  • embalagem de 23.2 a 24.1
  • Patsy de 0.5.3 para 0.5.6
  • pip de 23.2.1 para 24.2
  • plotly de 5.9.0 para 5.22.0
  • prompt-toolkit de 3.0.36 para 3.0.43
  • Pyarrow de 14.0.1 para 15.0.2
  • pydantic de 1.10.6 para 2.8.2
  • PyGObject de 3.42.1 para 3.48.2
  • PyJWT de 2.3.0 para 2.7.0
  • pyodbc de 4.0.38 para 5.0.1
  • python-dateutil de 2.8.2 para 2.9.0.post0
  • python-lsp-jsonrpc de 1.1.1 para 1.1.2
  • pytz de 2022.7 a 2024.1
  • PyYAML de 6.0 para 6.0.1
  • pyzmq de 23.2.0 para 25.1.2
  • solicitações de 2.31.0 a 2.32.2
  • scikit-learn de 1.3.0 a 1.4.2
  • scipy de 1.11.1 para 1.13.1
  • seaborn de 0.12.2 para 0.13.2
  • setuptools de 68.0.0 para 74.0.0
  • SMMAP de 5.0.1 para 5.0.0
  • sqlparse de 0.5.0 para 0.5.1
  • statsmodels de 0.14.0 para 0.14.2
  • tornado de 6.3.2 para 6.4.1
  • traços de 5.7.1 a 5.14.3
  • typing_extensions de 4.10.0 para 4.11.0
  • ujson de 5.4.0 para 5.10.0
  • virtualenv de 20.24.2 para 20.26.2
  • roda de 0.38.4 para 0.43.0
  • zipp de 3.11.0 para 3.17.0
• Bibliotecas do R atualizadas:
  • seta de 14.0.0.2 para 16.1.0
  • backports de 1.4.1 para 1.5.0
  • base de 4.3.2 para 4.4.0
  • bitops de 1,0-7 a 1,0-8
  • inicialização de 1.3-28 para 1.3-30
  • brio de 1.1.4 para 1.1.5
  • vassoura de 1.0.5 para 1.0.6
  • bslib de 0.6.1 para 0.8.0
  • cachem de 1.0.8 para 1.1.0
  • chamador de 3.7.3 para 3.7.6
  • CLI de 3.6.2 para 3.6.3
  • relógio de 0.7.0 para 0.7.1
  • cluster de 2.1.4 para 2.1.6
  • CodeTools de 0,2-19 a 0,2-20
  • colorspace de 2.1-0 para 2.1-1
  • compilador de 4.3.2 para 4.4.0
  • giz de cera de 1.5.2 para 1.5.3
  • curl de 5.2.0 para 5.2.1
  • data.table de 1.15.0 a 1.15.4
  • conjuntos de dados de 4.3.2 a 4.4.0
  • DBI de 1.2.1 a 1.2.3
  • dbplyr de 2.4.0 para 2.5.0
  • resumo de 0.6.34 a 0.6.36
  • downlit de 0.4.3 para 0.4.4
  • avaliar de 0,23 a 0,24,0
  • farver de 2.1.1 a 2.1.2
  • Mapa rápido de 1.1.1 para 1.2.0
  • estrangeiro de 0,8-85 a 0,8-86
  • fs de 1.6.3 para 1.6.4
  • futuro de 1.33.1 para 1.34.0
  • future.apply de 1.11.1 a 1.11.2
  • gert de 2.0.1 para 2.1.0
  • ggplot2 de 3.4.4 para 3.5.1
  • gh de 1.4.0 para 1.4.1
  • globais de 0.16.2 a 0.16.3
  • gráficos de 4.3.2 a 4.4.0
  • grDevices de 4.3.2 a 4.4.0
  • grade de 4.3.2 para 4.4.0
  • gt de 0.10.1 a 0.11.0
  • gtable de 0.3.4 a 0.3.5
  • capacete de segurança de 1.3.1 para 1.4.0
  • mais alto de 0,10 para 0,11
  • htmltools de 0.5.7 para 0.5.8.1
  • httpuv de 1.6.14 para 1.6.15
  • httr2 de 1.0.0 para 1.0.2
  • IPRED de 0,9-14 a 0,9-15
  • KernSmooth de 2,23-21 a 2,23-22
  • knitr de 1,45 para 1,48
  • treliça de 0,21-8 a 0,22-5
  • lava de 1.7.3 para 1.8.0
  • remarcação de 1,12 para 1,13
  • MASS de 7,3-60 a 7,3-60.0.1
  • Matriz de 1,5-4,1 a 1,6-5
  • métodos de 4.3.2 a 4.4.0
  • mgcv de 1,8-42 para 1,9-1
  • mlflow de 2.10.0 para 2.14.1
  • munsell de 0.5.0 para 0.5.1
  • nlme de 3,1-163 a 3,1-165
  • openssl de 2.1.1 para 2.2.0
  • paralelo de 4.3.2 a 4.4.0
  • paralelamente de 1.36.0 a 1.38.0
  • pkgbuild de 1.4.3 para 1.4.4
  • pkgdown de 2.0.7 para 2.1.0
  • pkgload de 1.3.4 para 1.4.0
  • processx de 3.8.3 para 3.8.4
  • Prodlim de 2023.08.28 a 2024.06.25
  • Promessas de 1.2.1 a 1.3.0
  • ps de 1.7.6 para 1.7.7
  • ragg de 1.2.7 para 1.3.2
  • Rcpp de 1.0.12 para 1.0.13
  • RcppEigen de 0.3.3.9.4 para 0.3.4.0.0
  • reactR de 0.5.0 para 0.6.0
  • receitas de 1.0.9 a 1.1.0
  • remotos de 2.4.2.1 a 2.5.0
  • reprex de 2.1.0 para 2.1.1
  • rlang de 1.1.3 para 1.1.4
  • rmarkdown de 2,25 para 2,27
  • roxygen2 de 7.3.1 para 7.3.2
  • Parte de 4.1.21 a 4.1.23
  • RSQLite de 2.3.5 para 2.3.7
  • rstudioapi de 0.15.0 para 0.16.0
  • rvest de 1.0.3 para 1.0.4
  • sass de 0.4.8 para 0.4.9
  • forma de 1.4.6 a 1.4.6.1
  • Brilhante de 1.8.0 para 1.9.1
  • Sparklyr de 1.8.4 para 1.8.6
  • espacial de 7,3-15 a 7,3-17
  • splines de 4.3.2 a 4.4.0
  • estatísticas de 4.3.2 a 4.4.0
  • stats4 de 4.3.2 para 4.4.0
  • stringi de 1.8.3 para 1.8.4
  • sobrevida de 3,5-5 a 3,6-4
  • arrogância de 3.33.1 para 5.17.14.1
  • systemfonts de 1.0.5 a 1.1.0
  • tcltk de 4.3.2 para 4.4.0
  • teste de 3.2.1 a 3.2.1.1
  • textshaping de 0.3.7 para 0.4.0
  • tidyselect de 1.2.0 para 1.2.1
  • tinytex de 0,49 para 0,52
  • ferramentas de 4.3.2 a 4.4.0
  • usethis de 2.2.2 para 3.0.0
  • utilidades de 4.3.2 a 4.4.0
  • uuid de 1,2-0 para 1,2-1
  • V8 de 4.4.1 para 4.4.2
  • withr de 3.0.0 para 3.0.1
  • xfun de 0,41 para 0,46
  • xopen de 1.0.0 para 1.0.1
  • yaml de 2.3.8 para 2.3.10
• Bibliotecas do Java atualizadas:
  • com.amazonaws.aws-java-sdk-autoscaling de 1.12.610 para 1.12.638
  • com.amazonaws.aws-java-sdk-cloudformation de 1.12.610 para 1.12.638
  • com.amazonaws.aws-java-sdk-cloudfront de 1.12.610 para 1.12.638
  • com.amazonaws.aws-java-sdk-cloudhsm de 1.12.610 para 1.12.638
  • com.amazonaws.aws-java-sdk-cloudsearch de 1.12.610 para 1.12.638
  • com.amazonaws.aws-java-sdk-cloudtrail de 1.12.610 para 1.12.638
  • com.amazonaws.aws-java-sdk-cloudwatch de 1.12.610 para 1.12.638
  • com.amazonaws.aws-java-sdk-cloudwatchmetrics de 1.12.610 para 1.12.638
  • com.amazonaws.aws-java-sdk-codedeploy de 1.12.610 para 1.12.638
  • com.amazonaws.aws-java-sdk-cognitoidentity de 1.12.610 para 1.12.638
  • com.amazonaws.aws-java-sdk-cognitosync de 1.12.610 para 1.12.638
  • com.amazonaws.aws-java-sdk-config de 1.12.610 para 1.12.638
  • com.amazonaws.aws-java-sdk-core de 1.12.610 para 1.12.638
  • com.amazonaws.aws-java-sdk-datade 1.12.610 para 1.12.638
  • com.amazonaws.aws-java-sdk-directconnect de 1.12.610 para 1.12.638
  • com.amazonaws.aws-java-sdk-directory de 1.12.610 para 1.12.638
  • com.amazonaws.aws-java-sdk-dynamodb de 1.12.610 para 1.12.638
  • com.amazonaws.aws-java-sdk-ec2 de 1.12.610 para 1.12.638
  • com.amazonaws.aws-java-sdk-ecs de 1.12.610 para 1.12.638
  • com.amazonaws.aws-java-sdk-efs de 1.12.610 para 1.12.638
  • com.amazonaws.aws-java-sdk-elasticache de 1.12.610 para 1.12.638
  • com.amazonaws.aws-java-sdk-elasticbeanstalk de 1.12.610 para 1.12.638
  • com.amazonaws.aws-java-sdk-elasticloadbalancing de 1.12.610 para 1.12.638
  • com.amazonaws.aws-java-sdk-elastictranscoder de 1.12.610 para 1.12.638
  • com.amazonaws.aws-java-sdk-emr de 1.12.610 para 1.12.638
  • com.amazonaws.aws-java-sdk-glacier de 1.12.610 para 1.12.638
  • com.amazonaws.aws-java-sdk-glue de 1.12.610 para 1.12.638
  • com.amazonaws.aws-java-sdk-iam de 1.12.610 para 1.12.638
  • com.amazonaws.aws-java-sdk-importexport de 1.12.610 para 1.12.638
  • com.amazonaws.aws-java-sdk-kinesis de 1.12.610 para 1.12.638
  • com.amazonaws.aws-java-sdk-kms de 1.12.610 para 1.12.638
  • com.amazonaws.aws-java-sdk-lambda de 1.12.610 para 1.12.638
  • com.amazonaws.aws-java-sdk-logs de 1.12.610 para 1.12.638
  • com.amazonaws.aws-java-sdk-machinelearning de 1.12.610 para 1.12.638
  • com.amazonaws.aws-java-sdk-opsworks de 1.12.610 para 1.12.638
  • com.amazonaws.aws-java-sdk-rds de 1.12.610 para 1.12.638
  • com.amazonaws.aws-java-sdk-redshift de 1.12.610 para 1.12.638
  • com.amazonaws.aws-java-sdk-route53 de 1.12.610 para 1.12.638
  • com.amazonaws.aws-java-sdk-s3 de 1.12.610 para 1.12.638
  • com.amazonaws.aws-java-sdk-ses de 1.12.610 para 1.12.638
  • com.amazonaws.aws-java-sdk-simpledb de 1.12.610 para 1.12.638
  • com.amazonaws.aws-java-sdk-simplefluxo de trabalho de 1.12.610 para 1.12.638
  • com.amazonaws.aws-java-sdk-sns de 1.12.610 para 1.12.638
  • com.amazonaws.aws-java-sdk-sqs de 1.12.610 para 1.12.638
  • com.amazonaws.aws-java-sdk-ssm de 1.12.610 para 1.12.638
  • com.amazonaws.aws-java-sdk-storagegateway de 1.12.610 para 1.12.638
  • com.amazonaws.aws-java-sdk-sts de 1.12.610 para 1.12.638
  • com.amazonaws.aws-java-sdk-support de 1.12.610 para 1.12.638
  • com.amazonaws.aws-java-sdk-workspaces de 1.12.610 para 1.12.638
  • com.amazonaws.jmespath-java de 1.12.610 para 1.12.638
  • com.google.protobuf.protobuf-java da versão 2.6.1 para a 3.25.1
  • io.airlift.aircompressor de 0,25 para 0,27
  • io.delta.delta-sharing-client_2.12 de 1.1.3 para 1.2.0
  • io.netty.netty-all de 4.1.96.Final a 4.1.108.Final
  • io.netty.netty-buffer de 4.1.96.Final para 4.1.108.Final
  • io.netty.netty-codec de 4.1.96.Final para 4.1.108.Final
  • io.netty.netty-codec-http de 4.1.96.Final para 4.1.108.Final
  • io.netty.netty-codec-http2 de 4.1.96.Final para 4.1.108.Final
  • io.netty.netty-codec-socks de 4.1.96.Final para 4.1.108.Final
  • io.netty.netty-common de 4.1.96.Final a 4.1.108.Final
  • io.netty.netty-handler de 4.1.96.Final para 4.1.108.Final
  • io.netty.netty-handler-proxy de 4.1.96.Final para 4.1.108.Final
  • io.netty.netty-resolver de 4.1.96.Final para 4.1.108.Final
  • io.netty.netty-transport de 4.1.96.Final para 4.1.108.Final
  • io.netty.netty-transport-classes-epoll de 4.1.96.Final para 4.1.108.Final
  • io.netty.netty-transport-classes-kqueue de 4.1.96.Final para 4.1.108.Final
  • io.netty.netty-transport-native-epoll de 4.1.96.Final-linux-x86_64 para 4.1.108.Final-linux-x86_64
  • io.netty.netty-transport-native-kqueue de 4.1.96.Final-osx-x86_64 para 4.1.108.Final-osx-x86_64
  • io.netty.netty-transport-native-unix-common de 4.1.96.Final para 4.1.108.Final
  • org.apache.ivy.ivy de 2.5.1 para 2.5.2
  • org.apache.zookeeper.zookeeper da versão 3.6.3 para a 3.9.2
  • org.apache.zookeeper.zookeeper-juta de 3.6.3 para 3.9.2
  • org.rocksdb.rocksdbjni de 8.11.4 para 9.2.1
  • org.scalactic.scalactic_2.12 de 3.2.15 a 3.2.16
  • org.scalatest.scalatest-compatível de 3.2.15 a 3.2.16
  • org.scalatest.scalatest-core_2.12 de 3.2.15 para 3.2.16
  • org.scalatest.scalatest-diagrams_2.12 de 3.2.15 para 3.2.16
  • org.scalatest.scalatest-featurespec_2.12 de 3.2.15 para 3.2.16
  • org.scalatest.scalatest-flatspec_2.12 de 3.2.15 para 3.2.16
  • org.scalatest.scalatest-freespec_2.12 de 3.2.15 para 3.2.16
  • org.scalatest.scalatest-funspec_2.12 de 3.2.15 para 3.2.16
  • org.scalatest.scalatest-funsuite_2.12 de 3.2.15 para 3.2.16
  • org.scalatest.scalatest-matchers-core_2.12 de 3.2.15 para 3.2.16
  • org.scalatest.scalatest-mustmatchers_2.12 de 3.2.15 para 3.2.16
  • org.scalatest.scalatest-propspec_2.12 de 3.2.15 para 3.2.16
  • org.scalatest.scalatest-refspec_2.12 de 3.2.15 para 3.2.16
  • org.scalatest.scalatest-shouldmatchers_2.12 de 3.2.15 para 3.2.16
  • org.scalatest.scalatest-wordspec_2.12 de 3.2.15 para 3.2.16
  • org.scalatest.scalatest_2.12 de 3.2.15 a 3.2.16

Apache Spark

O Databricks Runtime 16.0 inclui o Apache Spark 3.5.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 15.4 LTS, bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

• [FAÍSCA-49093] [DBRRM-1371] Reverter "[SC-172958][SQL] GROUP BY com MapType nes...
• [FAÍSCA-49898] [DBRRM-1282][SC-178410] Corrigir a documentação e o padrão para o sinalizador de log de eventos do acumulador de métricas de tarefa do SPARK-42204
• [FAÍSCA-49743] [ES-1260022][COMPORTAR-SE-157][SC-177475][SQL] OptimizeCsvJsonExpr não deve alterar os campos de esquema ao remover GetArrayStructFields
• [FAÍSCA-49816] [SC-177896][SQL] Deve atualizar apenas outgoing-ref-count para a relação CTE externa referenciada
• [FAÍSCA-48939] [SC-177022][SC-172766][AVRO] Suporte à leitura do Avro com referência de esquema recursivo
• [FAÍSCA-49688] [SC-177468][ES-1242349][CONECTAR] Corrigir uma corrida de dados entre o plano de interrupção e execução
• [FAÍSCA-49771] [SC-177466][PYTHON] Melhoria do erro de UDF do Pandas Scalar Iter quando as linhas de saída excedem as linhas de entrada
• [FAÍSCA-48866] [SC-170772][SQL] Corrija dicas de conjunto de caracteres válido na mensagem de erro do INVALID_PARAMETER_VALUE. CONJUNTO DE CARACTERES
• [FAÍSCA-48195] [CORRIGIR][SC-177267][NÚCLEO] Salvar e reutilizar RDD/Broadcast criado pelo SparkPlan
• [FAÍSCA-49585] [CONECTAR] Substitua o mapa de execuções em SessionHolder pelo conjunto operationID
• [FAÍSCA-49211] [SC-174257][SQL] O Catálogo V2 também pode dar suporte a fontes de dados internas
• [FAÍSCA-49684] Minimize a vida útil do bloqueio de restauração de sessão
• [SPARK-48059] [FAÍSCA-48145][FAÍSCA-48134][FAÍSCA-48182][SPARK-48209][FAÍSCA-48291] Estrutura de log estruturada no lado java
• [SPARK-48857] [SC-170661][SQL] Restringir conjuntos de caracteres em CSVOptions
• [SPARK-49152] [SC-173690][SQL] V2SessionCatalog deve usar V2Command
• [SPARK-42846] [SC-176588][SQL] Remover condição de erro _LEGACY_ERROR_TEMP_2011
• [FAÍSCA-48195] [SC-177267][NÚCLEO] Salvar e reutilizar RDD/Broadcast criado pelo SparkPlan
• [FAÍSCA-49630] [SC-177379][SS] Adicionar opção de nivelamento para processar tipos de coleção com leitor de fonte de dados de estado
• [FAÍSCA-49699] [SC-177154][SS] Desabilitar PruneFilters para cargas de trabalho de streaming
• [SPARK-48781] [SC-175282][SQL] Adicionar APIs de catálogo para carregar procedimentos armazenados
• [SPARK-49667] [SC-177068][SQL] Não permitir agrupadores CS_AI com expressões que usam StringSearch
• [SPARK-49737] [SC-177207][SQL] Desabilitar o armazenamento de buckets em colunas agrupadas em tipos complexos
• [FAÍSCA-48712] [SC-169794][SQL] Melhoria de desempenho para codificação com valores vazios ou conjunto de caracteres UTF-8
• [FAÍSCA-49038] [SC-173933][SQL] SQLMetric deve relatar o valor bruto no evento de atualização do acumulador
• [FAÍSCA-48541] [SC-169066][NÚCLEO] Adicione um novo código de saída para executores mortos pelo TaskReaper
• [SPARK-48774] [SC-170138][SQL] Usar SparkSession em SQLImplicits
• [SPARK-49719] [SC-177139][SQL] Fazer UUID e SHUFFLE aceitar inteiro seed
• [SPARK-49713] [SC-177135][PYTHON][CONECTAR] Fazer com que a função count_min_sketch aceite argumentos numéricos
• [FAÍSCA-47601] [SC-162499][GRÁFICO] Graphx: Migrar logs com variáveis para a estrutura de log estruturada
• [SPARK-49738] [SC-177219][SQL] Termina com correção de bug
• [SPARK-48623] [SC-170822][NÚCLEO] Migrações de log estruturadas [Parte 3]
• [FAÍSCA-49677] [SC-177148][SS] Certifique-se de que os arquivos de log de alterações sejam gravados no commit e que o sinalizador forceSnapshot também seja redefinido
• [FAÍSCA-49684] [SC-177040][CONECTAR] Remover bloqueios globais de gerenciadores de sessão e execução
• [FAÍSCA-48302] [SC-168814][PYTHON] Preservar nulos em colunas de mapa em tabelas PyArrow
• [FAÍSCA-48601] [SC-169025][SQL] Dê uma mensagem de erro mais amigável ao definir um valor nulo para a opção JDBC
• [FAÍSCA-48635] [SC-169263][SQL] Atribuir classes a erros de tipo de junção e erro de junção a partir de
• [FAÍSCA-49673] [SC-177032][CONECTAR] Aumente CONNECT_GRPC_ARROW_MAX_BATCH_SIZE para 0,7 * CONNECT_GRPC_MAX_MESSAGE_SIZE
• [FAÍSCA-49693] [SC-177071][PYTHON][CONECTAR] Refine a representação da cadeia de caracteres de timedelta
• [FAÍSCA-49687] [SC-176901][SQL] Classificação de atraso em validateAndMaybeEvolveStateSchema
• [FAÍSCA-49718] [SC-177112][PS] Alternar Scatter gráfico para dados amostrados
• [SPARK-48472] [SC-169044][SQL] Habilitar expressões Reflect com cadeias de caracteres agrupadas
• [SPARK-48484] [SC-167484][SQL] Correção: V2Write usa o mesmo TaskAttemptId para diferentes tentativas de tarefa
• [FAÍSCA-48341] [SC-166560][CONECTAR] Permitir que os plug-ins usem o QueryTest em seus testes
• [FAÍSCA-42252] [SC-168723][NÚCLEO] Adicionar spark.shuffle.localDisk.file.output.buffer e descontinuar spark.shuffle.unsafe.file.output.buffer
• [FAÍSCA-48314] [SC-166565][SS] Não dobre os arquivos de cache para FileStreamSource usando Trigger.AvailableNow
• [FAÍSCA-49567] [SC-176241][PYTHON] Use classic em vez da base de código do vanilla PySpark
• [SPARK-48374] [SC-167596][PYTHON] Suporte a tipos adicionais de coluna da tabela PyArrow
• [FAÍSCA-48300] [SC-166481][SQL] Suporte Codegen para from_xml
• [FAÍSCA-49412] [SC-177059][PS] Calcule todas as métricas de gráfico de caixa em um único trabalho
• [FAÍSCA-49692] [SC-177031][PYTHON][CONECTAR] Refinar a representação de cadeia de caracteres de data e data literal
• [FAÍSCA-49392] [ES-1130351][SC-176705][SQL] Detectar erros ao não gravar na fonte de dados externa
• [FAÍSCA-48306] [SC-166241][SQL] Melhoria do UDT na mensagem de erro
• [FAÍSCA-44924] [SC-166379][SS] Adicionar configuração para arquivos armazenados em cache FileStreamSource
• [FAÍSCA-48176] [SC-165644][SQL] Ajustar o nome da condição de erro FIELD_ALREADY_EXISTS
• [FAÍSCA-49691] [SC-176988][PYTHON][CONECTAR] A função substring deve aceitar nomes de coluna
• [FAÍSCA-49502] [SC-176077][NÚCLEO] Evite NPE em SparkEnv.get.shuffleManager.unregisterShuffle
• [FAÍSCA-49244] [SC-176703][SQL] Outras melhorias de exceção para analisador/interpretador
• [FAÍSCA-48355] [SC-176684][SQL] Suporte para a instrução CASE
• [FAÍSCA-49355] [SC-175121][SQL] levenshtein deve verificar se os collation valores de todos os tipos de parâmetros são os mesmos
• [SPARK-49640] [SC-176953][PS] Aplicar amostragem de reservatório em SampledPlotBase
• [SPARK-49678] [SC-176857][NÚCLEO] Apoio spark.test.master em SparkSubmitArguments
• [FAÍSCA-49680] [SC-176856][PYTHON] Limitar Sphinx o paralelismo de build a 4 por padrão
• [FAÍSCA-49396] Reverter "[SC-176030][SQL] Modificar verificação de nulidade para a expressão CaseWhen"
• [FAÍSCA-48419] [SC-167443][SQL] A propagação dobrável substitui a coluna dobrável...
• [FAÍSCA-49556] [SC-176757][SQL] Adicionar sintaxe de pipe SQL para o operador SELECT
• [FAÍSCA-49438] [SC-175237][SQL] Corrija o nome bonito da FromAvro expressão & ToAvro
• [FAÍSCA-49659] [SC-1229924][SQL] Adicione um bom erro voltado para o usuário para subconsultas escalares dentro da cláusula VALUES
• [FAÍSCA-49646] [SC-176778][SQL] corrige a descorrelação de subconsulta para operações de união/conjunto quando parentOuterReferences tem referências não cobertas em collectedChildOuterReferences
• [FAÍSCA-49354] [SC-175034][SQL] split_part deve verificar se os collation valores de todos os tipos de parâmetros são os mesmos
• [SPARK-49478] [SC-175914][CONECTAR] Manipular métricas nulas em ConnectProgressExecutionListener
• [FAÍSCA-48358] [SC-176374][SQL] Suporte para instrução REPEAT
• [FAÍSCA-49183] [SC-173680][SQL] V2SessionCatalog.createTable deve respeitar PROP_IS_MANAGED_LOCATION
• [FAÍSCA-49611] [SC-176791][SQL] Introduza TVF collations() e remova o SHOW COLLATIONS comando
• [SPARK-49261] [SC-176589][SQL] Não substitua literais em expressões agregadas por expressões agrupadas por
• [FAÍSCA-49099] [SC-173229][SQL] CatalogManager.setCurrentNamespace deve respeitar o catálogo de sessão personalizado
• [FAÍSCA-49594] [SC-176569][SS] Adicionando verificação se columnFamilies foram adicionados ou removidos para gravar o arquivo StateSchemaV3
• [SPARK-49578] [SC-176385][SQL] Remova a sugestão de configuração ANSI no CAST_INVALID_INPUT e CAST_OVERFLOW
• [FAÍSCA-48882] [SC-174256][SS] Atribuir nomes a classes de erro relacionadas ao modo de saída de streaming
• [FAÍSCA-49155] [SC-176506][SQL][SS] Use um tipo de parâmetro mais apropriado para construir GenericArrayData
• [FAÍSCA-49519] [SC-176388][SQL] Opções de mesclagem de tabela e relação ao construir FileScanBuilder
• [FAÍSCA-49591] [SC-176587][SQL] Adicionar coluna Tipo Lógico ao Leiame da variante
• [SPARK-49596] [SC-176423][SQL] Melhorar o desempenho de FormatString
• [SPARK-49525] [SC-176044][SS][CONECTAR] Melhoria secundária de log para o ouvinte ListenerBus da consulta de streaming do lado do servidor
• [FAÍSCA-49583] [SC-176272][SQL] Definir a subcondição SECONDS_FRACTION de erro para padrão de fração de segundos inválido
• [SPARK-49536] [SC-176242] Lidar com erro na pré-busca de registro de fonte de dados de streaming python
• [FAÍSCA-49443] [SC-176273][SQL][PYTHON] Implemente to_variant_object expressão e faça com que schema_of_variant expressões imprimam OBJECT for para objetos variantes
• [FAÍSCA-49544] [SASP-3990][SC-176557][CONECTAR] Substitua o bloqueio grosseiro no SparkConnectExecutionManager por ConcurrentMap
• [SPARK-49548] [SASP-3990][SC-176556][CONECTAR] Substitua o bloqueio grosseiro no SparkConnectSessionManager por ConcurrentMap
• [SPARK-49551] [SC-176218][SS] Melhoria do log do RocksDB para replayChangelog
• [FAÍSCA-49595] [SC-176396][CONECTAR][SQL] Correção DataFrame.unpivot/melt no cliente Scala do Spark Connect
• [FAÍSCA-49006] [SC-176162] Implementar a limpeza para arquivos OperatorStateMetadataV2 e StateSchemaV3
• [SPARK-49600] [SC-176426][PYTHON] Remover Python 3.6 and olderlógica relacionada a try_simplify_traceback
• [FAÍSCA-49303] [SC-176013][SS] Implementar TTL para ValueState na API transformWithStateInPandas
• [FAÍSCA-49191] [SC-176243][SS] Adicionar suporte para leitura de variáveis de estado do mapa transformWithState com leitor de fonte de dados de estado
• [FAÍSCA-49593] [SC-176371][SS] Lançar exceção RocksDB para o chamador no fechamento do banco de dados se um erro for visto
• [FAÍSCA-49334] [SC-174803][SQL] str_to_map deve verificar se os collation valores de todos os tipos de parâmetros são os mesmos
• [FAÍSCA-42204] [SC-176126][NÚCLEO] Adicionar opção para desativar o registro redundante de acumuladores internos do TaskMetrics nos logs de eventos
• [FAÍSCA-49575] [SC-176256][SS] Adicionar log para liberação de bloqueio somente se acquiredThreadInfo não for nulo
• [FAÍSCA-49539] [SC-176250][SS] Atualizar o identificador de início de famílias de colunas internas para um diferente
• [FAÍSCA-49205] [SC-173853][SQL] KeyGroupedPartitioning deve herdar HashPartitioningLike
• [FAÍSCA-49396] [SC-176030][SQL] Modificar a verificação de nulidade para a expressão CaseWhen
• [FAÍSCA-49476] [SC-175700][SQL] Corrigir nulidade da função base64
• [SPARK-47262] [SC-174829][SQL] Atribuir nomes a condições de erro para conversões de parquet
• [FAÍSCA-47247] [SC-158349][SQL] Usar tamanho de destino menor ao unir partições com junções explosivas
• [FAÍSCA-49501] [SC-176166][SQL] Correção do escape duplo da localização da tabela
• [FAÍSCA-49083] [SC-173214][CONECTAR] Permitir que from_xml e from_json funcionem nativamente com esquemas json
• [FAÍSCA-49043] [SC-174673][SQL] Corrigir o grupo de codepath interpretado por no mapa contendo strings agrupadas
• [SPARK-48986] [SC-172265][CONECTAR][SQL] Adicionar representação intermediária de ColumnNode
• [FAÍSCA-49326] [SC-176016][SS] Classificar a classe Error para erro de função do usuário do coletor Foreach
• [FAÍSCA-48348] [SC-175950][SPARK-48376][SQL] Introduzir LEAVE e ITERATE declarações
• [FAÍSCA-49523] [SC-175949][CONECTAR] Aumentar o tempo máximo de espera para que o servidor de conexão seja ativado para teste
• [SPARK-49000] [COMPORTAR-SE-105][ES-1194747][SQL] Corrija "select count(distinct 1) from t" em que t é uma tabela vazia expandindo RewriteDistinctAggregates – DBR versão 16.x
• [FAÍSCA-49311] [SC-175038][SQL] Possibilitar que grandes valores de 'intervalo de segundo' sejam convertidos em decimal
• [FAÍSCA-49200] [SC-173699][SQL] Corrigir exceção de ordenação sem codegen de tipo nulo
• [SPARK-49467] [SC-176051][SS] Adicionar suporte para leitor de fonte de dados de estado e estado de lista
• [FAÍSCA-47307] [SC-170891][SQL] Adicione uma configuração para opcionalmente fragmentar strings base64
• [FAÍSCA-49391] [SC-176032][PS] Gráfico de caixa selecione outliers por distância de cercas
• [FAÍSCA-49445] [SC-175845][IU] Suporte para mostrar dica de ferramenta na barra de progresso da interface do usuário
• [FAÍSCA-49451] [SC-175702] Permitir chaves duplicadas no parse_json.
• [FAÍSCA-49275] [SC-175701][SQL] Corrigir a nulidade do tipo de retorno da expressão xpath
• [FAÍSCA-49021] [SC-175578][SS] Adicionar suporte para leitura de variáveis de estado de valor transformWithState com leitor de fonte de dados de estado
• [SPARK-49474] [COMPORTAR-SE-143][SC-169253][SC-175933][SS] Classificar classe de erro para erro de função de usuário FlatMapGroupsWithState
• [SPARK-49408] [SC-175932][SQL] Usar IndexedSeq em ProjectingInternalRow
• [FAÍSCA-49509] [SC-175853][NÚCLEO] Use Platform.allocateDirectBuffer em vez de ByteBuffer.allocateDirect
• [FAÍSCA-49382] [SC-175013][PS] Faça com que o gráfico da caixa do quadro renderize corretamente os folhetos/outliers
• [SPARK-49002] [SC-172846][SQL] Lidar consistentemente com locais inválidos em WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY
• [FAÍSCA-49480] [SC-175699][NÚCLEO] Corrigir NullPointerException de SparkThrowableHelper.isInternalError
• [FAÍSCA-49477] [SC-175828][PYTHON] Melhorar a mensagem de erro do tipo de retorno inválido do pandas udf
• [FAÍSCA-48693] [SC-169492][SQL] Simplifique e unifique toString de Invoke e StaticInvoke
• [FAÍSCA-49441] [SC-175716][ML] StringIndexer ordenar arrays em executores
• [FAÍSCA-49347] [SC-175004][R] Descontinuar o SparkR
• [SPARK-49357] [SC-175227][CONECTAR][PYTHON] Truncar verticalmente a mensagem protobuf profundamente aninhada
• [SPARK-41982] [SC-120604][SQL] As partições do tipo cadeia de caracteres não devem ser tratadas como tipos numéricos
• [FAÍSCA-48776] [SC-170452][COMPORTAR-SE-72] Corrigir formatação de carimbo de data/hora para json, xml e csv
• [FAÍSCA-49223] [SC-174800][ML] Simplifique o StringIndexer.countByValue com funções internas
• [SPARK-49016] Reverter "[SC-174663][SQL] Restaura o comportamento em que as consultas de arquivos CSV brutos não são permitidas quando incluem apenas a coluna de registro corrompida e atribuem o nome a _LEGACY_ERROR_TEMP_1285"
• [FAÍSCA-49041] [SC-172392][PYTHON][CONECTAR] Levante o erro adequado para dropDuplicates quando o erro subset for dado
• [FAÍSCA-49050] [SC-175235] Habilitando o operador deleteIfExists no TWS com famílias de colunas virtuais
• [FAÍSCA-49216] [SC-173919][NÚCLEO]Correção para não registrar o contexto da mensagem com LogEntry explicitamente construído quando a configuração do Log Estruturado está desativada
• [FAÍSCA-49252] [SC-175596][NÚCLEO] FazerTaskSetExcludeList e HeathTracker independente
• [FAÍSCA-49352] [SC-174971][SQL] Evite a transformação de matriz redundante para expressão idêntica
• [FAÍSCA-42307] [SC-173863][SQL] Atribuir nome para _LEGACY_ERROR_TEMP_2232 de erro
• [FAÍSCA-49197] [SC-173732][NÚCLEO] Redigir Spark Command saída no launcher módulo
• [SPARK-48913] [SC-173934][SQL] Implementar IndentingXMLStreamWriter
• [SPARK-49306] [SC-175363][PYTHON][SQL] Criar aliases de função SQL para 'zeroifnull' e 'nullifzero'
• [SPARK-48344] [SQL] Execução de Script SQL (incluindo Spark Connect)
• [FAÍSCA-49402] [SC-175122][PYTHON] Corrigir a integração do Binder na documentação do PySpark
• [FAÍSCA-49017] [SC-174664][SQL] A instrução Insert falha quando vários parâmetros estão sendo usados
• [FAÍSCA-49318] [SC-174733][SQL] Preempção de erros de baixa prioridade na LCA até o final da análise de verificação para melhorar a experiência de erro
• [SPARK-49016] [SC-174663][SQL] Restaure o comportamento em que as consultas de arquivos CSV brutos não são permitidas quando incluem apenas a coluna de registro corrompida e atribuem o nome a _LEGACY_ERROR_TEMP_1285
• [SPARK-49387] [SC-175124][PYTHON] Correção da dica de tipo para accuracy in percentile_approx e approx_percentile
• [FAÍSCA-49131] [SC-174666][SS] TransformWithState deve definir corretamente as chaves de agrupamento implícitas, mesmo com iteradores lentos
• [FAÍSCA-49301] [SC-174795][SS] Dados de seta de bloco passados para o trabalhador do Python
• [SPARK-49039] [SC-174651][IU] Redefinir caixa de seleção quando as métricas do executor são carregadas na guia Estágios
• [FAÍSCA-48428] [SC-169806][SQL]: Corrigir IllegalStateException em NestedColumnAliasing
• [FAÍSCA-49353] [SC-174830][SQL] Atualizar documentos relacionados à UTF-32 codificação/decodificação
• [SPARK-48613] [SC-170966][SQL] SPJ: Suporte a embaralhamento automático de um lado + menos chaves de junção do que chaves de partição
• [FAÍSCA-47473] [SC-160450][COMPORTAR-SE-127][SQL] Corrija o problema de correção da conversão de carimbos de data/hora postgres INFINITY
• [FAÍSCA-49142] [SC-173658][CONECTAR][PYTHON] Acompanhamento para reverter o custo de desempenho do proto para a cadeia de caracteres
• [FAÍSCA-49300] [SC-175008][NÚCLEO] Corrija o vazamento de token de delegação do Hadoop quando tokenRenewalInterval não está definido.
• [FAÍSCA-49367] [SC-175012][PS] Paralelize a computação do KDE para várias colunas (backend plotly)
• [SPARK-49365] [SC-175011][PS] Simplifique a agregação de bucket no gráfico hist
• [FAÍSCA-49372] [SC-175003][SS] Certifique-se de que latestSnapshot esteja definido como none on close para evitar o uso subsequente
• [FAÍSCA-49341] [SC-174785] Remover connector/docker em favor de Apache Spark Operator
• [FAÍSCA-49344] [SC-174894][PS] Suporte json_normalize para a API do Pandas no Spark
• [SPARK-49306] [SC-174794][SQL] Crie novas funções SQL 'zeroifnull' e 'nullifzero'
• [FAÍSCA-48796] [SC-174668][SS] Carregar ID da família de colunas de RocksDBCheckpointMetadata para VCF ao reiniciar
• [FAÍSCA-49342] [SC-174899][SQL] Tornar TO_AVRO argumento 'jsonFormatSchema' da função SQL opcional
• [SPARK-48628] [SC-174695][NÚCLEO] Adicionar métricas de memória de heap de ativação/desativação de pico de tarefas
• [FAÍSCA-47407] [SC-159379][COMPORTAR-SE-126][SQL] Suporte java.sql.Types.NULL mapeia para NullType
• [SPARK-48628] [SC-173407][NÚCLEO] Adicionar métricas de memória de heap de ativação/desativação de pico de tarefas
• [FAÍSCA-49166] [SC-173987][SQL] Suporte OFFSET na subconsulta correlacionada
• [FAÍSCA-49269] [SC-174676][SQL] Avalie ansiosamente a lista VALUES() no AstBuilder
• [FAÍSCA-49281] [SC-174782][SQL] Otimize getBytes binários de parquet com getBytesUnsafe para evitar o custo de cópia
• [FAÍSCA-49113] [SC-174734] Não afirme em bugs de tradução - engula silenciosamente a exceção
• [FAÍSCA-49098] [SC-173253][SQL] Adicionar opções de gravação para INSERT
• [FAÍSCA-48638] [SC-174694][SEGUIR][CONECTAR] Corrigir documentação para ExecutionInfo
• [FAÍSCA-49250] [ES-1222826][SQL] Melhoria da mensagem de erro para UnresolvedWindowExpression aninhada em CheckAnalysis
• [FAÍSCA-48755] [SC-174258][SS][PYTHON] transformWithState implementação de base pyspark e suporte a ValueState
• [SPARK-48966] [SC-174329][SQL] Melhorar a mensagem de erro com referência de coluna não resolvida inválida na chamada UDTF
• [FAÍSCA-46590] [SC-154115][SQL] Corrigir falha de coalescência com indeces de partição inesperados
• [FAÍSCA-49235] [SC-174159][SQL] Refatore a regra ResolveInlineTables para que ela não atravesse toda a árvore
• [SPARK-49060] [SC-173107][CONECTAR] Limpar as regras do Mima para verificações de compatibilidade binária do SQL-Connect
• [SPARK-48762] [SC-172525][SQL] Introduzir clusterBy DataFrameWriter API para Python
• [SPARK-49207] [SC-173852][SQL] Corrigir o mapeamento de maiúsculas e minúsculas de um para muitos em SplitPart e StringSplitSQL
• [FAÍSCA-49204] [SC-173850][SQL] Correção do tratamento de pares substitutos em StringInstr e StringLocate
• [SPARK-36680] [SC-170640][SQL] Dá suporte a opções de tabela dinâmica para Spark SQL
• [FAÍSCA-49204] [SC-173849][SQL] Correção do tratamento de pares substitutos em SubstringIndex
• [FAÍSCA-49204] [SC-173848][SQL] Correção do tratamento de pares substitutos em StringTrim
• [FAÍSCA-48967] [SC-173993]Correção do teste SparkConfigOwnershipSuite para OPTIMIZE_INSERT_INTO_VALUES_PARSER
• [FAÍSCA-49204] [SC-173851][SQL] Correção do tratamento de pares substitutos em StringReplace
• [FAÍSCA-48967] [SC-173993][SQL][16.x] Melhore o desempenho e o consumo de memória de "INSERT INTO ... VALUES" Declarações
• [FAÍSCA-49099] Reverter "[SC-173229][SQL] CatalogManager.setCurrent...
• [SPARK-48347] [SC-173812][SQL] Suporte para instrução WHILE
• [FAÍSCA-49128] [SC-173344][NÚCLEO] Suporte ao título personalizado da interface do usuário do servidor de histórico
• [FAÍSCA-49146] [SC-173825][SS] Mover erros de asserção relacionados à falta de marca d'água em consultas de streaming no modo de acréscimo para a estrutura de erros
• [FAÍSCA-45787] [SC-172197][SQL] Suporte a Catalog.listColumns para colunas de clustering
• [FAÍSCA-49099] [SC-173229][SQL] CatalogManager.setCurrentNamespace deve respeitar o catálogo de sessão personalizado
• [SPARK-49138] [SC-173483][SQL] Correção de CollationTypeCasts de várias expressões
• [FAÍSCA-49163] [SC-173666][SQL] A tentativa de criar uma tabela com base nos resultados de dados da partição parquet quebrada deve retornar um erro voltado para o usuário
• [FAÍSCA-49201] [SC-173793][PS][PYTHON][CONECTAR] Reimplementar hist o gráfico com o Spark SQL
• [FAÍSCA-49188] [SC-173682][SQL] Erro interno em concat_ws chamado em array de arrays de string
• [FAÍSCA-49137] [SC-173677][SQL] Quando a condição booleana no if statement é inválida, uma exceção deve ser lançada
• [SPARK-49193] [SC-173672][SQL] Melhorar o desempenho de RowSetUtils.toColumnBasedSet
• [FAÍSCA-49078] [SC-173078][SQL] Suporte à sintaxe show columns na tabela v2
• [FAÍSCA-49141] [SC-173388][SQL] Marcar variante como tipo de dados incompatível com hive
• [FAÍSCA-49059] [Escolha a dedo][15.x][SC-172528][CONECTAR] Mover SessionHolder.forTesting(...) para o pacote de teste
• [FAÍSCA-49111] [SC-173661][SQL] Mova withProjectAndFilter para o objeto complementar de DataSourceV2Strategy
• [FAÍSCA-49185] [SC-173688][PS][PYTHON][CONECTAR] Reimplementar kde o gráfico com o Spark SQL
• [FAÍSCA-49178] [SC-173673][SQL] Otimize o desempenho para Row#getSeq corresponder ao desempenho ao usar o Spark 3.5 com o Scala 2.12
• [FAÍSCA-49093] [SC-172958][SQL] GROUP BY com MapType aninhado dentro do tipo complexo
• [FAÍSCA-49142] [SC-173469][CONECTAR][PYTHON] Reduzir o nível de log do cliente do Spark Connect para depurar
• [SPARK-48761] [SC-172048][SQL] Introduzir clusterBy DataFrameWriter API para Scala
• [FAÍSCA-48346] [SC-173083][SQL] Suporte para instruções IF ELSE em scripts SQL
• [FAÍSCA-48338] [SC-173112][SQL] Melhorar as exceções geradas pelo analisador/interpretador
• [FAÍSCA-48658] [SC-169474][SQL] As funções de codificação / decodificação relatam erros de codificação em vez de mojibake para caracteres não mapeáveis
• [FAÍSCA-49071] [SC-172954][SQL] Remover característica ArraySortLike
• [FAÍSCA-49107] Reverter "Reverter "[SC-173103][SQL] ROUTINE_ALREADY_EXISTS suporta RoutineType""
• [FAÍSCA-49070] [SC-172907][SS][SQL] TransformWithStateExec.initialState é reescrito incorretamente para produzir um plano de consulta inválido
• [FAÍSCA-49114] [SC-173217] Subcategorizar não pode carregar erros de armazenamento de estado
• [FAÍSCA-49107] Reverter "[SC-173103][SQL] ROUTINE_ALREADY_EXISTS suporta RoutineType"
• [SPARK-49048] [SC-173223][SS] Adicione suporte para leitura de metadados de operador relevantes em um determinado ID de lote
• [FAÍSCA-49094] [SC-173049][SQL] Correção do não funcionamento de ignoreCorruptFiles para o Hive orc impl com mergeSchema desativado
• [FAÍSCA-49108] [SC-173102][EXEMPLO] Adicionar submit_pi.sh exemplo de API REST
• [FAÍSCA-49107] [SC-173103][SQL] ROUTINE_ALREADY_EXISTS suporta RoutineType
• [SPARK-48997] [SC-172484][SS] Implementar descarregamentos individuais para falhas de thread do pool de threads de manutenção
• [FAÍSCA-49063] [SC-173094][SQL] Corrigir entre com ScalarSubqueries
• [FAÍSCA-45891] [SC-172305][SQL][PYTHON][VARIANTE] Adicionar suporte para tipos de intervalo na especificação de variante
• [SPARK-49074] [COMPORTAR-SE-110][SC-172815][SQL] Corrigir variante com df.cache()
• [SPARK-49003] [SC-172613][SQL] Corrigir o hash de caminho de código interpretado para reconhecer a ordenação
• [SPARK-48740] [SC-172430][SQL] Detecte o erro de especificação de janela ausente antecipadamente
• [FAÍSCA-48999] [SC-172245][SS] Dividir PythonStreamingDataSourceSimpleSuite
• [FAÍSCA-49031] [SC-172602] Implementar a validação para o operador TransformWithStateExec usando OperatorStateMetadataV2
• [FAÍSCA-49053] [SC-172494][PYTHON][ML] Fazer com que as funções auxiliares de salvamento/carregamento do modelo aceitem a sessão do Spark
• [FAÍSCA-49032] [Backport][15.x][SS] Adicione o caminho do esquema na entrada da tabela de metadados, verifique a versão esperada e adicione o teste relacionado aos metadados do operador para o formato de metadados do operador v2
• [FAÍSCA-49034] [SC-172306][NÚCLEO] Suporte à substituição do lado do servidor sparkProperties na API de envio REST
• [FAÍSCA-48931] [SC-171895][SS] Reduzir o custo da API da lista de armazenamentos na nuvem para tarefas de manutenção do armazenamento de estado
• [FAÍSCA-48849] [SC-172068][SS]Criar OperatorStateMetadataV2 para o operador TransformWithStateExec
• [FAÍSCA-49013] [SC-172322] Alterar chave em collationsMap para tipos de mapa e matriz em scala
• [FAÍSCA-48414] [SC-171884][PYTHON] Correção de alteração significativa no python fromJson
• [FAÍSCA-48910] [SC-171001][SQL] Use HashSet/HashMap para evitar pesquisas lineares em PreprocessTableCreation
• [SPARK-49007] [SC-172204][NÚCLEO] Melhore MasterPage para oferecer suporte a títulos personalizados
• [FAÍSCA-49009] [SC-172263][SQL][PYTHON] Fazer com que APIs e funções de coluna aceitem enumerações
• [FAÍSCA-49033] [SC-172303][NÚCLEO] Suporte à substituição do lado do servidor environmentVariables na API de envio REST
• [FAÍSCA-48363] [SC-166470][SQL] Limpe alguns códigos redundantes em from_xml
• [FAÍSCA-46743] [SC-170867][SQL][COMPORTAR-SE-84] Bug de contagem depois que ScalarSubqery for dobrado se tiver uma relação vazia
• [FAÍSCA-49040] [SC-172351][SQL] Corrigir documento sql-ref-syntax-aux-exec-imm.md
• [SPARK-48998] [SC-172212][ML] Meta algoritmos salvam/carregam modelo com SparkSession
• [FAÍSCA-48959] [SC-171708][SQL] Faça NoSuchNamespaceException extend NoSuchDatabaseException para restaurar o tratamento de exceção
• [SPARK-48996] [SC-172130][SQL][PYTHON] Permitir literais simples para e e ou de Column
• [SPARK-48990] [SC-171936] Acompanhamento para #101759 - correção de teste
• [FAÍSCA-48338] [SC-171912][SQL] Verificar declarações de variáveis
• [SPARK-48990] [SC-171936][SQL] Palavras-chave de sintaxe SQL relacionadas a variáveis unificadas
• [FAÍSCA-48988] [SC-171915][ML] Fazer DefaultParamsReader/Writer manipular metadados com a sessão do Spark
• [SPARK-48974] [SC-171978][SQL][SS][ML][MLLIB] Use SparkSession.implicits em vez de SQLContext.implicits
• [SPARK-48760] [SC-170870][SQL] Corrigir CatalogV2Util.applyClusterByChanges
• [FAÍSCA-48928] [SC-171956] Aviso de log para chamar .unpersist() em RDDs com pontos verificados localmente
• [SPARK-48760] [SC-170139][SQL] Introduzir ALTER TABLE ... Sintaxe CLUSTER BY SQL para alterar colunas de clustering
• [SPARK-48844] Reverter "[SC-170669][SQL] USE INVALID_EMPTY_LOCATION em vez de UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY quando o caminho estiver vazio"
• [FAÍSCA-48833] [SC-171914][SQL][VARIANTE] Variante de suporte em InMemoryTableScan
• [FAÍSCA-48975] [SC-171894][PROTOBUF] Remova a definição desnecessária ScalaReflectionLock de protobuf
• [SPARK-48970] [SC-171800][PYTHON][ML] Evite usar SparkSession.getActiveSession no leitor/gravador do Spark ML
• [SPARK-48844] [SC-170669][SQL] USE INVALID_EMPTY_LOCATION em vez de UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY quando o caminho estiver vazio
• [FAÍSCA-48714] [SC-170136] Corrigir falha nos testes df.mergeInto no PySpark e no UC
• [SPARK-48957] [SC-171797][SS] Retornar classe de erro subclassificada na carga do repositório de estado para o provedor hdfs e rocksdb
• [FAÍSCA-48891] [Backport][15x][SC-171677][SS] Refatorar StateSchemaCompatibilityChecker para unificar todos os formatos de esquema de estado
• [SPARK-48972] [SC-171795][PYTHON] Unificar o tratamento literal de strings em funções
• [SPARK-48388] [SC-171337][SQL] Corrigir o comportamento da instrução SET para scripts SQL
• [FAÍSCA-48743] [SC-170552][SQL][SS] MergingSessionIterator deve lidar melhor quando getStruct retorna null
• [SPARK-48623] [15.x][SC-171322][NÚCLEO] Migrar logs do FileAppender para o log estruturado
• [SPARK-36680] [DBRRM-1123] Reverter "[SC-170640] [SQL] suporta opções de tabela dinâmica para Spark SQL"
• [FAÍSCA-48841] [SC-170868][COMPORTAR-SE-83][SQL] Incluir collationName para sql() de Collate
• [SPARK-48941] [SC-171703][PYTHON][ML] Substitua a invocação da API de leitura/gravação RDD pela API de leitura/gravação do Dataframe
• [SPARK-48938] [SC-171577][PYTHON] Melhoria das mensagens de erro ao registrar UDTFs do Python
• [FAÍSCA-48350] [SC-171040][SQL] Introdução de exceções personalizadas para scripts SQL
• [FAÍSCA-48907] [SC-171158][SQL] Fixe o valor explicitTypes em COLLATION_MISMATCH.EXPLICIT
• [FAÍSCA-48945] [SC-171658][PYTHON] Simplifique as funções regex com lit
• [FAÍSCA-48944] [SC-171576][CONECTAR] Unificar a manipulação de esquema no formato JSON no Connect Server
• [FAÍSCA-48836] [SC-171569] Integrar o esquema SQL com o esquema de estado/metadados
• [SPARK-48946] [SC-171504][SQL] NPE no método de redação quando a sessão é nula
• [FAÍSCA-48921] [SC-171412][SQL] Os codificadores ScalaUDF na subconsulta devem ser resolvidos para MergeInto
• [FAÍSCA-45155] [SC-171048][CONECTAR] Adicionar documentos de API para o cliente JVM/Scala do Spark Connect
• [FAÍSCA-48900] [SC-171319] Adicionar reason campo para cancelJobGroup e cancelJobsWithTag
• [FAÍSCA-48865] [SC-171154][SQL] Adicionar try_url_decode função
• [FAÍSCA-48851] [SC-170767][SQL] Alterar o valor de SCHEMA_NOT_FOUND de para namespacecatalog.namespace
• [FAÍSCA-48510] [SC-170893][2/2] Suporte à API UDAF toColumn no Spark Connect
• [FAÍSCA-45190] [SC-171055][FAÍSCA-48897][PYTHON][CONECTAR] Fazer from_xml suporte ao esquema StructType
• [FAÍSCA-48930] [SC-171304][NÚCLEO] Redigir awsAccessKeyId incluindo accesskey padrão
• [FAÍSCA-48909] [SC-171080][ML][MLLIB] Usa SparkSession em vez de SparkContext ao gravar metadados
• [SPARK-48883] [SC-171133][ML][R] Substitua a invocação da API de leitura/gravação do RDD pela API de leitura/gravação do Dataframe
• [FAÍSCA-48924] [SC-171313][PS] Adicionar uma função auxiliar semelhante a make_interval pandas
• [SPARK-48884] [SC-171051][PYTHON] Remover função auxiliar não utilizada PythonSQLUtils.makeInterval
• [SPARK-48817] [SC-170636][SQL] Execute avidamente vários comandos de união juntos
• [FAÍSCA-48896] [SC-171079][ML][MLLIB] Evite a repartição ao gravar os metadados
• [FAÍSCA-48892] [SC-171127][ML] Evitar leitura de parâmetro por linha Tokenizer
• [FAÍSCA-48927] [SC-171227][NÚCLEO] Mostrar o número de RDDs armazenados em cache em StoragePage
• [FAÍSCA-48886] [15.x][Backport][SC-171039][SS] Adicione informações de versão ao changelog v2 para permitir uma evolução mais fácil
• [SPARK-48903] [SC-171136][SS] Definir a última versão do snapshot do RocksDB corretamente no carregamento remoto
• [FAÍSCA-48742] [SC-170538][SS] Família de colunas virtuais para RocksDB
• [SPARK-48726] [15.x][SC-170753][SS] Crie o formato de arquivo StateSchemaV3 e escreva-o para o operador TransformWithStateExec
• [FAÍSCA-48794] [SC-170882][CONECTAR][15.x] Suporte df.mergeInto para Spark Connect (Scala e Python)
• [FAÍSCA-48714] [SC-170136][PYTHON] Implementar DataFrame.mergeInto no PySpark
• [FAÍSCA-48772] [SC-170642][SS][SQL] Modo de leitor de feed de alterações da fonte de dados de estado
• [FAÍSCA-48666] [SC-170887][SQL] Não pressione o filtro se ele contiver PythonUDFs
• [FAÍSCA-48845] [SC-170889][SQL] GenericUDF captura exceções de filhos
• [FAÍSCA-48880] [SC-170974][NÚCLEO] Evite lançar NullPointerException se o plug-in do driver falhar ao inicializar
• [FAÍSCA-48888] [Backport][15x][SC-170973][SS] Remover a criação de snapshots com base no tamanho das operações do changelog
• [FAÍSCA-48871] [SC-170876] Corrija INVALID_NON_DETERMINISTIC_EXPRESSIONS validação em...
• [SPARK-48883] [SC-170894][ML][R] Substitua a invocação da API de leitura/gravação do RDD pela API de leitura/gravação do Dataframe
• [SPARK-36680] [SC-170640][SQL] Dá suporte a opções de tabela dinâmica para Spark SQL
• [FAÍSCA-48804] [SC-170558][SQL] Adicione classIsLoadable & OutputCommitter.isAssignableFrom verifique as configurações da classe do committer de saída
• [FAÍSCA-46738] [SC-170791][PYTHON] Reativar um grupo de doctests
• [FAÍSCA-48858] [SC-170756][PYTHON] Remover chamada de método obsoleta setDaemon de Thread in log_communication.py
• [SPARK-48639] [SC-169801][CONECTAR][PYTHON] Adicionar origem a RelationCommon
• [FAÍSCA-48863] [SC-170770][ES-1133940][SQL] Correção de ClassCastException ao analisar JSON com "spark.sql.json.enablePartialResults" habilitado
• [SPARK-48343] [SC-170450][SQL] Introdução ao interpretador de script SQL
• [FAÍSCA-48529] [SC-170755][SQL] Introdução de rótulos em scripts SQL
• [SPARK-45292] Reverte “[SC-151609][SQL][HIVE] Remove o Guava das classes compartilhadas do IsolatedClientLoader”
• [FAÍSCA-48037] [SC-165330][NÚCLEO][3.5] Correção do SortShuffleWriter sem métricas relacionadas à gravação aleatória, resultando em dados potencialmente imprecisos
• [FAÍSCA-48720] [SC-170551][SQL] Alinhar o comando ALTER TABLE ... UNSET TBLPROPERTIES ... em v1 e v2
• [FAÍSCA-48485] [SC-167825][CONECTAR][SS] Suporte a interruptTag e interruptAll em consultas de streaming
• [SPARK-45292] [SC-151609][SQL][HIVE] Remove o Guava das classes compartilhadas do IsolatedClientLoader
• [FAÍSCA-48668] [SC-169815][SQL] Suporte ALTER NAMESPACE ... UNSET PROPERTIES na v2
• [FAÍSCA-47914] [SC-165313][SQL] Não exibir o parâmetro splits em Range
• [SPARK-48807] [SC-170643][SQL] Suporte binário para fonte de dados CSV
• [FAÍSCA-48220] [SC-167592][PYTHON][15.X] Permitir a passagem da tabela PyArrow para createDataFrame()
• [SPARK-48545] [SC-169543][SQL] Criar funções SQL to_avro e from_avro para corresponder aos equivalentes do DataFrame
• [FAÍSCA-47577] [SC-168875][FAÍSCA-47579] Corrigir o uso enganoso da chave de log TASK_ID

Suporte ao driver ODBC/JDBC do Databricks

O Databricks dá suporte a drivers ODBC/JDBC lançados nos últimos dois anos. Baixe os drivers e a atualização lançados recentemente (baixe o ODBC, baixe o JDBC).

Ambiente do sistema

• Sistema operacional: Ubuntu 24.04.1 LTS
• Java: Zulu17.50+19-CA
• Scala: 2.12.18
• Python: 3.12.3
• R: 4.4.0
• Lago Delta: 3.2.1

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo CRAN do Gerenciador de Pacotes Posit.

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)