Databricks Runtime 16.1 (Beta)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 16.1, alimentado pelo Apache Spark 3.5.0.

Mudanças comportamentais

O tipo de dados VARIANT não pode mais ser usado com operações que exigem comparações

Na DBR 16.1 e superior, não é possível usar as seguintes cláusulas ou operadores em consultas que incluam um tipo de dados VARIANT:

• DISTINCT
• INTERSECT
• EXCEPT
• UNION
• DISTRIBUTE BY

Além disso, você não pode usar essas funções de DataFrame:

• df.dropDuplicates()
• df.repartition()

Essas operações executam comparações e comparações que usam o tipo de dados VARIANT produzem resultados indefinidos e não são suportadas no Databricks. Se você usar o tipo VARIANT em suas cargas de trabalho ou tabelas do Azure Databricks, o Databricks recomenda as seguintes alterações:

• Atualize consultas ou expressões para converter explicitamente os valores de VARIANT para outros tipos de dados que não sejamVARIANT.
• Se você tiver campos que devem ser usados com qualquer uma das operações acima, extraia esses campos do tipo de dados VARIANT e armazene-os usando tipos de dados nãoVARIANT.

Para saber mais, consulte Consultar dados de variante.

Novos recursos e melhorias

Suporte para agrupamentos no Apache Spark na Pré-visualização Pública

Agora pode atribuir agrupamentos com sensibilidade ao idioma, sem distinção entre maiúsculas e minúsculas e sem distinção de acesso a colunas e expressões STRING. Esses agrupamentos são usados em comparações de cadeia de caracteres, classificação, operações de agrupamento e muitas funções de cadeia de caracteres. Consulte Classificação.

Suporte para agrupamentos no Delta Lake na visualização pública

Agora você pode definir agrupamentos para colunas ao criar ou alterar uma tabela Delta. Consulte Suporte de agrupamento para Delta Lake.

Modo Lite para vácuo na Pré-visualização Pública

Agora você pode usar VACUUM table_name LITE para executar uma operação de vácuo mais leve que aproveita os metadados no log de transações Delta. Consulte Full vs. lite mode e VACUUM.

Parametrizar o USE CATALOG com suporte para a cláusula IDENTIFIER

No Databricks Runtime 16.1 e versões posteriores, a cláusula IDENTIFIER é suportada para a instrução USE CATALOG . Com esse suporte, você pode parametrizar o catálogo atual com base em uma variável de cadeia de caracteres ou marcador de parâmetro.

COMENTÁRIO NA COLUNA suporte para tabelas e visualizações

No Databricks Runtime 16.1 e posterior, a instrução COMMENT ON oferece suporte à alteração de comentários para colunas de exibição e tabela.

Novas funções SQL

No Databricks Runtime 16.1 e posterior, as seguintes novas funções SQL internas estão disponíveis:

• dayname(expr) retorna o acrônimo inglês de três letras para o dia da semana para a data determinada.
• uniforme(expr1, expr2 [,semente]) retorna um valor aleatório com valores independentes e distribuídos de forma idêntica dentro do intervalo especificado de números.
• randstr(length) retorna uma sequência aleatória de caracteres alfanuméricos length.

Invocação de parâmetro nomeado para mais funções

A seguinte função dá suporte a invocação com parâmetros nomeados no Databricks Runtime 16.1 e posterior:

• variante_explodir
• variant_explode_outer
• em linha
• inline_outer
• posexplode
• posexplode_outer

Suporte ao metastore do Hive para o argumento SYNC METADATA do comando REPAIR TABLE

No Databricks Runtime 16.1 e posteriores, é possível usar o argumento SYNC METADATA com REPAIR TABLE para atualizar os metadados de uma tabela gerida pelo metastore do Hive.

Integridade de dados aprimorada para conjuntos compactados do Apache Arrow

No Databricks Runtime 16.1 e superior, para proteger ainda mais contra a corrupção de dados, cada lote compactado de Arrow LZ4 agora inclui o conteúdo LZ4 e os checksums de bloco. Consulte LZ4 Frame Format Description.

Suporte adicionado para métodos Scala na computação do modo de acesso compartilhado do Unity Catalog

No Databricks Runtime 16.1 e posteriores, na computação do modo de acesso compartilhado do Unity Catalog, foi adicionado suporte para os seguintes métodos Scala: Dataset.flatMapGroups(), Dataset.mapGroups()e DataStreamWriter.foreach().

Suporte StreamingQueryListener para Scala

Agora você pode usar StreamingQueryListener no Scala na computação configurada com o modo de acesso compartilhado.

Driver JDBC da Oracle integrado

No Databricks Runtime 16.1 e superior, o Oracle JDBC Driver é incorporado ao Azure Databricks. Se usares um JAR de driver JDBC carregado pelo cliente via DriverManager, deves reescrever os scripts para usar explicitamente o JAR personalizado. Caso contrário, o driver interno é usado.

Erros mais detalhados para tabelas Delta acedidas através de caminhos

Uma nova experiência de mensagem de erro para tabelas Delta acessadas usando caminhos já está disponível. Todas as exceções agora são encaminhadas para o usuário. A exceção DELTA_MISSING_DELTA_TABLE agora está reservada para quando os arquivos subjacentes não podem ser lidos como uma tabela Delta.

Outras alterações

Códigos de erro renomeados para a fonte Structured Streaming cloudFiles

Esta versão inclui uma alteração para renomear os seguintes códigos de erro:

• _LEGACY_ERROR_TEMP_DBR_0143 é renomeado para CF_INCORRECT_STREAM_USAGE.
• _LEGACY_ERROR_TEMP_DBR_0260 é renomeado para CF_INCORRECT_BATCH_USAGE .

Correções de bugs

Os tipos aninhados agora aceitam corretamente restrições NULL

Esta versão corrige um bug que afeta algumas colunas geradas pelo Delta de tipos aninhados, por exemplo, STRUCT. Às vezes, essas colunas rejeitavam incorretamente expressões com base em restrições NULL ou NOT NULL de campos aninhados. Isso foi corrigido.

Atualizações da biblioteca

• Bibliotecas Python atualizadas:
  • ipyflow-core de 0.0.198 a 0.0.201
  • pyccolo de 0.0.52 a 0.0.65
• Bibliotecas R atualizadas:
• Bibliotecas Java atualizadas:
  • io.delta.delta-sharing-client_2.12 de 1.2.0 para 1.2.2
  • org.lz4.lz4-java de 1.8.0 a 1.8.0-databricks-1
  • software.amazon.cryptools.AmazonCorrettoCryptoProvider de 1.6.2-linux-x86_64 para 2.4.1-linux-x86_64

Apache Spark

O Databricks Runtime 16.1 inclui o Apache Spark 3.5.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 16.0, bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• [SPARK-50482] [SC-182879][CORE] Configuração no-op spark.shuffle.spill preterida
• [SPARK-50032] [SC-182706][SQL][16.x] Permitir o uso de nome de agrupamento totalmente qualificado
• [SPARK-50467] [SC-182823][PYTHON] Adicionar __all__ para funções incorporadas
• [SPARK-48898] [SC-182828][SQL] Corrigir bug de fragmentação de variante
• [SPARK-50441] [SC-182668][SQL] Corrigir identificadores parametrizados que não funcionam ao fazer referência a CTEs
• [SPARK-50446] [SC-182639][PYTHON] Nível de concorrência em UDF Python otimizado para Arrow
• [SPARK-50430] [SC-182536][CORE] Use o padrão Properties.clone em vez do clone manual
• [SPARK-50471] [SC-182790][PYTHON] Escritora de Fonte de Dados em Python Baseada em Arrow
• [SPARK-50466] [SC-182791][PYTHON] Refinar o docstring para funções de string - parte 1
• [SPARK-50194] [DBR16.x][SC-182593][SS][PYTHON] Integração de Nova API de Timer e API de Estado Inicial com Timer
• [SPARK-50437] [SC-182586][SS] Reduza a sobrecarga de criação de desserializadores em TransformWithStateExec
• [SPARK-49676] [DBR16.x][SC-182538][SS][PYTHON] Adicionar suporte para encadeamento de...
• [SPARK-49294] [SC-182730][UI] Adicionar atributo width para a caixa de seleção shuffle-write-time.
• [SPARK-50426] [SC-182540][PYTHON] Evite a pesquisa de fontes de dados Python estáticas ao usar fontes de dados incorporadas ou Java
• [SPARK-48356] [SC-182603][SQL] Suporte para a instrução FOR
• [SPARK-50333] [SC-182136][SQL] Codegen Suporte para CsvToStructs (invocando & RuntimeReplaceable)
• [SPARK-50285] [SC-182575] Métricas para confirmações em instâncias StagedTable
• [SPARK-50081] [SC-182344][SQL] Codegen Suporte para XPath*(invocando & RuntimeReplaceable)
• [SPARK-50440] [SC-182592] [SQL] Refactor AttributeSeq.resolveCandidates
• [SPARK-50067] [SC-179648][SQL] Suporte de Codegen para SchemaOfCsv (por invocar & RuntimeReplaceable)
• [SPARK-49873] [SC-178577][SQL] corrigir falha após a mesclagem no teste de erro
• [SPARK-50118] [SC-181259][CONNET] Redefinir cache de estado isolado quando as tarefas estão em execução
• [SPARK-49873] [SC-178577][SQL] Atribuir classe de erro adequada para _LEGACY_ERROR_TEMP_1325
• [SPARK-50381] [SC-182197][CORE] Suporte spark.master.rest.maxThreads
• [SPARK-46725] [SC-182448][SQL] Adicionar função DAYNAME
• [SPARK-50270] [SC-181179][SS][PYTHON] Adicionadas métricas de estado personalizadas para TransformWithStateInPandas
• [SPARK-50118] Reverter "[SC-181259][CONNET] Redefinir cache de estado isolado quando as tarefas estão em execução"
• [SPARK-50075] [SC-181820][SQL][PYTHON][CONNECT] Adicionar APIs DataFrame para funções com valor de tabela
• [SPARK-49470] [SC-175736][UI] Atualizar dataTables, folhas de estilo e javascripts de 1.13.5 para 1.13.11
• [SPARK-50235] Reverter “[SC-180786][SQL] Liberar o recurso ColumnVector após o processamento de todas as linhas em ColumnarToRowExec”
• [SPARK-50324] [SC-182278][PYTHON][CONNECT] Faça createDataFrame acionar Config RPC no máximo uma vez
• [SPARK-50387] [SC-182441][SS] Condição de atualização para expiração do temporizador e teste relevante
• [SPARK-50287] [SC-182400][SQL] Opções de mesclagem de tabela e relação ao criar o WriteBuilder em FileTable
• [SPARK-50066] [SC-181484][SQL] Suporte para Codegen para SchemaOfXml (invocando & RuntimeReplaceable)
• [SPARK-50092] [SC-181568][SQL] Corrigir o comportamento do conector PostgreSQL para matrizes multidimensionais
• [SPARK-50318] [SC-181641][SQL] Adicionar IntervalUtils.makeYearMonthInterval para eliminar a duplicação de código entre interpretados e codegen
• [SPARK-50312] [SC-181646][SQL] Erro de passagem de parâmetro na função createServer do SparkThriftServer quando kerberos é verdade
• [SPARK-50246] [SC-181468][SQL] Atribuir condição de erro apropriada para _LEGACY_ERROR_TEMP_2167: INVALID_JSON_RECORD_TYPE
• [SPARK-50214] [SC-180692][SQL] De json/xml não deve alterar agrupamentos no esquema fornecido
• [SPARK-50250] [SC-181466][SQL] Atribuir condição de erro apropriada para _LEGACY_ERROR_TEMP_2075: UNSUPPORTED_FEATURE.WRITE_FOR_BINARY_SOURCE
• [SPARK-50248] [SC-181467][SQL] Atribuir condição de erro apropriada para _LEGACY_ERROR_TEMP_2058: INVALID_PARTITION_VALUE
• [SPARK-50118] [SC-181259][CONNET] Redefinir cache de estado isolado quando as tarefas estão em execução
• [SPARK-50235] [SC-180786][SQL] Limpar recurso ColumnVector depois de processar todas as linhas em ColumnarToRowExec
• [SPARK-50156] [SC-180781][SQL] Integre _LEGACY_ERROR_TEMP_2113 no UNRECOGNIZED_STATISTIC
• [SPARK-50069] [SC-180163][SQL] Integre _LEGACY_ERROR_TEMP_0028 no UNSUPPORTED_FROM_TO_EXPRESSION
• [SPARK-50154] [SC-180663][SQL] Atribua a condição de erro apropriada para _LEGACY_ERROR_TEMP_0043: INVALID_RESET_COMMAND_FORMAT
• [SPARK-49967] [SC-179534][SQL] Suporte de Codegen para StructsToJson(to_json)
• [SPARK-50055] [SC-180978][SQL] Adicionar alternativa TryMakeInterval
• [SPARK-50397] [SC-182367][CORE] Remover argumentos --ip e -i preteridos de Master/Worker
• [SPARK-50238] [SC-181434][PYTHON] Adicionar suporte a variantes em UDFs/UDTFs/UDAFs do PySpark e UDFs de UC Python
• [SPARK-50079] [SC-179830][SQL] Atribua a condição de erro apropriada para _LEGACY_ERROR_TEMP_2013: NEGATIVE_VALUES_IN_FREQUENCY_EXPRESSION
• [SPARK-50182] [SC-180346][EXEMPLO] Adicionar submit-sql.sh exemplo de API REST
• [SPARK-49966] [SC-179501][SQL] Use Invoke para implementar JsonToStructs(from_json)
• [SPARK-50302] [SC-182518][SS] Garanta tamanhos de índice secundário iguais aos tamanhos de índice primário para variáveis com estado TransformWithState com TTL
• [SPARK-50301] [SC-182241][SS][16.x] Faça com que as métricas TransformWithState reflitam seus significados intuitivos
• [SPARK-50175] [SC-182140][SQL] Alterar cálculo de precedência de agrupamento
• [SPARK-50148] [SC-180292][SQL] Tornar StaticInvoke compatível com o método que declara exceção throw
• [SPARK-50280] [SC-181214][PYTHON] Refatore a classificação dos resultados e o preenchimento do recipiente vazio compute_hist
• [SPARK-50190] [SC-182458][PYTHON] Remover a dependência direta do Numpy do histograma
• [SPARK-50382] [SC-182368][CONNECT] Adicionar documentação para obter informações gerais sobre o desenvolvimento de aplicativos com/extensão do Spark Connect
• [SPARK-50296] [SC-181464][PYTHON][CONNECT] Evite usar uma propriedade de classe no threadpool para o cliente Python Connect
• [SPARK-49566] [SC-182239][SQL] Adicionar sintaxe de pipe SQL para o operador EXTEND
• [SPARK-50036] [SC-179533][CORE][PYTHON] Incluir SPARK_LOG_SCHEMA no contexto do shell REPL
• [SPARK-49859] [SC-178259][CONNECT] Substitua multiprocessing.ThreadPool com ThreadPoolExecutor
• [SPARK-50141] [SC-182378][PYTHON] Fazer lpad e rpad aceitarem argumentos do tipo Column
• [SPARK-50379] [SC-182142][SQL] Corrigir manipulação DayTimeIntevalType no WindowExecBase
• [SPARK-49954] [SC-179110][SQL] Geração de código suporte para SchemaOfJson (invocando & RuntimeReplaceable)
• [SPARK-50398] [SC-182341][CORE] Use o 0 ExitCode para uso --help em scripts do Spark
• [SPARK-50377] [SC-182238][SQL] Permitir avaliar o RuntimeReplaceable dobrável
• [SPARK-50241] [SC-181444][SQL] Substitua NullIntolerant Mixin pelo método Expression.nullIntolerant
• [SPARK-50084] [SC-179672][SQL] Atribua a condição de erro apropriada para _LEGACY_ERROR_TEMP_3168: MISSING_TIMEOUT_CONFIGURATION
• [SPARK-50078] [SC-179649][SQL] Atribua a condição de erro apropriada para _LEGACY_ERROR_TEMP_0038: DUPLICATED_CTE_NAMES
• [SPARK-50057] [SC-179573][SQL] Atribuir condição de erro apropriada para _LEGACY_ERROR_TEMP_1049: INVALID_ATTRIBUTE_NAME_SYNTAX
• [SPARK-50070] [SC-179579][SQL] Integre _LEGACY_ERROR_TEMP_0039 no UNSUPPORTED_SQL_STATEMENT
• [SPARK-50378] [SC-182235][SS] Adicionar métrica personalizada para rastrear gastos para o estado inicial proc em transformWithState
• [SPARK-50029] [SC-179531][SQL] Tornar StaticInvoke compatível com o método que retorna Any
• [SPARK-49990] [SC-179497][SQL] Melhorar o desempenho do randStr
• [SPARK-50048] [SC-179528][SQL] Atribua a condição de erro apropriada para _LEGACY_ERROR_TEMP_2114: UNRECOGNIZED_STATISTIC
• [SPARK-50053] [SC-179532][SQL] Transforme _LEGACY_ERROR_TEMP_2104 em INTERNAL_ERROR
• [SPARK-49665] [SC-180054][SQL] Suporte de agrupamento de corte para funções de cadeia de caracteres
• [SPARK-48549] [SC-176472][SQL][PYTHON] Melhorar a função SQL sentences
• [SPARK-50022] [SC-179503][CORE][UI] Corrigir MasterPage para ocultar links da interface do aplicativo quando a interface está desabilitada
• [SPARK-50087] [SC-182152] Manipulação robusta de expressões booleanas em CASE WHEN para MsSqlServer e conectores futuros
• [SPARK-49991] [SC-179481][SQL] Faça HadoopMapReduceCommitProtocol respeitar 'mapreduce.output.basename' para gerar nomes de arquivo
• [SPARK-50038] [SC-179521][SQL] Atribua a condição de erro apropriada para _LEGACY_ERROR_TEMP_0008: MERGE_WITHOUT_WHEN
• [SPARK-50236] [SC-181671][SQL] Atribuir condição de erro apropriada para _LEGACY_ERROR_TEMP_1156: COLUMN_NOT_DEFINED_IN_TABLE
• [SPARK-50021] [SC-179500][CORE][UI] Corrigir ApplicationPage para ocultar links da interface da aplicação quando a interface está desativada
• [SPARK-49911] [SC-179111][SQL] Corrigir semântica de suporte à igualdade binária
• [SPARK-50025] [SC-179496][SQL] Integre _LEGACY_ERROR_TEMP_1253 no EXPECT_VIEW_NOT_TABLE
• [SPARK-49829] [SC-179480][SS] Corrigir o bug na otimização de adicionar entrada ao armazenamento de estado na junção entre fluxos.
• [SPARK-50004] [SC-179499][SQL] Integre _LEGACY_ERROR_TEMP_3327 no FIELD_NOT_FOUND
• [SPARK-50380] [SC-182210][SQL] ReorderAssociativeOperator deve cumprir o contrato em ConstantFolding
• [SPARK-50340] [SC-181859][SQL] Unwrap UDT na consulta de entrada INSERT
• [SPARK-50237] [SC-181660][SQL] Atribuir condição de erro apropriada para _LEGACY_ERROR_TEMP_2138-9: CIRCULAR_CLASS_REFERENCE
• [SPARK-50258] [SC-181993][SQL] Corrigir problema alterado na ordem da coluna de saída após a otimização do AQE
• [SPARK-49773] [SC-178369][SQL] Exceção Java não detetada de make_timestamp() com fuso horário incorreto
• [SPARK-49977] [SC-179265][SQL] Use computação iterativa baseada em pilha para evitar a criação de muitos objetos Scala List para árvores de expressão profunda
• [SPARK-50153] [SC-181591][SQL] Adicione name ao RuleExecutor para clarificar a impressão dos registos de QueryExecutionMetrics
• [SPARK-50320] [SC-181668][CORE] Torne --remote uma opção oficial removendo o aviso experimental
• [SPARK-49909] [SC-179492]Reverter "[SQL] Corrigir o nome bonito de algumas expressões"
• [SPARK-50330] [SC-180720][SC-181764][SQL] Adicionar dicas aos nós Classificar e Janela
• [SPARK-50364] [SC-182003][SQL] Implementar serialização para o tipo LocalDateTime em Row.jsonValue
• [SPARK-50016] [SC-182139][SQL] Atribua a condição de erro apropriada para _LEGACY_ERROR_TEMP_2067: UNSUPPORTED_PARTITION_TRANSFORM
• [SPARK-49899] [SC-181175][PYTHON][SS] Suporte para eliminarSeExistir no TransformWithStateInPandas
• [SPARK-49757] [SC-177824][SQL] Suporte a expressão IDENTIFIER na instrução SET CATALOG
• [SPARK-50315] [SC-181886][SQL] Suporte a métricas personalizadas para gravações V1Fallback
• [SPARK-42838] [SC-181509][SQL] Atribua um nome à classe de erro _LEGACY_ERROR_TEMP_2000
• [SPARK-50353] [SC-181985][SQL] Refactor ResolveSQLOnFile
• [SPARK-48344] [SC-181967][SQL] Preparar scripts SQL para adição do Execution Framework
• [SPARK-49345] [SC-174786][CONNECT] Certifique-se de usar a Sessão Spark em execução atual
• [SPARK-49925] [SC-178882][SQL] Adicionar testes para ordem com cadeias de caracteres agrupadas
• [SPARK-50167] [SC-181199][PYTHON][CONNECT] Melhorar as mensagens de erro ao plotar e as importações no PySpark
• [SPARK-49368] [SC-174999][CONNECT] Evite acessar classes protobuf lite diretamente
• [SPARK-50056] [SC-181378][SQL] Suporte Codegen para ParseUrl (invocando & RuntimeReplaceable)
• [SPARK-49601] [SC-180770][SS][PYTHON] Suporta manipulação de estado inicial para TransformWithStateInPandas
• [SPARK-49908] [SC-178768][SQL] Atribuir condição de erro adequada para _LEGACY_ERROR_TEMP_0044
• [SPARK-50144] [SC-180307][SS] Resolva a limitação do cálculo de métricas com fontes de streaming DSv1
• [SPARK-49874] [SC-178303][SQL] Remova os especificadores de agrupamento trim e ltrim.
• [SPARK-49513] [SC-180339][SS] Adicionar suporte para temporizador na API transformWithStateInPandas
• [SPARK-49119] [SC-175607][SQL] Corrigir a inconsistência da sintaxe show columns entre v1 e v2
• [SPARK-49206] [SC-173704][CORE][UI] Adicionar Environment Variables tabela ao Master EnvironmentPage
• [SPARK-49934] [SC-179581][SQL] Adicionar elenco implícito para acessar mapa agrupado com literal
• [SPARK-50049] [SC-181659][SQL] Suporta métricas de driver personalizadas na escrita na tabela v2
• [SPARK-50171] [SC-180295][PYTHON] Tornar o numpy opcional para o gráfico do KDE
• [SPARK-49962] [SC-179320][SQL] Simplifique a hierarquia de classes AbstractStringTypes
• [SPARK-50226] [SC-181483][SQL] Corrigir MakeDTInterval e MakeYMInterval para capturar exceções Java
• [SPARK-48775] [SC-170801][SQL][STS] Substitua SQLContext por SparkSession no STS
• [SPARK-49015] [SC-175688][CORE] O Connect Server deve respeitar spark.log.structuredLogging.enabled
• [SPARK-50327] [SC-181667][SQL][16.x] Extração da resolução de função para reutilização no analisador de passagem única
• [SPARK-49995] [SC-180762][SQL] Adicionar suporte a argumentos nomeados a mais TVFs
• [SPARK-49268] [SC-174903][CORE] Registar exceções de E/S no provedor de histórico do SHS
• [SPARK-48123] [SC-164989][Core] Fornecer um esquema de tabela constante para consultar logs estruturados
• [SPARK-49217] [SC-174904][CORE] Suporta configuração de tamanho de buffer separado no UnsafeShuffleWriter
• [SPARK-50325] [SC-181664][SQL][16.x] Isolar a resolução de alias para ser reutilizada no Analisador de Passagem Única
• [SPARK-50322] [SC-181665][SQL] Corrigir identificador parametrizado em uma subconsulta
• [SPARK-48400] [SC-175283][CORE] Promova PrometheusServlet para DeveloperApi
• [SPARK-50118] Reverter "[SC-181259][CONNET] Redefinir cache de estado isolado quando as tarefas estão em execução"
• [SPARK-50306] [SC-181564][PYTHON][CONNECT] Suportar Python 3.13 no Spark Connect
• [SPARK-50152] [SC-181264][SS] Suporte a handleInitialState com leitor de dados de estado.
• [SPARK-50260] [SC-181271][CONNECT] Refatorar e otimizar o Spark C...
• [SPARK-47591] [SC-163090][SQL] Hive-thriftserver: Migrar logInfo com variáveis para o framework de logging estruturado
• [SPARK-49312] [SC-174672][PYTHON] Melhorar mensagem de erro para assertSchemaEqual
• [SPARK-49439] [SC-175236][SQL] Corrija o nome bonito da expressão FromProtobuf & ToProtobuf
• [SPARK-50092] [ES-1258521] Corrigir o comportamento do conector PostgreSQL para matrizes multidimensionais
• [SPARK-49913] [SC-181565][SQL] Adicionar verificação de nomes de rótulos exclusivos em escopos rotulados aninhados
• [SPARK-49563] [SC-181465][SQL] Adicionar sintaxe de pipe SQL para o operador WINDOW
• [SPARK-49661] [SC-179021][SQL] Implemente o hashing e a comparação do agrupamento de cortes.
• [SPARK-38912] [SC-181543][PYTHON] Remova o comentário relacionado com o classmethod e a propriedade
• [SPARK-49770] [16.x][SC-179802][SC-179270][SS][RocksDB Hardening] Melhore o gerenciamento de mapeamento de arquivos SST do RocksDB e corrija o problema de recarregar a mesma versão com o snapshot existente
• [SPARK-49002] Reverter “[SC-172846][SQL] Tratar consistentemente locais inválidos em WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY”
• [SPARK-50290] [SC-181453][SQL] Adicionar um sinalizador para desativar a criação de DataFrameQueryContext
• [SPARK-49668] [SC-178268][SQL] Implementar suporte de chave de agrupamento para agrupamento de corte
• [SPARK-50262] [SC-181193][SQL] Proibir a especificação de tipos complexos durante a alteração do agrupamento
• [SPARK-48898] [SC-181435][SQL] Adicionar funções de destruição de variantes
• [SPARK-48273] [SC-181381] Reverter "[SQL] Corrigir a reescrita tardia de PlanWithUnresolvedIdentifier
• [SPARK-50222] [SC-180706][CORE] Suporte spark.submit.appName
• [SPARK-50208] [SC-180662][CORE] Suporte spark.master.useDriverIdAsAppName.enabled
• [SPARK-50224] [SC-180689][SQL] As substituições de IsValidUTF8|ValidateUTF8|TryValidateUTF8|MakeValidUTF8 devem ser NullIntolerant
• [SPARK-50247] [SC-180962][CORE] Defina BLOCK_MANAGER_REREGISTRATION_FAILED como ExecutorExitCode
• [SPARK-50282] [SC-181221][ML] Simplifique TargetEncoderModel.transform
• [SPARK-50112] [SC-180763][SQL] Permitindo que o operador TransformWithState use a codificação Avro
• [SPARK-50267] [SC-181180][ML] Melhorar TargetEncoder.fit com APIs de DataFrame
• [SPARK-37178] [SC-180939][ML] Adicionar codificação de destino a ml.feature
• [SPARK-50118] [SC-181259][CONNET] Redefinir cache de estado isolado quando as tarefas estão em execução
• [SPARK-50085] [BEHAVE-176][SC-179809][PYTHON] Fazer com que lit(ndarray) com np.int8 respeite o tipo de dados numpy
• [SPARK-50256] [SC-181048][SQL] Adicione uma validação leve para verificar se um plano lógico fica sem solução após cada regra de otimização
• [SPARK-50196] [SC-180932][CONNECT] Corrija o contexto de erro Python para usar um contexto adequado
• [SPARK-50274] [SC-181181][CORE] Proteção contra uso após fechamento em DirectByteBufferOutputStream
• [SPARK-49999] [SC-180063][PYTHON][CONNECT] Suporta parâmetro opcional "coluna" em gráficos de caixa, kde e hist
• [SPARK-50273] [SC-181178][SS] Melhorar o registo para os casos de aquisição e libertação de bloqueio no RocksDB
• [SPARK-50033] [SC-180720][SC-180659][SQL] Adicione uma dica ao nó lógico de Aggregate()
• [SPARK-50163] [16.x][SC-180201][SC-180664][SS] Corrigir a liberação extra do acquireLock do RocksDB devido ao listener de conclusão
• [SPARK-50253] [SC-180969][SS] Stream-Stream Join não deve buscar o ID do ponto de verificação se não for suportado.
• [SPARK-50255] [SC-180964][PYTHON] Evite fundição desnecessária no compute_hist
• [SPARK-50228] [SC-180780][SQL] Mover a regra de RewriteCollationJoin para FinishAnalysis
• [SPARK-50001] [SC-179524][PYTHON][PS][CONNECT] Ajuste a "precisão" para fazer parte dos kwargs para gráficos de caixa
• [SPARK-49637] [SC-180160][SQL] Alterou-se a mensagem de erro para INVALID_FRACTION_OF_SECOND
• [SPARK-49530] [SC-180658][PYTHON] Obter sessão ativa a partir de dataframes
• [SPARK-50195] [SC-180654][CORE] Corrigir StandaloneRestServer para propagar spark.app.name para SparkSubmit corretamente
• [SPARK-50229] [SC-180773] Reduza o uso de memória no driver para esquemas amplos reduzindo a vida útil dos objetos AttributeReference criados durante o planejamento lógico
• [SPARK-50231] [SC-180815][PYTHON] Faça a função instr aceitar Coluna substring
• [SPARK-49854] [SC-179812][16.x][SQL] Clonar o gestor de artefatos durante a clonagem da sessão
• [SPARK-50028] [SC-180699][CONNECT] Substitua bloqueios globais no ouvinte do servidor Spark Connect por bloqueios refinados
• [SPARK-49615] [SC-180672] [ML] Garanta que todas as validações de esquema para conjuntos de dados de transformadores de características de ML estejam em conformidade com a configuração "spark.sql.caseSensitive".
• [SPARK-50219] [SC-180694][SQL] Refatore ApplyCharTypePadding para que métodos auxiliares possam ser usados em um resolvedor de passagem única
• [SPARK-50077] [SC-179827][SQL] Introduza um novo objeto pattern para LogicalRelation para ajudar a evitar o padrão padrão de parâmetros completos
• [SPARK-50128] [Backport][16x][SC-180677][SS] Adicionar APIs para processadores com gestão de estado usando codificadores implícitos em Scala
• [SPARK-50061] [SC-179961][SQL] Habilitar tabela de análise para colunas agrupadas
• [SPARK-49993] [SC-180084][SQL] Melhorar mensagens de erro para Soma e Média
• [SPARK-49638] [SC-179665][SQL] Remova a sugestão de configuração ANSI no INVALID_URL
• [SPARK-50204] [SC-180660][SQL] Fator out HiveTableRelation resolução do caminho de leitura
• [SPARK-50193] [SC-180651][SS] Corrigir o tratamento de exceções para validar modos de tempo
• [SPARK-50179] [SC-180342][CORE] Tornar spark.app.name propriedade opcional na API REST
• [SPARK-50068] [SC-180300][SQL] Refatorar TypeCoercion e AnsiTypeCoercion para separar transformações de nó único
• [SPARK-49411] [SC-179483][SS] Comunicar o ID do ponto de verificação do State Store entre o driver e os operadores com estado
• [SPARK-50124] [SC-180294][SQL] LIMIT/OFFSET deve preservar a ordenação de dados
• [SPARK-49506] [SC-180165][SQL] Otimizar ArrayBinarySearch para vetor dobrável
• [SPARK-50097] [SC-179908][SQL] Atribua a condição de erro apropriada para _LEGACY_ERROR_TEMP_1248: ALTER_TABLE_SERDE_FOR_DATASOURCE_TABLE
• [SPARK-50071] [SC-180159][SQL][PYTHON] Adicionar try_make_timestamp(_ltz e _ntz) e testes relacionados
• [SPARK-50024] Reverter "[SC-179515][PYTHON][CONNECT] Alternar para usar o logger em vez do módulo de avisos no cliente"
• [SPARK-50054] [SC-180228][PYTHON][CONNECT] Suporte para gráficos de histograma
• [SPARK-50015] [SC-179964][SQL] Atribua a condição de erro apropriada para _LEGACY_ERROR_TEMP_1125: MISSING_DATABASE_FOR_V1_SESSION_CATALOG
• [SPARK-50155] [SC-180240][3.5] Mover arquivos scala e java para suas pastas padrão
• [SPARK-49980] [SC-180353][CORE][SQL] Corrigir possíveis vazamentos de fluxo de arquivos causados por interrupção em tarefas canceladas
• [SPARK-49010] [SC-172304][SQL][XML] Adicionar testes de unidade para inferência de esquema XML sensível a maiúsculas e minúsculas
• [SPARK-50024] [SC-179515][PYTHON][CONNECT] Alternar para usar o logger em vez do módulo de avisos no cliente
• [SPARK-49562] [SC-180211][SQL] Adicionar sintaxe de pipe SQL para agregação
• [SPARK-49663] [SC-180239][SQL] Habilitar sugestões RTRIM em expressões de agrupamento
• [SPARK-48965] [SC-175926][SQL] Use o esquema correto no Dataset#toJSON
• [SPARK-48493] [SC-175893][PYTHON] Melhore o leitor de fontes de dados Python com suporte direto a Batch de Arrow para melhorar o desempenho
• [SPARK-49734] [SC-180226][PYTHON] Adicionar seed argumento para a função shuffle
• [SPARK-50174] [16.x][SC-180253][SQL] Fatorar resolução UnresolvedCatalogRelation
• [SPARK-49989] [SC-179512][PYTHON][CONNECT] Suporte a gráficos de densidade kde
• [SPARK-49805] [SC-180218][SQL][ML] Remover funções private[xxx] do function.scala
• [SPARK-49808] [SC-179490][SQL] Corrigir um impasse na execução de subconsultas devido a vals preguiçosos
• [SPARK-49929] [SC-180144][PYTHON][CONNECT] Gráficos de caixa de suporte
• [SPARK-50008] [SC-179290][PS][CONNECT] Evite operações desnecessárias no attach_distributed_sequence_column
• [SPARK-49767] [SC-180161][PS][CONNECT] Refatorar a invocação da função interna
• [SPARK-49683] [SC-178341][SQL] Agrupamento de corte de bloco
• pt-PT: [SPARK-49939] [SC-178941][SQL] Suporte para Codegen no json_object_keys (através de Invoke & RuntimeReplaceable)
• [SPARK-50031] [SC-179582][SQL] Adicionar a expressão TryParseUrl
• [SPARK-49766] [SC-178933][SQL] Suporte de Codegen para json_array_length (por Invoke & RuntimeReplaceable)
• [SPARK-50046] [SC-180026][SS] Use a ordem estável do nó EventTimeWatermark para calcular a marca d'água
• [SPARK-49540] [SC-180145][PS] Unifique o uso de distributed_sequence_id
• [SPARK-50060] [SC-179965][SQL] Conversão desabilitada entre diferentes tipos agrupados em TypeCoercion e AnsiTypeCoercion
• [SPARK-49004] [SC-173244][CONNECT] Usar registo separado para funções internas da API de colunas
• [SPARK-49811] [SC-177888][SQL]Renomear StringTypeAnyCollation
• [SPARK-49202] [SC-180059][PS] Aplicar ArrayBinarySearch para histograma
• [SPARK-49203] [SC-175734][SQL] Adicionar expressão para java.util.Arrays.binarySearch
• [SPARK-50034] [SC-179816][CORE] Corrigir relatórios incorretos de erros fatais como exceções não detetadas em SparkUncaughtExceptionHandler
• [SPARK-50093] [SC-179836][SQL] As classificações que usam ICU devem indicar a versão da biblioteca ICU utilizada.
• [SPARK-49985] [SC-179644][SQL] Remover suporte para tipos de intervalo em Variant
• [SPARK-49103] [SC-173066][CORE] Suporte spark.master.rest.filters
• [SPARK-50090] [SC-179819] Refatorar ResolveBinaryArithmetic para separar a transformação de nó único
• [SPARK-49902] [SC-179650][SQL] Detetar erros de tempo de execução subjacentes no RegExpReplace
• [SPARK-49126] [SC-173342][CORE] Mover spark.history.ui.maxApplications definição de configuração para History.scala
• [SPARK-50094] [SC-179820][PYTHON][CONNECT] Melhor mensagem de erro ao usar a ferramenta de perfil de memória em editores sem números de linha
• [SPARK-50062] [SC-179835][SQL] Suporta agrupamentos por InSet
• [SPARK-50035] [Backport][16x][SC-179530][SS] Adicionar suporte para a função explícita handleExpiredTimer do processador de estado
• [SPARK-49982] [SC-179814][SQL] Corrigir cache negativo em InMemoryRelation
• [SPARK-49082] [SC-173350][SQL] Alargamento das promoções de tipo em AvroDeserializer
• [SPARK-50088] [SC-179680][SQL] Refatorar UnresolvedStarBase.expand
• [SPARK-49802] [SC-179482][SS] Adicionar suporte para leitura de feed de alterações para tipos de mapa e lista usados em processadores com estado monitorado
• [SPARK-49846] [SC-179506][SS] Adicione métricas numUpdatedStateRows e numRemovedStateRows para uso com o operador transformWithState
• [SPARK-50050] [SC-179643][PYTHON][CONNECT][16.X] Permitir que lit aceite ndarray do tipo str e bool do numpy
• [SPARK-49821] [SC-179527][SS][PYTHON] Implemente o suporte MapState e TTL para TransformWithStateInPandas
• [SPARK-49558] [SC-179485][SQL] Adicionar sintaxe de pipe SQL para LIMIT/OFFSET e ORDER/SORT/CLUSTER/DISTRIBUTE BY
• [SPARK-48144] [SC-165725][LC-4080][SQL] Corrija canPlanAsBroadcastHashJoin para respeitar as dicas de junção aleatória
• [SPARK-50051] [SC-179571][PYTHON][CONNECT] Torne lit compatível com ndarray numpy vazio
• [SPARK-50018] [SC-179488][SQL] Tornar AbstractStringType serializável
• [SPARK-50016] [SC-179491][SQL] Melhorar erro de incompatibilidade de agrupamento explícito
• [SPARK-50010] [SC-179487][SQL] Detalhar erro de incompatibilidade de agrupamento implícito
• [SPARK-48749] [SC-170116][SQL] Simplifique o UnaryPositive e elimine suas regras do Catalyst com RuntimeReplaceable
• [SPARK-49857] [SC-178576][SQL] Adicionar StorageLevel à API localCheckpoint do DataSet
• [SPARK-50058] [SC-179538][SQL] Extrair funções de normalização do plano para usá-las posteriormente no teste do analisador de passagem única.
• [SPARK-50052] [SC-179535][PYTHON][16.X] Fazer com que o NumpyArrayConverter suporte ndarray de string vazio
• [SPARK-47261] [SC-173665][SQL] Atribua um nome melhor para erros _LEGACY_ERROR_TEMP_1172, _LEGACY_ERROR_TEMP_1173 e _LEGACY_ERROR_TEMP_1174
• [SPARK-49147] [SC-173471][CORE] Identificar KryoRegistrator com a interface DeveloperApi
• [SPARK-48949] [SC-173070][SQL] SPJ: Filtragem de partição em tempo de execução
• [SPARK-50044] [SC-179523][PYTHON] Refinar o docstring de várias funções matemáticas
• [SPARK-48757] [SC-170113][CORE] Fazer IndexShuffleBlockResolver ter construtores explícitos
• [SPARK-50037] [SQL] Refactor AttributeSeq.resolve(...)
• [SPARK-48782] [SC-177056][SQL] Adicionar suporte para executar procedimentos em catálogos
• [SPARK-49057] [SC-173081][SQL] Não bloqueie o loop AQE ao enviar estágios de consulta
• [SPARK-48824] [SC-176772][BEHAVE-167][SQL] Adicionar coluna de identidade Sintaxe SQL
• [SPARK-48773] [SC-170773] Configuração do documento "spark.default.parallelism" por config builder framework
• [SPARK-48735] [SC-169810][SQL] Melhoria de desempenho para a função BIN
• [SPARK-48900] [SC-172433] Adicionar campo reason para todas as chamadas internas para cancelamento de trabalho/estágio
• [SPARK-48488] [SC-167605][CORE] Corrigir métodos log[info|warning|error] no SparkSubmit
• [SPARK-48708] [SC-169809][CORE] Remova três registros de tipo desnecessários do KryoSerializer
• [SPARK-49958] [SC-179312][PYTHON] API Python para funções de validação de cadeia de caracteres
• [SPARK-49979] [SC-179264][SQL] Corrigir problema de suspensão do AQE ao coletar duas vezes em um plano com falha
• [SPARK-48729] [SC-169795][SQL] Adicionar uma interface UserDefinedFunction para representar uma função SQL
• [SPARK-49997] [SC-179279][SQL] Integrar _LEGACY_ERROR_TEMP_2165 no MALFORMED_RECORD_IN_PARSING
• [SPARK-49259] [SC-179271][SS]Criação de partição baseada em tamanho durante a leitura do Kafka
• [SPARK-48129] [SC-165006][PYTHON] Fornecer um esquema de tabela constante no PySpark para consultar logs estruturados
• [SPARK-49951] [SC-179259][SQL] Atribuir condição de erro adequada para LEGACY_ERROR_TEMP(1099|3085)
• [SPARK-49971] [SC-179278][SQL] Atribuir condição de erro adequada para _LEGACY_ERROR_TEMP_1097
• [SPARK-49998] [SC-179277][SQL] Integração de _LEGACY_ERROR_TEMP_1252 no EXPECT_TABLE_NOT_VIEW
• [SPARK-49876] [SC-179262][CONNECT] Livre-se das fechaduras globais do Serviço Spark Connect
• [SPARK-49957] [SC-179202][SQL] API Scala para funções de validação de cadeia de caracteres
• [SPARK-48480] [SC-173055][SS][CONNECT] StreamingQueryListener não deve ser afetado por spark.interrupt()
• [SPARK-49643] [SC-179239][SQL] Mesclar _LEGACY_ERROR_TEMP_2042 em ARITHMETIC_OVERFLOW
• [SPARK-49959] [SC-179109][SQL] Corrigir ColumnarArray.copy() para ler nulos a partir do deslocamento correto
• [SPARK-49956] Reverter "[SC-179070] Agrupamentos desativados com expressão collect_set"
• [SPARK-49987] [SC-179180][SQL] Corrija o prompt de erro quando seedExpression não é dobrável no randstr
• [SPARK-49948] [SC-179158][PS][CONNECT] Adicionar parâmetro "precision" aos pandas no gráfico de caixa Spark
• [SPARK-49970] [SC-179167][SQL] Atribuir condição de erro adequada para _LEGACY_ERROR_TEMP_2069
• [SPARK-49916] [SC-179108][SQL] Lançar exceção apropriada para incompatibilidade de tipo entre ColumnType e tipo de dados em algumas linhas
• [SPARK-49956] [SC-179070] Agrupamentos desativados com expressão collect_set
• [SPARK-49974] [16.x][SC-179071][SQL] Mover resolveRelations(...) para fora do Analyzer.scala
• [SPARK-47259] [SC-176437][SQL] Atribuir nomes a condições de erro para erros de intervalo
• [SPARK-47430] [SC-173679][SQL] Revisão do agrupamento por tipo de mapa para corrigir exceção de referência de associação
• [SPARK-49067] [SC-172616][SQL] Mover utf-8 literal para métodos internos da classe UrlCodec
• [SPARK-49955] [SC-178989][SQL] valor nulo não significa arquivo corrompido ao analisar JSON string RDD
• [SPARK-49393] [SC-175212][SQL] Falha por padrão em APIs de plug-in de catálogo preteridas
• [SPARK-49952] [SC-178985][SQL] Atribuir condição de erro adequada para _LEGACY_ERROR_TEMP_1142
• [SPARK-49405] [SC-175224][SQL] Restringir conjuntos de caracteres em JsonOptions
• [SPARK-49892] [SC-178975][SQL] Atribuir classe de erro adequada para _LEGACY_ERROR_TEMP_1136
• [SPARK-49904] [SC-178973][SQL] Atribuir condição de erro adequada para _LEGACY_ERROR_TEMP_2140
• [SPARK-47257] [SC-174244][SQL] Atribuir nomes a classes de erro _LEGACY_ERROR_TEMP_105[3-4] e _LEGACY_ERROR_TEMP_1331
• [SPARK-49915] [SC-178869][SQL] Manipular zeros e uns em ReorderAssociativeOperator
• [SPARK-49891] [SC-178970][SQL] Atribuir condição de erro adequada para _LEGACY_ERROR_TEMP_2271
• [SPARK-49829] [ES-1254513] Revisar a otimização na adição de entrada ao armazenamento de estado na junção de fluxos contínuos (correção de precisão)
• [SPARK-49918] [SC-178748][CORE] Utilize acesso apenas de leitura para conf em SparkContext quando apropriado
• [SPARK-49666] [SC-177891][SQL] Adicionar sinalizador de recurso para o recurso de agrupamento de corte
• [SPARK-48885] [SC-171050][SQL] Alterar algumas subclasses de RuntimeReplaceable para que utilizem lazy val na substituição
• [SPARK-49932] [SC-178931][CORE] Use tryWithResource liberar recursos JsonUtils#toJsonString para evitar vazamentos de memória
• [SPARK-49949] [SC-178978][PS] Evite tarefas de análise desnecessárias no attach_sequence_column
• [SPARK-49924] [SC-178935][SQL] Manter containsNull após ArrayCompact substituição
• [SPARK-49905] [ES-1265435] Use um ShuffleOrigin dedicado para o operador com estado para evitar que a operação de shuffle seja modificada por causa do AQE.
• [SPARK-49615] [SC-178877] Correção de bugs: Faça com que a validação do esquema da coluna ML esteja em conformidade com o spark config spark.sql.caseSensitive.
• [SPARK-49121] [SC-174787][SQL] Suporte from_protobuf e to_protobuf para funções SQL
• [SPARK-47496] [SC-160529][SQL] Suporte Java SPI para registro dinâmico de dialetos JDBC
• [SPARK-49359] [SC-174895][SQL] Permitir que implementações StagedTableCatalog retornem à gravação não atômica
• [SPARK-49895] [SC-178543][SQL][ES-1270338] Melhorar o erro ao encontrar vírgula à direita na cláusula SELECT
• [SPARK-47945] [SC-163457][SQL] MsSQLServer: Documentar o mapeamento de Data Types do Spark SQL para o Microsoft SQL Server e adicionar testes
• [SPARK-46037] [SC-175495][SQL] Correção de precisão para Shuffled Hash Join construído à esquerda sem geração de código
• [SPARK-47813] [SC-162615][SQL] Substitua getArrayDimension por updateExtraColumnMeta
• [SPARK-49542] [SC-178765][SQL] Erro na avaliação da exceção de transformação de partição
• [SPARK-47172] [SC-169537][CORE] Adicionar suporte para AES-GCM para criptografia RPC
• [SPARK-47666] [SC-161476][SQL] Corrigir o NPE ao ler a matriz de bits do MySQL como LongType
• [SPARK-48947] [SC-174239][SQL] Use o nome do conjunto de caracteres em caixa baixa para diminuir o cache ausente em Charset.forName
• [SPARK-49909] [SC-178552][SQL] Corrija o nome bonito de algumas expressões
• [SPARK-47647] [SC-161377][SQL] Faça com que a fonte de dados MySQL seja capaz de ler bit(n>1) como BinaryType, tal como no Postgres
• [SPARK-46622] [SC-153004][CORE] Substituir método toString por o.a.s.network.shuffledb.StoreVersion
• [SPARK-48961] [SC-171910][PYTHON] Torne a nomenclatura do parâmetro PySparkException consistente com a JVM
• [SPARK-49889] [SC-178474][PYTHON] Adicionar trim de argumento para funçõestrim/ltrim/rtrim
• [SPARK-49863] [ES-1184693][SC-178546][SQL] Corrija NormalizeFloatingNumbers para preservar a anulabilidade de estruturas aninhadas
• [SPARK-47537] [SC-160747][SQL] Corrigir erro de mapeamento de tipo de dados no MySQL Connector/J
• [SPARK-47628] [SC-161257][SQL] Corrigir problema de matriz de bits Postgres 'Não é possível converter para booleano'
• [SPARK-49843] [SC-178084][ES-1268164][SQL] Corrigir alteração de comentário em colunas char/varchar
• [SPARK-49549] [SC-178764][SQL] Atribua um nome às condições de erro _LEGACY_ERROR_TEMP_3055, 3146
• [SPARK-49782] [SC-178756][SQL] A regra ResolveDataFrameDropColumns resolve UnresolvedAttribute com saída do filho
• [SPARK-49791] [SC-177730][SQL] Tornar DelegatingCatalogExtension mais extensível
• [SPARK-49559] [SC-178551][SQL] Adicionar sintaxe de pipe SQL para operações definidas
• [SPARK-49906] [SC-178536][SQL] Introduzir e usar CONFLICTING_DIRECTORY_STRUCTURES erro para PartitioningUtils
• [SPARK-49877] [SC-178392][SQL] Alterar assinatura da função classifyException: adicionar argumento isRuntime
• [SPARK-47501] [SC-160532][SQL] Adicione convertDateToDate como o convertTimestampToTimestamp existente para JdbcDialect
• [SPARK-49044] [SC-175746][SQL] ValidateExternalType deve retornar o elemento filho em caso de erro.
• [SPARK-47462] [SC-160460][SQL] Alinhar mapeamentos de outros tipos numéricos não assinados com TINYINT no MySQLDialect
• [SPARK-47435] [SC-160129][SQL] Corrigir problema de estouro de MySQL TINYINT NÃO ASSINADO causado por SPARK-45561
• [SPARK-49398] [SC-176377][SQL] Melhorar o erro para parâmetros na consulta de CACHE TABLE e CREATE VIEW
• [SPARK-47263] [SC-177012][SQL] Atribuir nomes às condições herdadas _LEGACY_ERROR_TEMP_13[44-46]
• [SPARK-49605] [SC-176605][SQL] Corrigir a mensagem quando ascendingOrder estiver DataTypeMismatch no SortArray
• [SPARK-49806] [SC-178304][SQL][CONNECT] Remover blank space redundantes após show em clientes Scala e Connect
• [SPARK-47258] [SC-175032][SQL] Atribuir nomes a classes de erro _LEGACY_ERROR_TEMP_127[0-5]
• [SPARK-49564] [SC-178461][SQL] Adicionar sintaxe de pipe SQL para o operador JOIN
• [SPARK-49836] [SC-178339][SQL][SS] Corrigir consulta possivelmente quebrada quando a janela é fornecida para window/session_window fn
• [SPARK-47390] [SC-163306][SC-159312][SPARK-47396][SC-159376][SPARK-47406] Manipular mapeamento de timestamps SQL para Postgres e MySQL
• [SPARK-49776] [SC-177818][PYTHON][CONNECT] Suporte gráficos de pizza
• [SPARK-49824] [SC-178251][SS][CONNECT] Melhorar o registo no SparkConnectStreamingQueryCache
• [SPARK-49894] [SC-178460][PYTHON][CONNECT] Refinar a representação de string das operações de campos de coluna
• [SPARK-49764] [SC-177491][PYTHON][CONNECT] Suporte para gráficos de área
• [SPARK-49694] [SC-177376][PYTHON][CONNECT] Suporte a gráficos de dispersão
• [SPARK-49744] [SC-178363][SS][PYTHON] Implementar suporte TTL para ListState em TransformWithStateInPandas
• [SPARK-49879] [SC-178334][CORE] Mover TransportCipherUtil para um arquivo separado para eliminar avisos de compilação Java
• [SPARK-49866] [SC-178353][SQL] Melhorar a mensagem de erro para descrever tabela com colunas de partição
• [SPARK-49867] [SC-178302][ES-1260570][SQL] Melhorar a mensagem de erro quando o índice está fora dos limites ao chamar GetColumnByOrdinal
• [SPARK-49607] [SC-177373][PYTHON] Atualizar a abordagem de amostragem para parcelas baseadas em amostra
• [SPARK-49626] [SC-177276][PYTHON][CONNECT] Suporta gráficos de barras horizontais e verticais
• [SPARK-49531] [SC-177770][PYTHON][CONNECT] Suporte para a criação de um gráfico de linhas com o backend plotly
• [SPARK-49444] [SC-177692][ES-1203248][SQL] UnivocityParser modificado para lançar exceções de tempo de execução causadas por ArrayIndexOutOfBounds com mensagens mais orientadas ao usuário
• [SPARK-49870] [SC-178262][PYTHON] Adicionar suporte a Python 3.13 no Spark Classic
• [SPARK-49560] [SC-178121][SQL] Adicionar sintaxe de pipe SQL para o operador TABLESAMPLE
• [SPARK-49864] [SC-178305][SQL] Melhore a mensagem de BINARY_ARITHMETIC_OVERFLOW
• [SPARK-48780] [SC-170274][SQL] Tornar o tratamento de erros em NamedParametersSupport mais genérico para lidar com funções e procedimentos
• [SPARK-49358] [SC-178158][SQL] Expressão de modo para tipos de mapa com cadeias de caracteres agrupadas
• [SPARK-47341] [SC-178157][SQL] Corrigir documentação imprecisa de RuntimeConfig#get
• [SPARK-48357] [SC-178153][SQL] Suporte para instrução LOOP
• [SPARK-49845] [SC-178059][CORE] Tornar appArgs e environmentVariables opcionais na API REST
• [SPARK-49246] [SC-174679][SQL] TableCatalog#loadTable deve indicar se é para escrever
• [SPARK-48048] [SC-177525][SC-164846][CONNECT][SS] Adicionado suporte de ouvinte do lado do cliente para Scala
• [SPARK-48700] [SC-177978][SQL] Expressão de modo para tipos complexos (todos os agrupamentos)
• [SPARK-48196] [SC-177899][SQL] Transforme planos val preguiçosos QueryExecution em LazyTry
• [SPARK-49749] [16.x][SC-177877][CORE] Alterar o nível de log para debug em BlockManagerInfo
• [SPARK-49561] [SC-177897][SQL] Adicionar sintaxe de pipe SQL para os operadores PIVOT e UNPIVOT
• [SPARK-49823] [SC-177885][SS] Evite a descarga durante o desligamento no processo de encerramento do RocksDB
• [SPARK-49820] [SC-177855] [PYTHON] Alterar raise IOError para raise OSError
• [SPARK-49653] [SC-177266][SQL] Junção única para subconsultas escalares correlacionadas
• [SPARK-49552] [SC-177477][PYTHON] Adicionar suporte à API DataFrame para as novas funções SQL 'randstr' e 'uniform'
• [SPARK-48303] [16.x][SC-166251][CORE] Reorganizar LogKeys
• [SPARK-49656] [16x][Backport][SS] Adicione suporte para variáveis de estado com tipos de coleção de estado de valor e opções de leitura de alterações de feed
• [SPARK-48112] [SC-165129][CONNECT] Expor sessão no SparkConnectPlanner aos plugins
• [SPARK-48126] [16.x][SC-165309][Core] Fazer com que o spark.log.structuredLogging.enabled seja eficaz
• [SPARK-49505] [SC-176873][SQL] Crie novas funções SQL "randstr" e "uniforme" para gerar cadeias de caracteres ou números aleatórios dentro de intervalos
• [SPARK-49463] [SC-177474] Suporte ListState para TransformWithStateInPandas
• [SPARK-48131] [SC-165007][Core] Unifique mdc.taskName e task_name de chaves MDC
• [SPARK-49557] [SC-177227][SQL] Adicionar sintaxe de pipe SQL para o operador WHERE
• [SPARK-49323] [16.x][SC-174689][CONNECT] Mover o MockObserver da pasta de teste do Spark Connect Server para a pasta principal do servidor
• [SPARK-49745] [SC-177501][SS] Adicionar uma alteração para ler os temporizadores registados através do leitor de fonte de dados de estado
• [SPARK-49772] [16.x][SC-177478][SC-177214][SS] Remova ColumnFamilyOptions e adicione configurações diretamente a dbOptions no RocksDB

Suporte ao driver ODBC/JDBC do Databricks

O Databricks suporta drivers ODBC/JDBC lançados nos últimos 2 anos. Faça o download dos drivers lançados recentemente e atualize (baixar ODBC, baixar JDBC).

Ambiente do sistema

• Sistema Operacional: Ubuntu 24.04.1 LTS
• Java : Zulu17.54+21-CA
• Scala: 2.12.18
• Python: 3.12.3
• R: 4.4.0
• Delta Lake: 3.2.1

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo CRAN do Posit Package Manager em 2024-08-04.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)