Databricks Tempo de execução 15.4 LTS

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 15.4 LTS, alimentado pelo Apache Spark 3.5.0.

A Databricks lançou esta versão em agosto de 2024.

Mudanças comportamentais

• Usar a VARIANT como o tipo de entrada ou saída com um Python UDF, UDAF ou UDTF gera uma exceção
• Alterar para o modo padrão de vinculação de schema para views
• Não permitir o uso da sintaxe não documentada ! em vez de NOT expressões booleanas externas
• Proibir sintaxe de definição não documentada column no views
• Tratamento consistente de erros para decodificação Base64 no Spark e Photon
• Adicionar um CHECKconstraint num column inválido agora retorna a classe de erro UNRESOLVED_COLUMN.WITH_SUGGESTION

Usar a VARIANT como o tipo de entrada ou saída com um Python UDF, UDAF ou UDTF gera uma exceção

[Alteração disruptiva] No Databricks Runtime 15.3 e posteriores, chamar qualquer função definida pelo utilizador (UDF), função de agregação definida pelo utilizador (UDAF) ou função de table definida pelo utilizador (UDTF) que utilize um tipo VARIANT como argumento ou valor de retorno gera uma exceção. Essa alteração é feita para evitar problemas que podem ocorrer devido a um valor inválido retornado por uma dessas funções. Para saber mais sobre o VARIANT tipo, consulte Usar VARIANTES para armazenar dados semiestruturados.

Altere o modo de vinculação padrão de schema para views

Views agora adaptam-se às mudanças de schema na consulta subjacente, usando schema ajustamento com regras normais de conversão. Esta é uma alteração em relação ao padrão anterior do modo, que gerava erros quando uma transmissão segura não podia ser executada BINDING ao fazer referência à exibição.

Veja a função de elencono e .

Não permitir o uso da sintaxe não documentada ! em vez de NOT expressões booleanas externas

Com esta versão, o uso de ! como sinônimo para NOT fora de expressões booleanas não é mais permitido. Por exemplo, afirmações como as seguintes: CREATE ... IF ! EXISTS, IS ! NULL, uma propriedade de ! NULLcolumn ou campo, ! IN e ! ENTRE, devem ser substituídas por: CREATE ... IF NOT EXISTS, IS NOT NULL, uma propriedade NOT NULLcolumn ou campo, NOT IN e NOT BETWEEN.

Essa alteração garante consistência, alinha-se com o padrão SQL e torna seu SQL mais portátil.

O operador! de prefixo booleano (por exemplo, !is_mgr ou !(true AND false)) não é afetado por essa alteração.

Não permitir a sintaxe de definição não documentada de column em views

O Databricks suporta CREATE VIEW com comentários nomeados columns e column. Anteriormente, a especificação de tipos column, restrições NOT NULL, ou DEFAULT foi permitida. Com esta versão, você não pode mais usar essa sintaxe.

Essa alteração garante consistência, alinha-se com o padrão SQL e oferece suporte a aprimoramentos futuros.

Tratamento consistente de erros para decodificação Base64 no Spark e Photon

Esta versão altera como o Photon lida com erros de decodificação Base64 para corresponder ao tratamento Spark desses erros. Antes dessas alterações, o caminho de geração de código do Photon e do Spark às vezes falhava em gerar exceções de análise, enquanto o Spark interpretava a execução corretamente gerada IllegalArgumentException ou ConversionInvalidInputError. Esse update garante que o Photon gere consistentemente as mesmas exceções que o Spark durante erros de decodificação Base64, fornecendo um tratamento de erros mais previsível e confiável.

Adicionar um CHECKconstraint num column inválido agora retorna a classe de erro UNRESOLVED_COLUMN.WITH_SUGGESTION

Para fornecer mensagens de erro mais úteis, no Databricks Runtime 15.3 ou versões posteriores, uma instrução ALTER TABLE ADD CONSTRAINT que inclui um CHECKconstraint referenciando um nome de column inválido retorna a classe de erro UNRESOLVED_COLUMN.WITH_SUGGESTION. Anteriormente, um INTERNAL_ERROR foi devolvido.

Novos recursos e melhorias

• Funções de validação UTF-8
• APIs de conjunto de dados tipadas com UDFs Scala
• Habilite o UniForm Iceberg usando ALTER TABLE
• try_url_decode função
• Opcionalmente, permita que o otimizador dependa de restrições de chave estrangeira não impostas
• Execuções de trabalho paralelizadas para substituições seletivas
• Desempenho aprimorado para feed de dados de alteração com substituições seletivas
• Latência de consulta melhorada para o COPY INTO comando
• Suporte para eliminar as restrições de verificação table recurso
• computação de usuário único suporta controle de acesso refinado, viewsmaterializado e tables de streaming (visualização pública)
• Suporte expandido para bibliotecas Java e Scala
• Suporte expandido para operações de conjunto de dados Scala
• Scala está disponível de forma geral no Unity Catalog de computação partilhada
• Unity Catalog- acesso a serviços de nuvem externos controlado por credentials de serviço (Visualização pública)

Funções de validação UTF-8

Esta versão apresenta as seguintes funções para validar cadeias de caracteres UTF-8:

• is_valid_utf8 verificado se uma cadeia de caracteres é uma cadeia de caracteres UTF-8 válida.
• make_valid_utf8 converte uma cadeia de caracteres UTF-8 potencialmente inválida em uma cadeia de caracteres UTF-8 válida usando caracteres de substituição
• validate_utf8 gera um erro se a entrada não for uma cadeia de caracteres UTF-8 válida.
• try_validate_utf8 retorna NULL se a entrada não for uma cadeia de caracteres UTF-8 válida.

APIs de conjunto de dados tipadas com UDFs Scala

Esta versão inclui suporte adicionado para APIs de conjunto de dados tipadas com funções definidas pelo utilizador em Scala (excluindo funções agregadas definidas pelo utilizador) na computação habilitada para Unity Catalogcom modo de acesso partilhado. Consulte APIs de conjunto de dados tipadas.

Habilite o UniForm Iceberg usando ALTER TABLE

Agora você pode habilitar o UniForm Iceberg em tables existentes sem reescrever arquivos de dados. Consulte Ativar leituras do Iceberg em um(a) tableexistente.

try_url_decode função

Esta versão apresenta a função try_url_decode, que decodifica uma cadeia de caracteres codificada por URL. Se a cadeia de caracteres não estiver no formato correto, a função retornará NULL em vez de gerar um erro.

Opcionalmente, permita que o otimizador dependa de restrições de chave estrangeira não impostas

Para melhorar o desempenho da consulta, agora você pode especificar a palavra-chave RELY em restrições de FOREIGN KEY ao CREATE ou ALTER um table.

Execuções de trabalho paralelizadas para substituições seletivas

As substituições seletivas usando o replaceWhere agora executam trabalhos que excluem dados e insert novos dados em paralelo, melhorando o desempenho da consulta e a utilização do cluster.

Desempenho aprimorado para feed de dados de alteração com substituições seletivas

As substituições seletivas feitas usando replaceWhere em tables com feed de dados de alteração não gravam mais arquivos de dados de alteração separados para dados inseridos. Essas operações usam um _change_typecolumn oculto presente nos arquivos de dados subjacentes do Parquet para registrar alterações sem amplificação de gravação.

Latência de consulta melhorada para o COPY INTO comando

Esta versão inclui uma alteração que melhora a latência de consulta para o COPY INTO comando. Essa melhoria é implementada tornando o carregamento do estado pelo armazenamento de estado RocksDB assíncrono. Com essa alteração, você verá uma melhoria nos tempos de início para consultas com estados grandes, como consultas com um grande número de arquivos já ingeridos.

Suporte para suprimir o recurso de restrições de verificação table

Agora poderá remover a funcionalidade checkConstraintstable de um Delta table usando ALTER TABLE table_name DROP FEATURE checkConstraints. Consulte Desativar restrições de verificação.

A computação de utilizador único suporta controle de acesso refinado, viewsmaterializado e streaming tables (Visualização pública)

Quando um espaço de trabalho está habilitado para computação sem servidor, o Databricks Runtime 15.4 LTS adiciona suporte para controle de acesso refinado em computação de usuário único. Quando uma consulta acessa qualquer um dos seguintes objetos, o recurso de computação de usuário único no Databricks Runtime 15.4 LTS passa a consulta para a computação sem servidor para executar a filtragem de dados:

• Views definido sobre tables em que o utilizador não tem o privilégio SELECT.
• Dinâmica views.
• Tables com filtros de linha ou máscaras de column aplicadas.
• Materializado views e streaming tables.

Essas consultas não são suportadas na computação de usuário único que executa o Databricks Runtime 15.3 e inferior.

Para obter mais informações, consulte Controle de acesso refinado na computação de usuário único.

Suporte expandido para bibliotecas Java e Scala

A partir do Databricks Runtime 15.4 LTS, todas as bibliotecas Java e Scala empacotadas com o Databricks Runtime estão disponíveis em todos os modos de acesso de computação quando você usa o Unity Catalog. Para saber mais sobre o suporte a idiomas na computação habilitada para Unity Catalog, consulte Limitações do modo de acesso de computação para Unity Catalog.

Suporte expandido para operações de conjunto de dados Scala

Com esta versão, os recursos de computação habilitados para o Unity Catalogque utilizam o modo de acesso partilhado suportam as operações de Scala Dataset seguintes: map, mapPartitions, foreachPartition, flatMap, reduce e filter.

Scala está geralmente disponível na Unity Catalog computação partilhada

No modo de acesso compartilhado com Unity Catalog, esta versão torna o Scala geralmente disponível em computação habilitada, incluindo suporte para funções escalares definidas pelo utilizador (UDFs). Não há suporte para Streaming estruturado, UDFs do Hive e funções agregadas definidas pelo usuário do Hive. Para obter uma list completa das limitações, consulte Limitações do modo de acesso de computação para Unity Catalog.

Unity Catalog- acesso controlado a serviços de nuvem externos utilizando o serviço credentials (Pré-visualização pública)

O Serviço credentials permite uma autenticação simples e segura com os serviços do tenant da cloud usando identidades geridas do Azure (MI) e Unity Catalog. Consulte Gerenciar o acesso a serviços de nuvem externos usando o serviço credentials.

Correções de erros

Atualizações da biblioteca

• Bibliotecas Python atualizadas:
  • azure-core de 1.30.1 a 1.30.2
  • google-auth de 2.29.0 a 2.31.0
  • google-cloud-storage de 2.16.0 a 2.17.0
  • google-retomable-media de 2.7.0 a 2.7.1
  • googleapis-common-protos de 1.63.0 a 1.63.2
  • mlflow-skinny de 2.11.3 a 2.11.4
  • proto-plus de 1.23.0 a 1.24.0
  • s3transfer de 0.10.1 a 0.10.2
• Bibliotecas R atualizadas:
• Bibliotecas Java atualizadas:
  • com.databricks.databricks-sdk-java de 0.17.1 a 0.27.0
  • com.ibm.icu.icu4j de 72.1 a 75.1
  • software.amazon.cryptools.AmazonCorrettoCryptoProvider de 1.6.1-linux-x86_64 para 1.6.2-linux-x86_64

Faísca Apache

O Databricks Runtime 15.4 LTS inclui o Apache Spark 3.5.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 15.3 e as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• [FAÍSCA-48503] [DBRRM-1150][SC-172196][SQL] Permitir agrupamento em expressões em subconsultas escalares, se elas estiverem vinculadas a linhas externas
• [FAÍSCA-48834] [BEHAVE-79][SC-170972][SQL] Desative a entrada/saída variante para UDFs, UDTFs, UDAFs escalares python durante a compilação da consulta
• [FAÍSCA-48441] [SC-170980][SQL][WARMFIX] Corrigir o comportamento de StringTrim para agrupamentos não UTF8_BINARY
• [FAÍSCA-48440] [SC-170895][SQL][WARMFIX] Corrigir o comportamento StringTranslate para agrupamentos não UTF8_BINARY
• [FAÍSCA-48872] [SC-170866][PYTHON] Reduza a sobrecarga de _capture_call_site
• [FAÍSCA-48862] [SC-170845][PYTHON][CONECTAR] Evite ligar _proto_to_string quando o nível INFO não estiver ativado
• [FAÍSCA-48852] [SC-170837][CONECTAR] Corrigir função de corte de cadeia de caracteres na conexão
• [FAÍSCA-48791] [SC-170658][CORE] Corrigir regressão perf causada pela sobrecarga de registro de acumuladores usando CopyOnWriteArrayList
• [FAÍSCA-48118] [SQL] Suporte SPARK_SQL_LEGACY_CREATE_HIVE_TABLE env variável
• [SPARK-48241] [SC-165811][SQL] Falha de análise CSV com columns tipo char/varchar
• [FAÍSCA-48168] [SC-166900][SQL] Adicionar suporte a operadores de mudança bit a bit
• [FAÍSCA-48148] [SC-165630][CORE] Os objetos JSON não devem ser modificados quando lidos como STRING
• [SPARK-46625] [SC-170561] CTE com cláusula Identifier como referência
• [FAÍSCA-48771] [SC-170546][SQL] Acelere para LogicalPlanIntegrity.validateExprIdUniqueness planos de consulta grandes
• [SPARK-48831] [BEHAVE-76][SC-170554][CONNECT] Tornar o nome column padrão do cast compatível com o Spark Classic
• [FAÍSCA-48623] [SC-170544][CORE] Migrações de log estruturado [Parte 2]
• [FAÍSCA-48296] [SC-166138][SQL] Suporte Codegen para to_xml
• [SPARK-48027] [SC-165154][SQL] InjectRuntimeFilter para múltiplos níveis de join deve verificar o tipo de join filho
• [FAÍSCA-48686] [SC-170365][SQL] Melhorar o desempenho de ParserUtils.unescapeSQLString
• [FAÍSCA-48798] [SC-170588][PYTHON] Introdução spark.profile.render para criação de perfil baseada em SparkSession
• [FAÍSCA-48048] [SC-169099] Reverter "[SC-164846][CONNECT][SS] Adicionado suporte de ouvinte do lado do cliente para Scala"
• [FAÍSCA-47910] [SC-168929][CORE] fechar fluxo quando DiskBlockObjectWriter fechaRecursos para evitar vazamento de memória
• [FAÍSCA-48816] [SC-170547][SQL] Taquigrafia para conversores de intervalo em UnivocityParser
• [FAÍSCA-48589] [SC-170132][SQL][SS] Adicionar opção snapshotStartBatchId e snapshotPartitionId à fonte de dados de estado
• [FAÍSCA-48280] [SC-170293][SQL] Melhorar a área de superfície de teste de agrupamento usando a caminhada de expressão
• [FAÍSCA-48837] [SC-170540][ML] No CountVectorizer, leia apenas o parâmetro binário uma vez por transformação, não uma vez por linha
• [FAÍSCA-48803] [SC-170541][SQL] Lançar erro interno no Orc(De)serializer para alinhar com ParquetWriteSupport
• [FAÍSCA-48764] [SC-170129][PYTHON] Filtrando quadros relacionados a IPython da pilha de usuários
• [FAÍSCA-48818] [SC-170414][PYTHON] Simplifique percentile funções
• [SPARK-48479] [SC-169079][SQL] Suporte à criação de UDFs SQL escalares e table no analisador
• [FAÍSCA-48697] [SC-170122][LC-4703][SQL] Adicionar filtros de cadeia de caracteres com reconhecimento de agrupamento
• [FAÍSCA-48800] [SC-170409][CONECTAR][SS] Deflake ClientStreamingQuerySuite
• [FAÍSCA-48738] [SC-169814][SQL] Correto desde a versão para built-in func alias random, position, mod, cardinality, current_schema, user, session_user,char_length,character_length
• [FAÍSCA-48638] [SC-169575][CONECTAR] Adicionar suporte ExecutionInfo para DataFrame
• [SPARK-48064] [SC-164697][SQL] Update mensagens de erro para classes de erro relacionadas com a rotina
• [FAÍSCA-48810] [CONECTAR] A API Session stop() deve ser idempotente e não falhar se a sessão já estiver fechada pelo servidor
• [FAÍSCA-48650] [15.x][PYTHON] Exibir o site de chamada correto do IPython Notebook
• [FAÍSCA-48271] [SC-166076][SQL] Transforme o erro de correspondência no RowEncoder em UNSUPPORTED_DATA_TYPE_FOR_ENCODER
• [FAÍSCA-48709] [SC-169603][SQL] Corrigir incompatibilidade de resolução de tipo varchar para DataSourceV2 CTAS
• [SPARK-48792] [SC-170335][SQL] Corrigir regressão de INSERT com columnlist parcial para um table com char/varchar
• [FAÍSCA-48767] [SC-170330][SQL] Corrigir alguns prompts de erro quando variant os dados de tipo são inválidos
• [FAÍSCA-48719] [SC-170339][SQL] Corrigir o bug de cálculo de RegrSlope & RegrIntercept quando o primeiro parâmetro é nulo
• [SPARK-48815] [SC-170334][CONNECT] Update ambiente ao interromper a sessão de conexão
• [FAÍSCA-48646] [SC-169020][PYTHON] Refine a fonte de dados Python API docstring e dicas de tipo
• [FAÍSCA-48806] [SC-170310][SQL] Passar exceção real quando url_decode falhar
• [FAÍSCA-47777] [SC-168818] corrigir python streaming fonte de dados teste de conexão
• [FAÍSCA-48732] [SC-169793][SQL] Limpeza do uso preterido da api relacionado a JdbcDialect.compileAggregate
• [SPARK-48675] [SC-169538][SQL] Corrigir table de cache com column agrupados
• [FAÍSCA-48623] [SC-169034][CORE] Migrações de log estruturado
• [FAÍSCA-48655] [SC-169542][SQL] SPJ: Adicionar testes para pular aleatório para consultas agregadas
• [SPARK-48586] [SC-169808][SS] Remove aquisição de bloqueio em doMaintenance() fazendo uma cópia profunda dos mapeamentos de arquivos no RocksDBFileManager em load()
• [FAÍSCA-48799] [Backport][15.x][SC-170283][SS] Refatoração de controle de versão para leitura/gravação de metadados do operador e chamadores
• [SPARK-48808] [SC-170309][SQL] Corrija o NPE ao conectar o thriftserver através do Hive 1.2.1 e o schema de resultados estiver vazio
• [FAÍSCA-48715] [SC-170291][SQL] Integre a validação UTF8String em implementações de função de cadeia de caracteres com reconhecimento de agrupamento
• [FAÍSCA-48747] [SC-170120][SQL] Adicionar iterador de ponto de código a UTF8String
• [FAÍSCA-48748] [SC-170115][SQL] Cache numChars em UTF8String
• [FAÍSCA-48744] [SC-169817][Núcleo] A entrada de log deve ser construída apenas uma vez
• [SPARK-46122] [SC-164313][SQL] Setspark.sql.legacy.createHiveTableByDefault para false por padrão
• [FAÍSCA-48765] [SC-170119][IMPLANTAR] Melhorar a avaliação de valor padrão para SPARK_IDENT_STRING
• [SPARK-48759] [SC-170128][SQL] Adicionar documento de migração para CREATE TABLE AS SELECT mudança de comportamento desde o Spark 3.4
• [SPARK-48598] [SC-169484][PYTHON][CONNECT] Propagar a schema armazenada em cache em operações de dataframe
• [FAÍSCA-48766] [SC-170126][PYTHON] Documentar a diferença de comportamento entre extractionelement_at e try_element_at
• [FAÍSCA-48768] [SC-170124][PYTHON][CONECTAR] Não deve armazenar em cache explain
• [SPARK-48770] [Backport][15.x][SC-170133][SS] Alterar para que a leitura dos metadados do operador seja feita uma vez no driver para verificar se é possível encontrar informações para numColsPrefixKey utilizado para consultas de agregação de sessão window
• [FAÍSCA-48656] [SC-169529][CORE] Faça uma verificação de comprimento e lance COLLECTION_SIZE_LIMIT_EXCEEDED erro em CartesianRDD.getPartitions
• [FAÍSCA-48597] [SC-168817][SQL] Introduzir um marcador para a propriedade isStreaming na representação de texto do plano lógico
• [FAÍSCA-48472] [SC-169044][SQL] Habilitar expressões de reflexão com cadeias de caracteres agrupadas
• [FAÍSCA-48699] [SC-169597][SQL] Refinar a API de agrupamento
• [FAÍSCA-48682] [SC-169812][SQL][BEHAVE-58] Usar UTI na expressão InitCap para cadeias de caracteres UTF8_BINARY
• [FAÍSCA-48282] [SC-169813][SQL] Alterar a lógica de pesquisa de cadeia de caracteres para agrupamento de UTF8_BINARY_LCASE (StringReplace, FindInSet)
• [FAÍSCA-47353] [SC-169599][SQL] Habilitar o suporte de agrupamento para a expressão Modo
• [SPARK-48320] [SPARK-48490] Sync a mais recente característica de registro e casos de teste do OSS Spark
• [FAÍSCA-48629] [SC-169479] Migrar o código residual para a estrutura de log estruturada
• [FAÍSCA-48681] [SC-169469][SQL][BEHAVE-58] Usar UTI em expressões inferiores/superiores para cadeias de UTF8_BINARY
• [FAÍSCA-48573] [15.x][SC-169582][SQL] Atualizar versão da UTI
• [SPARK-48687] [Backport][15.x][SS] Adicionar alteração para executar a validação de schema de estado e update no driver para consultas com monitoração de estado
• [FAÍSCA-47579] [15.x][SC-167310][CORE][PARTE 4] Migrar logInfo com variáveis para a estrutura de log estruturada
• [FAÍSCA-48008] [SC-167363][1/2] Suporta UDAFs no Spark Connect
• [FAÍSCA-48578] [SC-169505][SQL] adicionar funções relacionadas à validação de cadeia de caracteres UTF8
• [FAÍSCA-48670] [SC-169598][SQL] Fornecendo sugestão como parte da mensagem de erro quando o nome de agrupamento inválido é fornecido
• [FAÍSCA-48059] [FAÍSCA-48145][FAÍSCA-48134][FAÍSCA-48182][FAÍSCA-48209][SPA... … RK-48291] Estrutura de log estruturada no lado java
• [FAÍSCA-47599] [15.x][SC-166000][MLLIB] MLLib: Migrar logWarn com variáveis para a estrutura de log estruturada
• [FAÍSCA-48706] [SC-169589][PYTHON] Python UDF em funções de ordem superior não deve lançar erro interno
• [FAÍSCA-48498] [COMPORTAR-38][SC-168060][SQL] Faça sempre preenchimento char em predicados
• [FAÍSCA-48662] [SC-169533][SQL] Corrigir expressão StructsToXml com agrupamentos
• [FAÍSCA-48482] [SC-167702][PYTHON][15.x] dropDuplicates e dropDuplicatesWIthinWatermark deve aceitar args de comprimento variável
• [SPARK-48678] [SC-169463][CORE] Otimizações de desempenho para SparkConf.get(ConfigEntry)
• [FAÍSCA-48576] [SQL] Renomear UTF8_BINARY_LCASE para UTF8_LCASE
• [FAÍSCA-47927] [SC-164123][SQL]: Corrigir atributo de anulabilidade no decodificador UDF
• [FAÍSCA-47579] [SC-165297][CORE][PARTE 1] Migrar logInfo com variáveis para a estrutura de log estruturada (novo)
• [FAÍSCA-48695] [SC-169473][PYTHON] TimestampNTZType.fromInternal não usar os métodos preteridos
• [SPARK-48431] [SC-167290][LC-4066][SQL] Não encaminhar predicados em columns agrupados para leitores de arquivos
• [FAÍSCA-47579] Reverter "[SC-165297][CORE][PART1] Migrar logInfo com variáveis para a estrutura de log estruturada"
• [FAÍSCA-47585] [SC-164306][SQL] SQL core: Migrar logInfo com variáveis para a estrutura de log estruturada
• [FAÍSCA-48466] [SC-169042][SQL] Criar nó dedicado para EmptyRelation no AQE
• [FAÍSCA-47579] [SC-165297][CORE][PARTE 1] Migrar logInfo com variáveis para a estrutura de log estruturada
• [FAÍSCA-48410] [SC-168320][SQL] Corrigir expressão InitCap para agrupamentos de UTF8_BINARY_LCASE & ICU
• [SPARK-48318] [SC-167709][SQL] Habilitar suporte a join de hash para todos os agrupamentos (tipos complexos)
• [FAÍSCA-48435] [SC-168128][SQL] O agrupamento UNICODE não deve suportar igualdade binária
• [SPARK-48555] [SC-169041][SQL][PYTHON][CONNECT] Suporte usando Columns como parameters para várias funções em pyspark/scala
• [FAÍSCA-48591] [SC-169081][PYTHON] Adicionar uma função auxiliar para simplificar Column.py
• [FAÍSCA-48574] [SC-169043][SQL] Corrigir o suporte para StructTypes com agrupamentos
• [FAÍSCA-48305] [SC-166390][SQL] Adicionar suporte de agrupamento para expressões CurrentLike
• [FAÍSCA-48342] [SC-168941][SQL] Introdução ao SQL Scripting Parser
• [SPARK-48649] [SC-169024][SQL] Adicione as configurações "ignoreInvalidPartitionPaths" e "spark.sql.files.ignoreInvalidPartitionPaths" para permitir ignorar caminhos partition inválidos
• [SPARK-48000] [SC-167194][SQL] Habilitar suporte a hash join para todos os agrupamentos (StringType)
• [FAÍSCA-48459] [SC-168947][CONECTAR][PYTHON] Implementar DataFrameQueryContext no Spark Connect
• [FAÍSCA-48602] [SC-168692][SQL] Faça com que o gerador csv suporte um estilo de saída diferente com spark.sql.binaryOutputStyle
• [FAÍSCA-48283] [SC-168129][SQL] Modificar a comparação de cadeia de caracteres para UTF8_BINARY_LCASE
• [FAÍSCA-48610] [SC-168830][SQL] refactor: use idMap auxiliar em vez de OP_ID_TAG
• [FAÍSCA-48634] [SC-169021][PYTHON][CONECTAR] Evite inicializar estaticamente o threadpool em ExecutePlanResponseReattachableIterator
• [FAÍSCA-47911] [SC-164658][SQL] Introduz um BinaryFormatter universal para tornar a saída binária consistente
• [FAÍSCA-48642] [SC-168889][CORE] Falso SparkOutOfMemoryError causado por matar tarefa ao derramar
• [FAÍSCA-48572] [SC-168844][SQL] Corrigir expressões DateSub, DateAdd, WindowTime, TimeWindow e SessionWindow
• [FAÍSCA-48600] [SC-168841][SQL] Corrigir transmissão implícita de expressões FrameLessOffsetWindowFunction
• [FAÍSCA-48644] [SC-168933][SQL] Faça uma verificação de comprimento e lance COLLECTION_SIZE_LIMIT_EXCEEDED erro no Hex.hex
• [FAÍSCA-48587] [SC-168824][VARIANTE] Evite a amplificação de armazenamento ao acessar uma subvariante
• [FAÍSCA-48647] [SC-168936][PYTHON][CONECTAR] Refine a mensagem de erro para YearMonthIntervalType em df.collect
• [FAÍSCA-48307] [SC-167802][SQL] InlineCTE deve manter relações não embutidas no nó WithCTE original
• [FAÍSCA-48596] [SC-168581][SQL] Melhoria do Perf para calcular a cadeia hexadecimal por muito tempo
• [FAÍSCA-48621] [SC-168726][SQL] Corrigir como simplificação no Optimizer para cadeias de caracteres agrupadas
• [FAÍSCA-47148] [SC-164179][SQL] Evite materializar AQE ExchangeQueryStageExec no cancelamento
• [FAÍSCA-48584] [SC-168579][SQL] Melhoria do Perf para unescapePathName
• [FAÍSCA-48281] [SC-167260][SQL] Alterar lógica de pesquisa de cadeia de caracteres para agrupamento de UTF8_BINARY_LCASE (StringInStr, SubstringIndex)
• [FAÍSCA-48577] [SC-168826][SQL] Substituição de sequência de bytes UTF-8 inválida
• [FAÍSCA-48595] [SC-168580][CORE] Limpeza do uso preterido da api relacionado a commons-compress
• [FAÍSCA-48030] [SC-164303][SQL] SPJ: cache rowOrdering e structType para InternalRowComparableWrapper
• [FAÍSCA-48004] [SC-164005][SQL] Adicionar característica WriteFilesExecBase para gravação v1
• [FAÍSCA-48551] [SC-168438][SQL] Melhoria do Perf para escapePathName
• [FAÍSCA-48565] [SC-168437][UI] Corrigir exibição de despejo de thread na interface do usuário
• [FAÍSCA-48364] [SC-166782][SQL] Adicionar transmissão de tipo AbstractMapType e corrigir o mapa de parâmetros RaiseError para trabalhar com cadeias de caracteres agrupadas
• [FAÍSCA-48421] [SC-168689][SQL] SPJ: Adicionar documentação
• [FAÍSCA-48604] [SC-168698][SQL] Substituir chamada de método preterida new ArrowType.Decimal(precision, scale)
• [FAÍSCA-46947] [SC-157561][CORE] Atrase a inicialização do gerenciador de memória até que o plug-in do driver seja carregado
• [FAÍSCA-48411] [SC-168576][SS][PYTHON] Adicionar teste E2E para DropDuplicateWithinWatermark
• [FAÍSCA-48543] [SC-168697][SS] Controlar falhas de validação de linha de estado usando classe de erro explícita
• [FAÍSCA-48221] [SC-167143][SQL] Alterar a lógica de pesquisa de cadeia de caracteres para agrupamento de UTF8_BINARY_LCASE (Contains, StartsWith, EndsWith, StringLocate)
• [FAÍSCA-47415] [SC-168441][SQL] Adicionar suporte de agrupamento para expressão Levenshtein
• [FAÍSCA-48593] [SC-168719][PYTHON][CONECTAR] Corrigir a representação de cadeia de caracteres da função lambda
• [SPARK-48622] [SC-168710][SQL] get SQLConf uma vez ao resolver nomes de column
• [FAÍSCA-48594] [SC-168685][PYTHON][CONECTAR] Renomear parent campo para child in ColumnAlias
• [FAÍSCA-48403] [SC-168319][SQL] Corrigir expressões Inferior ou Superior para agrupamentos de UTF8_BINARY_LCASE & UTI
• [FAÍSCA-48162] [SC-166062][SQL] Adicionar suporte de agrupamento para expressões MISC
• [FAÍSCA-48518] [SC-167718][CORE] Faça com que a compressão LZF possa ser executada em paralelo
• [FAÍSCA-48474] [SC-167447][CORE] Corrigir o nome da classe do login SparkSubmitArguments & SparkSubmit
• [FAÍSCA-48012] [SC-168267][SQL] SPJ: Suporte a expressões Transfrom para embaralhamento de um lado
• [SPARK-48552] [SC-168212][SQL] a inferência de schema CSV multilinha também deverá gerar FAILED_READ_FILE
• [FAÍSCA-48560] [SC-168268][SS][PYTHON] Tornar o StreamingQueryListener.spark configurável
• [FAÍSCA-48569] [SC-168321][SS][CONECTAR] Lidar com casos de borda em query.name
• [FAÍSCA-47260] [SC-167323][SQL] Atribuir nome à classe de erro _LEGACY_ERROR_TEMP_3250
• [SPARK-48564] [SC-168327][PYTHON][CONNECT] Propagar schema em cache em operações de set
• [SPARK-48155] [SC-165910][SQL] AQEPropagateEmptyRelation para join deve verificar se o filho restante é apenas BroadcastQueryStageExec
• [FAÍSCA-48506] [SC-167720][CORE] Os nomes curtos do codec de compressão não diferenciam maiúsculas de minúsculas, exceto para o registo de eventos
• [FAÍSCA-48447] [SC-167607][SS] Verifique a classe do provedor de armazenamento de estado antes de invocar o construtor
• [FAÍSCA-47977] [SC-167650] DateTimeUtils.timestampDiff e DateTimeUtils.timestampAdd não devem lançar INTERNAL_ERROR exceção
• [SPARK-48513] [Backport][15.x][SC-168085][SS] Adicionar classe de erro para compatibilidade de schema de estado e refatoração secundária
• [SPARK-48413] [SC-167669][SQL] ALTER COLUMN com agrupamento
• [FAÍSCA-48561] [SC-168250][PS][CONECTAR] Lançar PandasNotImplementedError para funções de plotagem sem suporte
• [FAÍSCA-48465] [SC-167531][SQL] Evite a propagação de relações vazias no-op
• [FAÍSCA-48553] [SC-168166][PYTHON][CONECTAR] Armazenar em cache mais propriedades
• [FAÍSCA-48540] [SC-168069][CORE] Evite as configurações de carregamento de saída de hera para stdout
• [SPARK-48535] [SC-168057][SS] Update documentos de configuração para indicar a possibilidade de perda ou corrupção de dados se a configuração de junções stream-stream de ignorar nulos estiver ativada
• [SPARK-48536] [SC-168059][PYTHON][CONNECT] Usuário de cache especificado schema em applyInPandas e applyInArrow
• [FAÍSCA-47873] [SC-163473][SQL] Gravar cadeias de caracteres agrupadas no metastore do Hive usando o tipo de cadeia de caracteres regular
• [FAÍSCA-48461] [SC-167442][SQL] Substitua NullPointerExceptions pela classe de erro na expressão AssertNotNull
• [FAÍSCA-47833] [SC-163191][SQL][CORE] Forneça pilhas de chamadorestrace para checkAndGlobPathIfNecessary AnalysisException
• [FAÍSCA-47898] [SC-163146][SQL] Porta HIVE-12270: Adicionar suporte DBTokenStore ao token de delegação HS2
• [FAÍSCA-47578] [SC-167497][R] Migrar RPackageUtils com variáveis para a estrutura de log estruturada
• [SPARK-47875] [SC-162935][CORE] Removespark.deploy.recoverySerializer
• [SPARK-47552] [SC-160880][CORE] Setspark.hadoop.fs.s3a.connection.establish.timeout a 30s se faltar
• [FAÍSCA-47972] [SC-167692][SQL] Restringir expressão CAST para agrupamentos
• [FAÍSCA-48430] [SC-167489][SQL] Corrigir a extração do valor do mapa quando o mapa contém cadeias de caracteres agrupadas
• [FAÍSCA-47318] [SC-162712][CORE][3.5] Adiciona a rodada HKDF à derivação de chave AuthEngine para seguir as práticas KEX padrão
• [SPARK-48503] [BEHAVE-29][ES-1135236][SQL] Corrigir subconsultas escalares inválidas com group-by em columns não equivalentes que foram permitidas incorretamente
• [SPARK-48508] [SC-167695][CONNECT][PYTHON] Cache dos parâmetros especificados pelo utilizador schema no DataFrame.{to, mapInPandas, mapInArrow}
• [SPARK-23015] [SC-167188][WINDOWS] Corrigir bug no Windows where iniciar várias instâncias do Spark no mesmo segundo causa uma falha
• [FAÍSCA-45891] [SC-167608]Reverter " Descrever esquema de destruição para variante"
• [FAÍSCA-48391] [SC-167554][CORE]Usando addAll em vez de adicionar função no método fromAccumulatorInfos da classe TaskMetrics
• [FAÍSCA-48496] [SC-167600][CORE] Usar instâncias de padrão regex estático em JavaUtils.timeStringAs e JavaUtils.byteStringAs
• [FAÍSCA-48476] [SC-167488][SQL] corrigir mensagem de erro NPE para null delmiter csv
• [SPARK-48489] [SC-167598][SQL] Lançar um erro mais claro para o usuário ao tentar ler schema ilegal a partir da fonte de dados de texto
• [FAÍSCA-48471] [SC-167324][CORE] Melhorar a documentação e o guia de uso do servidor de histórico
• [FAÍSCA-45891] [SC-167597] Descrever o esquema de destruição para Variant
• [FAÍSCA-47333] [SC-159043][SQL] Use checkInputDataTypes para verificar os tipos de parâmetros da função to_xml
• [SPARK-47387] [SC-159310][SQL] Remove algumas classes de erro não utilizadas
• [SPARK-48265] [ES-1131440][SQL] Inferir window grupo limit lote deve fazer dobragem constante
• [FAÍSCA-47716] [SC-167444][SQL] Evitar conflito de nome de exibição no caso de teste de classificação semântica SQLQueryTestSuite
• [FAÍSCA-48159] [SC-167141][SQL] Estendendo o suporte para cadeias de caracteres agrupadas em expressões de data/hora
• [FAÍSCA-48462] [SC-167271][SQL][Testes] Use withSQLConf em testes: Refactor HiveQuerySuite e HiveTableScanSuite
• [FAÍSCA-48392] [SC-167195][CORE] Carregue spark-defaults.conf também quando fornecido --properties-file
• [FAÍSCA-48468] [SC-167417] Adicionar interface LogicalQueryStage no catalyst
• [FAÍSCA-47578] [SC-164988][CORE] Backport manual para o Spark PR #46309: Migrar logWarning com variáveis para a estrutura de log estruturada
• [FAÍSCA-48415] [SC-167321]Reverter "[PYTHON] Refactor TypeName para suportar tipos de dados parametrizados"
• [SPARK-46544] [SC-151361][SQL] Suporte v2 DESCRIBE TABLE ESTENDIDO com estatísticas de table
• [FAÍSCA-48325] [SC-166963][CORE] Sempre especifique mensagens em ExecutorRunner.killProcess
• [FAÍSCA-46841] [SC-167139][SQL] Adicionar suporte de agrupamento para localidades de UTI e especificadores de agrupamento
• [FAÍSCA-47221] [SC-157870][SQL] Usa assinaturas de CsvParser para AbstractParser
• [FAÍSCA-47246] [SC-158138][SQL] Substitua InternalRow.fromSeq por new GenericInternalRow para salvar uma conversão de coleção
• [FAÍSCA-47597] [SC-163932][STREAMING] Backport manual para o Spark PR #46192: Streaming: Migrar logInfo com variáveis para a estrutura de log estruturada
• [FAÍSCA-48415] [SC-167130][PYTHON] Refatorar TypeName para suportar tipos de dados parametrizados
• [SPARK-48434] [SC-167132][PYTHON][CONNECT] Faça com que printSchema utilize o schema armazenado em cache
• [FAÍSCA-48432] [ES-1097114][SQL] Evite unboxing inteiros no UnivocityParser
• [FAÍSCA-47463] [SC-162840][SQL] Use V2Predicate para envolver a expressão com o tipo de retorno de booleano
• [FAÍSCA-47781] [SC-162293][SQL] Manipular decimais de escala negativa para fontes de dados JDBC
• [FAÍSCA-48394] [SC-166966][CORE] Limpar mapIdToMapIndex em mapoutput cancelar registro
• [FAÍSCA-47072] [SC-156933][SQL] Corrigir formatos de intervalo suportados em mensagens de erro
• [FAÍSCA-47001] [SC-162487][SQL] Verificação de pushdown no otimizador
• [FAÍSCA-48335] [SC-166387][PYTHON][CONECTAR] Torne _parse_datatype_string compatível com o Spark Connect
• [FAÍSCA-48329] [SC-166518][SQL] Ativar spark.sql.sources.v2.bucketing.pushPartValues.enabled por padrão
• [FAÍSCA-48412] [SC-166898][PYTHON] Refatorar tipo de dados json parse
• [FAÍSCA-48215] [SC-166781][SQL] Estendendo o suporte para cadeias de caracteres agrupadas em date_format expressão
• [SPARK-45009] [SC-166873][SQL][FOLLOW-UP] Adicionar classe de erro e testes para descorrelação de subconsultas de predicados em join condição que fazem referência a join filho
• [FAÍSCA-47960] [SC-165295][SS][15.x] Permitir o encadeamento de outros operadores com estado após o operador transformWithState.
• [SPARK-48340] [SC-166468][PYTHON] Suporte inferência de TimestampNTZ schema falta prefer_timestamp_ntz
• [FAÍSCA-48157] [SC-165902][SQL] Adicionar suporte de agrupamento para expressões CSV
• [FAÍSCA-48158] [SC-165652][SQL] Adicionar suporte de agrupamento para expressões XML
• [FAÍSCA-48160] [SC-166064][SQL] Adicionar suporte de agrupamento para expressões XPATH
• [FAÍSCA-48229] [SC-165901][SQL] Adicionar suporte de agrupamento para expressões inputFile
• [FAÍSCA-48367] [SC-166487][CONECTAR] Corrigir lint-scala para scalafmt para detetar arquivos para formatar corretamente
• [FAÍSCA-47858] [SC-163095][FAÍSCA-47852][PYTHON][SQL] Refatoração da estrutura para o contexto de erro do DataFrame
• [FAÍSCA-48370] [SC-166787][CONECTAR] Ponto de verificação e localCheckpoint no cliente Scala Spark Connect
• [SPARK-48247] [SC-166028][PYTHON] Use todos os values em um ditado ao inferir MapType schema
• [FAÍSCA-48395] [SC-166794][PYTHON] Correção StructType.treeString para tipos parametrizados
• [FAÍSCA-48393] [SC-166784][PYTHON] Mover um grupo de constantes para pyspark.util
• [FAÍSCA-48372] [SC-166776][FAÍSCA-45716][PYTHON] Implementar StructType.treeString
• [FAÍSCA-48258] [SC-166467][PYTHON][CONECTAR] Checkpoint e localCheckpoint no Spark Connect

Consulte Atualizações de manutenção do Databricks Runtime 15.4 LTS.

Ambiente do sistema

• Sistema Operacional: Ubuntu 22.04.4 LTS
• Java: Zulu 8.78.0.19-CA-linux64
• Escala: 2.12.18
• Píton: 3.11.0
• R: 4.3.2
• Lago Delta: 3.2.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo CRAN do Posit Package Manager.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)