Partilhar via

Atualizações de manutenção do Databricks Runtime

  • Artigo

Este artigo lista atualizações de manutenção para versões suportadas do Databricks Runtime. Para adicionar uma atualização de manutenção a um cluster existente, reinicie o cluster. Para obter as atualizações de manutenção em versões não suportadas do Databricks Runtime, consulte Atualizações de manutenção para o Databricks Runtime (arquivado).

Nota

Os lançamentos são encenados. Sua conta do Azure Databricks pode não ser atualizada por alguns dias após a data de lançamento inicial.

Versões do Databricks Runtime

Atualizações de manutenção por versão:

Tempo de execução do Databricks 15.4

Consulte Databricks Runtime 15.4 LTS.

  • 5 de novembro de 2024
    • [FAÍSCA-49782][SQL] A regra ResolveDataFrameDropColumns resolve UnresolvedAttribute com saída filho
    • [FAÍSCA-49867][SQL] Melhorar a mensagem de erro quando o índice está fora dos limites ao chamar GetColumnByOrdinal
    • [FAÍSCA-49863][SQL] Corrigir NormalizeFloatingNumbers para preservar a anulabilidade de estruturas aninhadas
    • [FAÍSCA-49829] Revisar a otimização na adição de entrada ao armazenamento de estado na junção de fluxo de fluxo (correção de correção)
    • [FAÍSCA-49905] Use ShuffleOrigin dedicado para operador stateful para evitar que o shuffle seja modificado a partir do AQE
    • [FAÍSCA-46632][SQL] Corrigir a eliminação de subexpressões quando expressões ternárias equivalentes têm filhos diferentes
    • [FAÍSCA-49443][SQL][PYTHON] Implementar to_variant_object expressão e fazer com que schema_of_variant expressões imprimam OBJECT for Variant Objects
    • [FAÍSCA-49615] Correção de bugs: Faça com que a validação do esquema da coluna ML esteja em conformidade com a configuração spark.sql.caseSensitivedo spark.
  • Outubro 22, 2024
    • [FAÍSCA-49782][SQL] A regra ResolveDataFrameDropColumns resolve UnresolvedAttribute com saída filho
    • [FAÍSCA-49867][SQL] Melhorar a mensagem de erro quando o índice está fora dos limites ao chamar GetColumnByOrdinal
    • [FAÍSCA-49863][SQL] Corrigir NormalizeFloatingNumbers para preservar a anulabilidade de estruturas aninhadas
    • [FAÍSCA-49829] Revisar a otimização na adição de entrada ao armazenamento de estado na junção de fluxo de fluxo (correção de correção)
    • [FAÍSCA-49905] Use ShuffleOrigin dedicado para operador stateful para evitar que o shuffle seja modificado a partir do AQE
    • [FAÍSCA-46632][SQL] Corrigir a eliminação de subexpressões quando expressões ternárias equivalentes têm filhos diferentes
    • [FAÍSCA-49443][SQL][PYTHON] Implementar to_variant_object expressão e fazer com que schema_of_variant expressões imprimam OBJECT for Variant Objects
    • [FAÍSCA-49615] Correção de bugs: Faça com que a validação do esquema da coluna ML esteja em conformidade com a configuração spark.sql.caseSensitivedo spark.
  • 10 de outubro de 2024
  • 25 de setembro de 2024
    • [FAÍSCA-49628][SQL] ConstantFolding deve copiar a expressão com estado antes de avaliar
    • [FAÍSCA-49000][SQL] Corrija "select count(distinct 1) from t" onde t é uma tabela vazia expandindo RewriteDistinctAggregates
    • [FAÍSCA-49492][CONECTAR] Reanexar tentativa em ExecutionHolder inativo
    • [FAÍSCA-49458][CONECTAR][PYTHON] Forneça a ID da sessão do lado do servidor via ReattachExecute
    • [FAÍSCA-49017][SQL] A instrução Insert falha quando vários parâmetros estão sendo usados
    • [FAÍSCA-49451] Permitir chaves duplicadas no parse_json.
    • Correções de bugs diversos.
  • 17 de setembro de 2024
    • [FAÍSCA-48463][ML] Make Binarizer, Bucketizer, Vetor Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor suportando colunas de entrada aninhadas
    • [FAÍSCA-49409][CONECTAR] Ajuste o valor padrão de CONNECT_SESSION_PLAN_CACHE_SIZE
    • [FAÍSCA-49526][CONECTAR][HOTFIX-15.4.2] Suporta caminhos no estilo do Windows no ArtifactManager
    • Reverter "[SPARK-48482][PYTHON] dropDuplicates e dropDuplicatesWIthinWatermark deve aceitar args de comprimento variável"
    • [FAÍSCA-43242][CORE] Corrigir lançamento 'Tipo inesperado de BlockId' no diagnóstico de corrupção aleatória
    • [FAÍSCA-49366][CONECTAR] Tratar o nó União como folha na resolução da coluna do quadro de dados
    • [FAÍSCA-49018][SQL] Corrigir approx_count_distinct não está funcionando corretamente com o agrupamento
    • [FAÍSCA-49460][SQL] Remover cleanupResource() de EmptyRelationExec
    • [FAÍSCA-49056][SQL] ErrorClassesJsonReader não pode manipular null corretamente
    • [FAÍSCA-49336][CONECTAR] Limitar o nível de aninhamento ao truncar uma mensagem protobuf
  • 29 de agosto de 2024
    • A saída de uma SHOW CREATE TABLE instrução agora inclui quaisquer filtros de linha ou máscaras de coluna definidos em uma exibição materializada ou tabela de streaming. Consulte SHOW CREATE TABLE. Para saber mais sobre filtros de linha e máscaras de coluna, consulte Filtrar dados de tabela confidenciais usando filtros de linha e máscaras de coluna.
    • Na computação configurada com o modo de acesso compartilhado, as leituras e gravações em lote Kafka agora têm as mesmas limitações impostas que as documentadas para o Structured Streaming. Consulte Limitações e requisitos de streaming para o modo de acesso compartilhado do Unity Catalog.
    • [FAÍSCA-48941][FAÍSCA-48970] Correções de gravador/leitor de backport ML
    • [FAÍSCA-49074][SQL] Corrigir variante com df.cache()
    • [FAÍSCA-49263][CONECTAR] Cliente python do Spark Connect: manipule consistentemente as opções do leitor de Dataframe booleano
    • [FAÍSCA-48955][SQL] Incluir alterações do ArrayCompact na versão 15.4
    • [FAÍSCA-48937][SQL] Adicionar suporte de agrupamento para expressões de cadeia de caracteres StringToMap
    • [FAÍSCA-48929] Corrigir erro interno de exibição e limpar o contexto de exceção do analisador
    • [FAÍSCA-49125][SQL] Permitir nomes de colunas duplicados na escrita CSV
    • [FAÍSCA-48934][SS] Tipos de datetime Python convertidos incorretamente para definir o tempo limite em applyInPandasWithState
    • [FAÍSCA-48843] Evite loop infinito com BindParameters
    • [FAÍSCA-48981] Corrigir o método simpleString de StringType no pyspark para agrupamentos
    • [FAÍSCA-49065][SQL] A rebase em formatters/analisadores herdados deve suportar fusos horários não padrão da JVM
    • [FAÍSCA-48896] [FAÍSCA-48909] [FAÍSCA-48883] Correções do gravador de ML de faísca de backport
    • [FAÍSCA-48725][SQL] Integrar CollationAwareUTF8String.lowerCaseCodePoints em expressões de cadeia de caracteres
    • [FAÍSCA-48978][SQL] Implementar o caminho rápido ASCII no suporte de agrupamento para UTF8_LCASE
    • [FAÍSCA-49047][PYTHON][CONECTAR] Truncar a mensagem para registro em log
    • [FAÍSCA-49146][SS] Mover erros de asserção relacionados à marca d'água ausente nas consultas de streaming do modo de acréscimo para a estrutura de erros
    • [FAÍSCA-48977][SQL] Otimizar a pesquisa de cadeias de caracteres sob agrupamento de UTF8_LCASE
    • [FAÍSCA-48889][SS] testStream para descarregar armazenamentos de estado antes de terminar
    • [FAÍSCA-48463] Tornar o StringIndexer compatível com colunas de entrada aninhadas
    • [FAÍSCA-48954] try_mod() substitui try_remainder()
    • Atualizações de segurança do sistema operacional.

Tempo de execução do Databricks 15.3

Consulte Databricks Runtime 15.3.

  • 5 de novembro de 2024
    • [FAÍSCA-49905] Use ShuffleOrigin dedicado para operador stateful para evitar que o shuffle seja modificado a partir do AQE
    • [FAÍSCA-49867][SQL] Melhorar a mensagem de erro quando o índice está fora dos limites ao chamar GetColumnByOrdinal
    • [FAÍSCA-48843][15.3,15.2] Impedir loop infinito com BindParameters
    • [FAÍSCA-49829] Revisar a otimização na adição de entrada ao armazenamento de estado na junção de fluxo de fluxo (correção de correção)
    • [FAÍSCA-49863][SQL] Corrigir NormalizeFloatingNumbers para preservar a anulabilidade de estruturas aninhadas
    • [FAÍSCA-49782][SQL] A regra ResolveDataFrameDropColumns resolve UnresolvedAttribute com saída filho
    • [FAÍSCA-46632][SQL] Corrigir a eliminação de subexpressões quando expressões ternárias equivalentes têm filhos diferentes
    • Atualizações de segurança do sistema operacional.
  • Outubro 22, 2024
    • [FAÍSCA-49905] Use ShuffleOrigin dedicado para operador stateful para evitar que o shuffle seja modificado a partir do AQE
    • [FAÍSCA-49867][SQL] Melhorar a mensagem de erro quando o índice está fora dos limites ao chamar GetColumnByOrdinal
    • [FAÍSCA-48843][15.3,15.2] Impedir loop infinito com BindParameters
    • [FAÍSCA-49829] Revisar a otimização na adição de entrada ao armazenamento de estado na junção de fluxo de fluxo (correção de correção)
    • [FAÍSCA-49863][SQL] Corrigir NormalizeFloatingNumbers para preservar a anulabilidade de estruturas aninhadas
    • [FAÍSCA-49782][SQL] A regra ResolveDataFrameDropColumns resolve UnresolvedAttribute com saída filho
    • [FAÍSCA-46632][SQL] Corrigir a eliminação de subexpressões quando expressões ternárias equivalentes têm filhos diferentes
    • Atualizações de segurança do sistema operacional.
  • 10 de outubro de 2024
    • [FAÍSCA-49688][CONECTAR] Corrigir uma corrida de dados entre o plano de interrupção e execução
    • [FAÍSCA-49743][SQL] OptimizeCsvJsonExpr não deve alterar campos de esquema ao remover GetArrayStructFields
    • [BACKPORT][[FAÍSCA-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] Classify Error class for FlatMapGroupsWithState user function error
    • Atualizações de segurança do sistema operacional.
  • 25 de setembro de 2024
    • [FAÍSCA-49492][CONECTAR] Reanexar tentativa em ExecutionHolder inativo
    • [FAÍSCA-49628][SQL] ConstantFolding deve copiar a expressão com estado antes de avaliar
    • [FAÍSCA-49000][SQL] Corrija "select count(distinct 1) from t" onde t é uma tabela vazia expandindo RewriteDistinctAggregates
    • [FAÍSCA-49458][CONECTAR][PYTHON] Forneça a ID da sessão do lado do servidor via ReattachExecute
    • [FAÍSCA-48719][SQL] Corrigir o bug de cálculo de RegrSlope & RegrIntercept quando o primeiro parâmetro é nulo
    • Atualizações de segurança do sistema operacional.
  • 17 de setembro de 2024
    • [FAÍSCA-49336][CONECTAR] Limitar o nível de aninhamento ao truncar uma mensagem protobuf
    • [FAÍSCA-49526][CONECTAR][15.3.5] Suporta caminhos ao estilo do Windows no ArtifactManager
    • [FAÍSCA-49366][CONECTAR] Tratar o nó União como folha na resolução da coluna do quadro de dados
    • [FAÍSCA-43242][CORE] Corrigir lançamento 'Tipo inesperado de BlockId' no diagnóstico de corrupção aleatória
    • [FAÍSCA-49409][CONECTAR] Ajuste o valor padrão de CONNECT_SESSION_PLAN_CACHE_SIZE
    • Atualizações de segurança do sistema operacional.
  • 29 de agosto de 2024
    • [FAÍSCA-49263][CONECTAR] Cliente python do Spark Connect: manipule consistentemente as opções do leitor de Dataframe booleano
    • [FAÍSCA-49056][SQL] ErrorClassesJsonReader não pode manipular null corretamente
    • [FAÍSCA-48862][PYTHON][CONECTAR] Evite ligar _proto_to_string quando o nível INFO não estiver ativado
    • [FAÍSCA-49146][SS] Mover erros de asserção relacionados à marca d'água ausente nas consultas de streaming do modo de acréscimo para a estrutura de erros
  • 14 de agosto de 2024
    • [FAÍSCA-48941][FAÍSCA-48970] Correções de gravador/leitor de backport ML
    • [FAÍSCA-48706][PYTHON] Python UDF em funções de ordem superior não deve lançar erro interno
    • [FAÍSCA-48954] try_mod() substitui try_remainder()
    • [FAÍSCA-48597][SQL] Introduzir um marcador para a propriedade isStreaming na representação de texto do plano lógico
    • [FAÍSCA-49065][SQL] A rebase em formatters/analisadores herdados deve suportar fusos horários não padrão da JVM
    • [FAÍSCA-49047][PYTHON][CONECTAR] Truncar a mensagem para registro em log
    • [FAÍSCA-48740][SQL] Detetar erro de especificação de janela ausente antecipadamente
  • 1 de agosto de 2024
    • [Mudança de rutura] No Databricks Runtime 15.3 e superior, chamar qualquer função definida pelo usuário (UDF) do Python, função de agregação definida pelo usuário (UDAF) ou função de tabela definida pelo usuário (UDTF) que usa um VARIANT tipo como argumento ou valor de retorno gera uma exceção. Essa alteração é feita para evitar problemas que podem ocorrer devido a um valor inválido retornado por uma dessas funções. Para saber mais sobre o VARIANT tipo, consulte Usar VARIANTES para armazenar dados semiestruturados.
    • Na computação sem servidor para blocos de anotações e trabalhos, o modo ANSI SQL é habilitado por padrão. Consulte Parâmetros de configuração do Spark suportados.
    • Na computação configurada com o modo de acesso compartilhado, as leituras e gravações em lote Kafka agora têm as mesmas limitações impostas que as documentadas para o Structured Streaming. Consulte Limitações e requisitos de streaming para o modo de acesso compartilhado do Unity Catalog.
    • A saída de uma SHOW CREATE TABLE instrução agora inclui quaisquer filtros de linha ou máscaras de coluna definidos em uma exibição materializada ou tabela de streaming. Consulte SHOW CREATE TABLE. Para saber mais sobre filtros de linha e máscaras de coluna, consulte Filtrar dados de tabela confidenciais usando filtros de linha e máscaras de coluna.
    • [FAÍSCA-46957][CORE] Descomissionar arquivos shuffle migrados deve ser capaz de limpar do executor
    • [FAÍSCA-48648][PYTHON][CONECTAR] Tornar SparkConnectClient.tags corretamente threadlocal
    • [FAÍSCA-48896] [FAÍSCA-48909] [FAÍSCA-48883] Correções do gravador de ML de faísca de backport
    • [FAÍSCA-48713][SQL] Adicionar verificação de intervalo de índice para UnsafeRow.pointTo quando baseObject é matriz de bytes
    • [FAÍSCA-48834][SQL] Desative a entrada/saída variante para UDFs, UDTFs, UDAFs escalares python durante a compilação da consulta
    • [FAÍSCA-48934][SS] Tipos de datetime Python convertidos incorretamente para definir o tempo limite em applyInPandasWithState
    • [FAÍSCA-48705][PYTHON] Use explicitamente worker_main quando ele começa com pyspark
    • [FAÍSCA-48544][SQL] Reduza a pressão de memória de BitSets TreeNode vazios
    • [FAÍSCA-48889][SS] testStream para descarregar armazenamentos de estado antes de terminar
    • [FAÍSCA-49054][SQL] O valor padrão da coluna deve suportar funções current_*
    • [FAÍSCA-48653][PYTHON] Corrigir referências de classe de erro de fonte de dados Python inválidas
    • [FAÍSCA-48463] Tornar o StringIndexer compatível com colunas de entrada aninhadas
    • [FAÍSCA-48810][CONECTAR] A API Session stop() deve ser idempotente e não falhar se a sessão já estiver fechada pelo servidor
    • [FAÍSCA-48873][SQL] Use UnsafeRow no analisador JSON.
    • Atualizações de segurança do sistema operacional.
  • Julho 11, 2024
    • (Alteração de comportamento) DataFrames armazenados em cache em fontes de tabela Delta agora são invalidados se a tabela de origem for substituída. Essa alteração significa que todas as alterações de estado nas tabelas Delta agora invalidam os resultados armazenados em cache. Use .checkpoint() para persistir um estado de tabela durante todo o tempo de vida de um DataFrame.
    • O Snowflake JDBC Driver é atualizado para a versão 3.16.1.
    • Esta versão inclui uma correção para um problema que impedia que a guia Ambiente da Interface do Usuário do Spark fosse exibida corretamente ao ser executada nos Serviços de Contêiner do Databricks.
    • Para ignorar partições inválidas ao ler dados, as fontes de dados baseadas em arquivo, como Parquet, ORC, CSV ou JSON, podem definir a opção de fonte de dados ignoreInvalidPartitionPaths como true. Por exemplo: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...)`. Você também pode usar a configuração SQL spark.sql.files.ignoreInvalidPartitionPaths. No entanto, a opção de fonte de dados tem precedência sobre a configuração SQL. Essa configuração é falsa por padrão.
    • [FAÍSCA-48100][SQL] Corrigir problemas ao ignorar campos de estrutura aninhada não selecionados no esquema
    • [FAÍSCA-47463][SQL] Use V2Predicate para envolver a expressão com o tipo de retorno de booleano
    • [FAÍSCA-48292][CORE] Revert [SPARK-39195][SQL] Spark OutputCommitCoordinator deve abortar o estágio quando o arquivo confirmado não é consistente com o status da tarefa
    • [FAÍSCA-48475][PYTHON] Otimize _get_jvm_function no PySpark.
    • [FAÍSCA-48286] Corrigir análise de coluna com expressão padrão existente - Adicionar erro voltado para o usuário
    • [FAÍSCA-48481][SQL][SS] Não aplique OptimizeOneRowPlan contra streaming Dataset
    • Reverter "[SPARK-47406][SQL] Manipular TIMESTAMP e DATETIME em MYSQLDialect"
    • [FAÍSCA-48383][SS] Lançar melhor erro para partições incompatíveis na opção startOffset em Kafka
    • [FAÍSCA-48503][14.3-15.3][SQL] Corrigir subconsultas escalares inválidas com group-by em colunas não equivalentes que foram permitidas incorretamente
    • [FAÍSCA-48445][SQL] Não inline UDFs com crianças caras
    • [FAÍSCA-48252][SQL] Atualize o CommonExpressionRef quando necessário
    • [FAÍSCA-48273][mestre][SQL] Corrigir a reescrita tardia de PlanWithUnresolvedIdentifier
    • [FAÍSCA-48566][PYTHON] Corrija o bug em que os índices de partição estão incorretos quando UDTF analyze() usa select e partitionColumns
    • [FAÍSCA-48556][SQL] Corrigir mensagem de erro incorreta apontando para UNSUPPORTED_GROUPING_EXPRESSION
    • Atualizações de segurança do sistema operacional.

Tempo de execução do Databricks 15.2

Consulte Databricks Runtime 15.2.

  • 5 de novembro de 2024
    • [FAÍSCA-49905] Use ShuffleOrigin dedicado para operador stateful para evitar que o shuffle seja modificado a partir do AQE
    • [FAÍSCA-48843][15.3,15.2] Impedir loop infinito com BindParameters
    • [FAÍSCA-49829] Revisar a otimização na adição de entrada ao armazenamento de estado na junção de fluxo de fluxo (correção de correção)
    • [FAÍSCA-49863][SQL] Corrigir NormalizeFloatingNumbers para preservar a anulabilidade de estruturas aninhadas
    • [FAÍSCA-49782][SQL] A regra ResolveDataFrameDropColumns resolve UnresolvedAttribute com saída filho
    • [FAÍSCA-46632][SQL] Corrigir a eliminação de subexpressões quando expressões ternárias equivalentes têm filhos diferentes
    • Atualizações de segurança do sistema operacional.
  • Outubro 22, 2024
    • [FAÍSCA-49905] Use ShuffleOrigin dedicado para operador stateful para evitar que o shuffle seja modificado a partir do AQE
    • [FAÍSCA-48843][15.3,15.2] Impedir loop infinito com BindParameters
    • [FAÍSCA-49829] Revisar a otimização na adição de entrada ao armazenamento de estado na junção de fluxo de fluxo (correção de correção)
    • [FAÍSCA-49863][SQL] Corrigir NormalizeFloatingNumbers para preservar a anulabilidade de estruturas aninhadas
    • [FAÍSCA-49782][SQL] A regra ResolveDataFrameDropColumns resolve UnresolvedAttribute com saída filho
    • [FAÍSCA-46632][SQL] Corrigir a eliminação de subexpressões quando expressões ternárias equivalentes têm filhos diferentes
    • Atualizações de segurança do sistema operacional.
  • 10 de outubro de 2024
    • [BACKPORT][[FAÍSCA-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] Classify Error class for FlatMapGroupsWithState user function error
    • [FAÍSCA-49743][SQL] OptimizeCsvJsonExpr não deve alterar campos de esquema ao remover GetArrayStructFields
    • [FAÍSCA-49688][CONECTAR] Corrigir uma corrida de dados entre o plano de interrupção e execução
    • Atualizações de segurança do sistema operacional.
  • 25 de setembro de 2024
    • [FAÍSCA-49000][SQL] Corrija "select count(distinct 1) from t" onde t é uma tabela vazia expandindo RewriteDistinctAggregates
    • [FAÍSCA-48719][SQL] Corrigir o bug de cálculo de RegrSlope & RegrIntercept quando o primeiro parâmetro é nulo
    • [FAÍSCA-49458][CONECTAR][PYTHON] Forneça a ID da sessão do lado do servidor via ReattachExecute
    • [FAÍSCA-49628][SQL] ConstantFolding deve copiar a expressão com estado antes de avaliar
    • [FAÍSCA-49492][CONECTAR] Reanexar tentativa em ExecutionHolder inativo
    • Atualizações de segurança do sistema operacional.
  • 17 de setembro de 2024
    • [FAÍSCA-49336][CONECTAR] Limitar o nível de aninhamento ao truncar uma mensagem protobuf
    • [FAÍSCA-49526][CONECTAR] Suporte a caminhos no estilo do Windows no ArtifactManager
    • [FAÍSCA-49366][CONECTAR] Tratar o nó União como folha na resolução da coluna do quadro de dados
    • [FAÍSCA-43242][CORE] Corrigir lançamento 'Tipo inesperado de BlockId' no diagnóstico de corrupção aleatória
    • [FAÍSCA-49409][CONECTAR] Ajuste o valor padrão de CONNECT_SESSION_PLAN_CACHE_SIZE
    • Atualizações de segurança do sistema operacional.
  • 29 de agosto de 2024
    • [FAÍSCA-49056][SQL] ErrorClassesJsonReader não pode manipular null corretamente
    • [FAÍSCA-48597][SQL] Introduzir um marcador para a propriedade isStreaming na representação de texto do plano lógico
    • [FAÍSCA-48862][PYTHON][CONECTAR] Evite ligar _proto_to_string quando o nível INFO não estiver ativado
    • [FAÍSCA-49263][CONECTAR] Cliente python do Spark Connect: manipule consistentemente as opções do leitor de Dataframe booleano
    • [FAÍSCA-49146][SS] Mover erros de asserção relacionados à marca d'água ausente nas consultas de streaming do modo de acréscimo para a estrutura de erros
  • 14 de agosto de 2024
  • 1 de agosto de 2024
    • Na computação sem servidor para blocos de anotações e trabalhos, o modo ANSI SQL é habilitado por padrão. Consulte Parâmetros de configuração do Spark suportados.
    • Na computação configurada com o modo de acesso compartilhado, as leituras e gravações em lote Kafka agora têm as mesmas limitações impostas que as documentadas para o Structured Streaming. Consulte Limitações e requisitos de streaming para o modo de acesso compartilhado do Unity Catalog.
    • A saída de uma SHOW CREATE TABLE instrução agora inclui quaisquer filtros de linha ou máscaras de coluna definidos em uma exibição materializada ou tabela de streaming. Consulte SHOW CREATE TABLE. Para saber mais sobre filtros de linha e máscaras de coluna, consulte Filtrar dados de tabela confidenciais usando filtros de linha e máscaras de coluna.
    • [FAÍSCA-48705][PYTHON] Use explicitamente worker_main quando ele começa com pyspark
    • [FAÍSCA-48047][SQL] Reduza a pressão de memória de tags TreeNode vazias
    • [FAÍSCA-48810][CONECTAR] A API Session stop() deve ser idempotente e não falhar se a sessão já estiver fechada pelo servidor
    • [FAÍSCA-48873][SQL] Use UnsafeRow no analisador JSON.
    • [FAÍSCA-46957][CORE] Descomissionar arquivos shuffle migrados deve ser capaz de limpar do executor
    • [FAÍSCA-48889][SS] testStream para descarregar armazenamentos de estado antes de terminar
    • [FAÍSCA-48713][SQL] Adicionar verificação de intervalo de índice para UnsafeRow.pointTo quando baseObject é matriz de bytes
    • [FAÍSCA-48896] [FAÍSCA-48909] [FAÍSCA-48883] Correções do gravador de ML de faísca de backport
    • [FAÍSCA-48544][SQL] Reduza a pressão de memória de BitSets TreeNode vazios
    • [FAÍSCA-48934][SS] Tipos de datetime Python convertidos incorretamente para definir o tempo limite em applyInPandasWithState
    • [FAÍSCA-48463] Tornar o StringIndexer compatível com colunas de entrada aninhadas
    • Atualizações de segurança do sistema operacional.
  • Julho 11, 2024
    • (Alteração de comportamento) DataFrames armazenados em cache em fontes de tabela Delta agora são invalidados se a tabela de origem for substituída. Essa alteração significa que todas as alterações de estado nas tabelas Delta agora invalidam os resultados armazenados em cache. Use .checkpoint() para persistir um estado de tabela durante todo o tempo de vida de um DataFrame.
    • O Snowflake JDBC Driver é atualizado para a versão 3.16.1.
    • Esta versão inclui uma correção para um problema que impedia que a guia Ambiente da Interface do Usuário do Spark fosse exibida corretamente ao ser executada nos Serviços de Contêiner do Databricks.
    • Em blocos de anotações e trabalhos sem servidor, o modo ANSI SQL será habilitado por padrão e suportará nomes curtos
    • Para ignorar partições inválidas ao ler dados, as fontes de dados baseadas em arquivo, como Parquet, ORC, CSV ou JSON, podem definir a opção de fonte de dados ignoreInvalidPartitionPaths como true. Por exemplo: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...)`. Você também pode usar a configuração SQL spark.sql.files.ignoreInvalidPartitionPaths. No entanto, a opção de fonte de dados tem precedência sobre a configuração SQL. Essa configuração é falsa por padrão.
    • [FAÍSCA-48273][SQL] Corrigir a reescrita tardia de PlanWithUnresolvedIdentifier
    • [FAÍSCA-48292][CORE] Revert [SPARK-39195][SQL] Spark OutputCommitCoordinator deve abortar o estágio quando o arquivo confirmado não é consistente com o status da tarefa
    • [FAÍSCA-48100][SQL] Corrigir problemas ao ignorar campos de estrutura aninhada não selecionados no esquema
    • [FAÍSCA-48286] Corrigir análise de coluna com expressão padrão existente - Adicionar erro voltado para o usuário
    • [FAÍSCA-48294][SQL] Manipular minúsculas em nestedTypeMissingElementTypeError
    • [FAÍSCA-48556][SQL] Corrigir mensagem de erro incorreta apontando para UNSUPPORTED_GROUPING_EXPRESSION
    • [FAÍSCA-48648][PYTHON][CONECTAR] Tornar SparkConnectClient.tags corretamente threadlocal
    • [FAÍSCA-48503][SQL] Corrigir subconsultas escalares inválidas com group-by em colunas não equivalentes que foram permitidas incorretamente
    • [FAÍSCA-48252][SQL] Atualize o CommonExpressionRef quando necessário
    • [FAÍSCA-48475][PYTHON] Otimize _get_jvm_function no PySpark.
    • [FAÍSCA-48566][PYTHON] Corrija o bug em que os índices de partição estão incorretos quando UDTF analyze() usa select e partitionColumns
    • [FAÍSCA-48481][SQL][SS] Não aplique OptimizeOneRowPlan contra streaming Dataset
    • [FAÍSCA-47463][SQL] Use V2Predicate para envolver a expressão com o tipo de retorno de booleano
    • [FAÍSCA-48383][SS] Lançar melhor erro para partições incompatíveis na opção startOffset em Kafka
    • [FAÍSCA-48445][SQL] Não inline UDFs com crianças caras
    • Atualizações de segurança do sistema operacional.
  • 17 de junho de 2024
    • applyInPandasWithState() está disponível em clusters compartilhados.
    • Corrige um bug em que a otimização da janela de classificação usando Photon TopK manipulava incorretamente partições com structs.
    • Corrigido um bug na função try_divide() em que entradas contendo decimais resultavam em exceções inesperadas.
    • [FAÍSCA-48197][SQL] Evitar erro de declaração para função lambda inválida
    • [FAÍSCA-48276][PYTHON][CONECTAR] Adicione o método ausente __repr__ para SQLExpression
    • [FAÍSCA-48014][SQL] Altere o erro makeFromJava no EvaluatePython para um erro voltado para o usuário
    • [FAÍSCA-48016][SQL] Corrigir um bug na função try_divide quando com decimais
    • [FAÍSCA-47986][CONECTAR][PYTHON] Não é possível criar uma nova sessão quando a sessão padrão é fechada pelo servidor
    • [FAÍSCA-48173][SQL] CheckAnalysis deve ver todo o plano de consulta
    • [FAÍSCA-48056][CONECTAR][PYTHON] Execute novamente o plano se um erro de SESSION_NOT_FOUND for gerado e nenhuma resposta parcial for recebida
    • [FAÍSCA-48172][SQL] Corrigir problemas de escape no backport JDBCDialects para 15.2
    • [FAÍSCA-48105][SS] Corrigir a condição de corrida entre o descarregamento do armazenamento de estado e o snapshot
    • [FAÍSCA-48288] Adicionar tipo de dados de origem para expressão de conversão de conector
    • [FAÍSCA-48310][PYTHON][CONECTAR] As propriedades armazenadas em cache devem retornar cópias
    • [FAÍSCA-48277] Melhorar a mensagem de erro para ErrorClassesJsonReader.getErrorMessage
    • [FAÍSCA-47986][CONECTAR][PYTHON] Não é possível criar uma nova sessão quando a sessão padrão é fechada pelo servidor
    • Reverter "[SPARK-47406][SQL] Manipular TIMESTAMP e DATETIME em MYSQLDialect"
    • [FAÍSCA-47994][SQL] Corrigir bug com o filtro de coluna CASE WHEN push down no SQLServer
    • [FAÍSCA-47764][CORE][SQL] Limpeza de dependências aleatórias com base em ShuffleCleanupMode
    • [FAÍSCA-47921][CONECTAR] Corrigir a criação de ExecuteJobTag em ExecuteHolder
    • [FAÍSCA-48010][SQL] Evite chamadas repetidas para conf.resolver em resolveExpression
    • [FAÍSCA-48146][SQL] Corrigir função agregada em Com expressão asserção filho
    • [FAÍSCA-48180][SQL] Melhorar o erro quando a chamada UDTF com TABLE arg esquece parênteses em torno de várias PARTIÇÃO/ORDEM POR exprs
    • Atualizações de segurança do sistema operacional.

Tempo de execução do Databricks 14.3

Consulte Databricks Runtime 14.3 LTS.

  • 5 de novembro de 2024
    • [FAÍSCA-48843] Evite loop infinito com BindParameters
    • [FAÍSCA-49829] Revisar a otimização na adição de entrada ao armazenamento de estado na junção de fluxo de fluxo (correção de correção)
    • [FAÍSCA-49863][SQL] Corrigir NormalizeFloatingNumbers para preservar a anulabilidade de estruturas aninhadas
    • [BACKPORT][[FAÍSCA-49326]]https://issues.apache.org/jira/browse/SPARK-49326)[SS] Classify Error class for Foreach sink user function error
    • [FAÍSCA-49782][SQL] A regra ResolveDataFrameDropColumns resolve UnresolvedAttribute com saída filho
    • [FAÍSCA-46632][SQL] Corrigir a eliminação de subexpressões quando expressões ternárias equivalentes têm filhos diferentes
    • [FAÍSCA-49905] Use ShuffleOrigin dedicado para operador stateful para evitar que o shuffle seja modificado a partir do AQE
    • Atualizações de segurança do sistema operacional.
  • Outubro 22, 2024
    • [FAÍSCA-48843] Evite loop infinito com BindParameters
    • [FAÍSCA-49863][SQL] Corrigir NormalizeFloatingNumbers para preservar a anulabilidade de estruturas aninhadas
    • [FAÍSCA-49905] Use ShuffleOrigin dedicado para operador stateful para evitar que o shuffle seja modificado a partir do AQE
    • [FAÍSCA-46632][SQL] Corrigir a eliminação de subexpressões quando expressões ternárias equivalentes têm filhos diferentes
    • [FAÍSCA-49782][SQL] A regra ResolveDataFrameDropColumns resolve UnresolvedAttribute com saída filho
    • [BACKPORT][[FAÍSCA-49326]]https://issues.apache.org/jira/browse/SPARK-49326)[SS] Classify Error class for Foreach sink user function error
    • [FAÍSCA-49829] Revisar a otimização na adição de entrada ao armazenamento de estado na junção de fluxo de fluxo (correção de correção)
    • Atualizações de segurança do sistema operacional.
  • 10 de outubro de 2024
  • 25 de setembro de 2024
    • [FAÍSCA-48810][CONECTAR] A API Session stop() deve ser idempotente e não falhar se a sessão já estiver fechada pelo servidor
    • [FAÍSCA-48719][SQL] Corrigir o bug de cálculo de 'RegrS...
    • [FAÍSCA-49000][SQL] Corrija "select count(distinct 1) from t" onde t é uma tabela vazia expandindo RewriteDistinctAggregates
    • [FAÍSCA-49628][SQL] ConstantFolding deve copiar a expressão com estado antes de avaliar
    • [FAÍSCA-49492][CONECTAR] Reanexar tentativa em ExecutionHolder inativo
    • Atualizações de segurança do sistema operacional.
  • 17 de setembro de 2024
    • [FAÍSCA-49336][CONECTAR] Limitar o nível de aninhamento ao truncar uma mensagem protobuf
    • [FAÍSCA-43242][CORE] Corrigir lançamento 'Tipo inesperado de BlockId' no diagnóstico de corrupção aleatória
    • [FAÍSCA-48463][ML] Make Binarizer, Bucketizer, Vetor Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor suportando colunas de entrada aninhadas
    • [FAÍSCA-49526][CONECTAR] Suporte a caminhos no estilo do Windows no ArtifactManager
    • [FAÍSCA-49409][CONECTAR] Ajuste o valor padrão de CONNECT_SESSION_PLAN_CACHE_SIZE
    • [FAÍSCA-49366][CONECTAR] Tratar o nó União como folha na resolução da coluna do quadro de dados
  • 29 de agosto de 2024
    • [FAÍSCA-49146][SS] Mover erros de asserção relacionados à marca d'água ausente nas consultas de streaming do modo de acréscimo para a estrutura de erros
    • [FAÍSCA-48862][PYTHON][CONECTAR] Evite ligar _proto_to_string quando o nível INFO não estiver ativado
    • [FAÍSCA-49263][CONECTAR] Cliente python do Spark Connect: manipule consistentemente as opções do leitor de Dataframe booleano
  • 14 de agosto de 2024
    • [FAÍSCA-48941][FAÍSCA-48970] Correções de gravador/leitor de backport ML
    • [FAÍSCA-48706][PYTHON] Python UDF em funções de ordem superior não deve lançar erro interno
    • [FAÍSCA-49056][SQL] ErrorClassesJsonReader não pode manipular null corretamente
    • [FAÍSCA-48597][SQL] Introduzir um marcador para a propriedade isStreaming na representação de texto do plano lógico
    • [FAÍSCA-49065][SQL] A rebase em formatters/analisadores herdados deve suportar fusos horários não padrão da JVM
    • [FAÍSCA-48934][SS] Tipos de datetime Python convertidos incorretamente para definir o tempo limite em applyInPandasWithState
  • 1 de agosto de 2024
    • Esta versão inclui uma correção de bug para as ColumnVector classes e ColumnarArray na interface Java do Spark. Antes dessa correção, um ArrayIndexOutOfBoundsException pode ser lançado ou dados incorretos retornados quando uma instância de uma dessas classes continha null valores.
    • Na computação sem servidor para blocos de anotações e trabalhos, o modo ANSI SQL é habilitado por padrão. Consulte Parâmetros de configuração do Spark suportados.
    • Na computação configurada com o modo de acesso compartilhado, as leituras e gravações em lote Kafka agora têm as mesmas limitações impostas que as documentadas para o Structured Streaming. Consulte Limitações e requisitos de streaming para o modo de acesso compartilhado do Unity Catalog.
    • A saída de uma SHOW CREATE TABLE instrução agora inclui quaisquer filtros de linha ou máscaras de coluna definidos em uma exibição materializada ou tabela de streaming. Consulte SHOW CREATE TABLE. Para saber mais sobre filtros de linha e máscaras de coluna, consulte Filtrar dados de tabela confidenciais usando filtros de linha e máscaras de coluna.
    • [FAÍSCA-48896] [FAÍSCA-48909] [FAÍSCA-48883] Correções do gravador de ML de faísca de backport
    • [FAÍSCA-48889][SS] testStream para descarregar armazenamentos de estado antes de terminar
    • [FAÍSCA-48705][PYTHON] Use explicitamente worker_main quando ele começa com pyspark
    • [FAÍSCA-48047][SQL] Reduza a pressão de memória de tags TreeNode vazias
    • [FAÍSCA-48544][SQL] Reduza a pressão de memória de BitSets TreeNode vazios
    • [FAÍSCA-46957][CORE] Descomissionar arquivos shuffle migrados deve ser capaz de limpar do executor
    • [FAÍSCA-48463] Tornar o StringIndexer compatível com colunas de entrada aninhadas
    • [FAÍSCA-47202][PYTHON] Corrigir erros de digitação quebrando datetimes com tzinfo
    • [FAÍSCA-47713][SQL][CONECTAR] Corrigir uma falha de auto-junção
    • Atualizações de segurança do sistema operacional.
  • Julho 11, 2024
    • (Alteração de comportamento) DataFrames armazenados em cache em fontes de tabela Delta agora são invalidados se a tabela de origem for substituída. Essa alteração significa que todas as alterações de estado nas tabelas Delta agora invalidam os resultados armazenados em cache. Use .checkpoint() para persistir um estado de tabela durante todo o tempo de vida de um DataFrame.
    • O Snowflake JDBC Driver é atualizado para a versão 3.16.1.
    • Esta versão inclui uma correção para um problema que impedia que a guia Ambiente da Interface do Usuário do Spark fosse exibida corretamente ao ser executada nos Serviços de Contêiner do Databricks.
    • Na computação sem servidor para blocos de anotações e trabalhos, o modo ANSI SQL é habilitado por padrão. Consulte Parâmetros de configuração do Spark suportados.
    • Para ignorar partições inválidas ao ler dados, as fontes de dados baseadas em arquivo, como Parquet, ORC, CSV ou JSON, podem definir a opção de fonte de dados ignoreInvalidPartitionPaths como true. Por exemplo: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...). Você também pode usar a configuração SQL spark.sql.files.ignoreInvalidPartitionPaths. No entanto, a opção de fonte de dados tem precedência sobre a configuração SQL. Essa configuração é falsa por padrão.
    • [FAÍSCA-48648][PYTHON][CONECTAR] Tornar SparkConnectClient.tags corretamente threadlocal
    • [FAÍSCA-48445][SQL] Não inline UDFs com crianças caras
    • [FAÍSCA-48481][SQL][SS] Não aplique OptimizeOneRowPlan contra streaming Dataset
    • [FAÍSCA-48383][SS] Lançar melhor erro para partições incompatíveis na opção startOffset em Kafka
    • [FAÍSCA-48503][SQL] Corrigir subconsultas escalares inválidas com group-by em colunas não equivalentes que foram permitidas incorretamente
    • [FAÍSCA-48100][SQL] Corrigir problemas ao ignorar campos de estrutura aninhada não selecionados no esquema
    • [FAÍSCA-48273][SQL] Corrigir a reescrita tardia de PlanWithUnresolvedIdentifier
    • [FAÍSCA-48252][SQL] Atualize o CommonExpressionRef quando necessário
    • [FAÍSCA-48475][PYTHON] Otimize _get_jvm_function no PySpark.
    • [FAÍSCA-48292][CORE] Revert [SPARK-39195][SQL] Spark OutputCommitCoordinator deve abortar o estágio quando o arquivo confirmado não é consistente com o status da tarefa
    • Atualizações de segurança do sistema operacional.
  • 17 de junho de 2024
    • applyInPandasWithState() está disponível em clusters compartilhados.
    • Corrige um bug em que a otimização da janela de classificação usando Photon TopK manipulava incorretamente partições com structs.
    • [FAÍSCA-48310][PYTHON][CONECTAR] As propriedades armazenadas em cache devem retornar cópias
    • [FAÍSCA-48276][PYTHON][CONECTAR] Adicione o método ausente __repr__ para SQLExpression
    • [FAÍSCA-48294][SQL] Manipular minúsculas em nestedTypeMissingElementTypeError
    • Atualizações de segurança do sistema operacional.
  • 21 de maio de 2024
    • (Mudança de comportamento) dbutils.widgets.getAll() agora é suportado para obter todos os valores de widget em um bloco de anotações.
    • Corrigido um bug na função try_divide() em que entradas contendo decimais resultavam em exceções inesperadas.
    • [FAÍSCA-48056][CONECTAR][PYTHON] Execute novamente o plano se um erro de SESSION_NOT_FOUND for gerado e nenhuma resposta parcial for recebida
    • [FAÍSCA-48146][SQL] Corrigir função agregada em Com expressão asserção filho
    • [FAÍSCA-47986][CONECTAR][PYTHON] Não é possível criar uma nova sessão quando a sessão padrão é fechada pelo servidor
    • [FAÍSCA-48180][SQL] Melhorar o erro quando a chamada UDTF com TABLE arg esquece parênteses em torno de várias PARTIÇÃO/ORDEM POR exprs
    • [FAÍSCA-48016][SQL] Corrigir um bug na função try_divide quando com decimais
    • [FAÍSCA-48197][SQL] Evitar erro de declaração para função lambda inválida
    • [FAÍSCA-47994][SQL] Corrigir bug com o filtro de coluna CASE WHEN push down no SQLServer
    • [FAÍSCA-48173][SQL] CheckAnalysis deve ver todo o plano de consulta
    • [FAÍSCA-48105][SS] Corrigir a condição de corrida entre o descarregamento do armazenamento de estado e o snapshot
    • Atualizações de segurança do sistema operacional.
  • 9 de maio de 2024
    • (Alteração de comportamento) applyInPandas e mapInPandas os tipos UDF agora são suportados na computação do modo de acesso compartilhado executando o Databricks Runtime 14.3 e superior.
    • [FAÍSCA-47739][SQL] Registrar tipo avro lógico
    • [FAÍSCA-47941] [SS] [Conectar] Propagar erros de inicialização do trabalhador ForeachBatch aos usuários para o PySpark
    • [FAÍSCA-48010][SQL] Evite chamadas repetidas para conf.resolver em resolveExpression
    • [FAÍSCA-48044][PYTHON][CONECTAR] Cache DataFrame.isStreaming
    • [FAÍSCA-47956][SQL] Verificação de sanidade para referência de ACV não resolvida
    • [FAÍSCA-47543][CONECTAR][PYTHON] Inferindo ditado como Mapype do Pandas DataFrame para permitir a criação de DataFrame
    • [FAÍSCA-47819][CONECTAR][Cherry-pick-14.3] Usar retorno de chamada assíncrono para limpeza de execução
    • [FAÍSCA-47764][CORE][SQL] Limpeza de dependências aleatórias com base em ShuffleCleanupMode
    • [FAÍSCA-48018][SS] Corrigir groupId nulo causando erro de param ausente ao lançar KafkaException.couldNotReadOffsetRange
    • [FAÍSCA-47839][SQL] Corrigir bug agregado em RewriteWithExpression
    • [FAÍSCA-47371] [SQL] XML: Ignorar marcas de linha encontradas no CDATA
    • [FAÍSCA-47895][SQL] grupo por todos deve ser idempotente
    • [FAÍSCA-47973][CORE] Site de chamada de log em SparkContext.stop() e posterior em SparkContext.assertNotStopped()
    • Atualizações de segurança do sistema operacional.
  • 25 de abril de 2024
    • [FAÍSCA-47543][CONECTAR][PYTHON] Inferindo dict a partir MapType do Pandas DataFrame para permitir a criação do DataFrame
    • [FAÍSCA-47694][CONECTAR] Torne o tamanho máximo da mensagem configurável no lado do cliente
    • [FAÍSCA-47664][PYTHON][CONECTAR][Cherry-pick-14.3] Valide o nome da coluna com o esquema armazenado em cache
    • [FAÍSCA-47862][PYTHON][CONECTAR]Corrigir a geração de arquivos proto
    • Reverter "[SPARK-47543][CONNECT][PYTHON] Inferindo dict a partir MapType do Pandas DataFrame para permitir a criação do DataFrame"
    • [FAÍSCA-47704][SQL] A análise JSON falha com "java.lang.ClassCastException" quando spark.sql.json.enablePartialResults está ativado
    • [FAÍSCA-47812][CONECTAR] Suporte à serialização de SparkSession para o trabalhador ForEachBatch
    • [FAÍSCA-47818][CONECTAR][Cherry-pick-14.3] Introduza o cache de planos no SparkConnectPlanner para melhorar o desempenho de solicitações de análise
    • [FAÍSCA-47828][CONECTAR][PYTHON] DataFrameWriterV2.overwrite falha com plano inválido
    • Atualizações de segurança do sistema operacional.
  • 11 de abril de 2024
    • (Mudança de comportamento) Para garantir um comportamento consistente entre os tipos de computação, as UDFs do PySpark em clusters compartilhados agora correspondem ao comportamento das UDFs em clusters sem isolamento e atribuídos. Esta atualização inclui as seguintes alterações que podem quebrar o código existente:
      • UDFs com um tipo de string retorno não convertem mais implicitamente não-valoresstring em string valores. Anteriormente, UDFs com um tipo de retorno de encapsulavam o valor de retorno com uma str() função, independentemente do tipo de dados real do valor retornadostr.
      • UDFs com timestamp tipos de retorno não aplicam mais implicitamente uma conversão para timestamp com timezone.
      • As configurações de spark.databricks.sql.externalUDF.* cluster do Spark não se aplicam mais às UDFs do PySpark em clusters compartilhados.
      • A configuração spark.databricks.safespark.externalUDF.plan.limit do cluster Spark não afeta mais UDFs do PySpark, removendo a limitação de visualização pública de 5 UDFs por consulta para UDFs do PySpark.
      • A configuração spark.databricks.safespark.sandbox.size.default.mib de cluster do Spark não se aplica mais a UDFs do PySpark em clusters compartilhados. Em vez disso, a memória disponível no sistema é usada. Para limitar a memória de UDFs do PySpark, use spark.databricks.pyspark.udf.isolation.memoryLimit com um valor mínimo de 100m.
    • O TimestampNTZ tipo de dados agora é suportado como uma coluna de clustering com clustering líquido. Veja Utilizar clustering líquido para tabelas Delta.
    • [FAÍSCA-47511][SQL] Canonicalize com expressões reatribuindo IDs
    • [FAÍSCA-47509][SQL] Bloquear expressões de subconsulta em funções lambda e de ordem superior
    • [FAÍSCA-46990][SQL] Corrigir o carregamento de arquivos Avro vazios emitidos por hubs de eventos
    • [FAÍSCA-47638][PS][CONECTAR] Ignorar validação de nome de coluna no PS
    • Atualizações de segurança do sistema operacional.
  • Março 14, 2024
    • [FAÍSCA-47135][SS] Implementar classes de erro para exceções de perda de dados Kafka
    • [FAÍSCA-47176][SQL] Ter uma função auxiliar ResolveAllExpressionsUpWithPruning
    • [FAÍSCA-47145][SQL] Passe o identificador da tabela para o exec de verificação da fonte de dados de linha para a estratégia V2.
    • [FAÍSCA-47044][SQL] Adicionar consulta executada para fontes de dados externas JDBC para explicar a saída
    • [FAÍSCA-47167][SQL] Adicionar classe concreta para relação anônima JDBC
    • [FAÍSCA-47070] Corrigir agregação inválida após a reescrita da subconsulta
    • [FAÍSCA-47121][CORE] Evite RejectedExecutionExceptions durante o desligamento StandaloneSchedulerBackend
    • Reverter "[SPARK-46861][CORE] Evitar impasse no DAGScheduler"
    • [FAÍSCA-47125][SQL] Retornar null se Univocity nunca acionar a análise
    • [FAÍSCA-46999][SQL] ExpressionWithUnresolvedIdentifier deve incluir outras expressões na árvore de expressões
    • [FAÍSCA-47129][CONECTAR][SQL] Fazer ResolveRelations o plano de conexão de cache corretamente
    • [FAÍSCA-47241][SQL] Corrigir problemas de ordem de regra para ExtractGenerator
    • [FAÍSCA-47035][SS][CONECTAR] Protocolo para ouvinte do lado do cliente
    • Atualizações de segurança do sistema operacional.
  • 29 de fevereiro de 2024
    • Corrigido um problema em que o uso de uma coleção local como origem em um comando MERGE poderia resultar na métrica de operação numSourceRows relatando o dobro do número correto de linhas.
    • Criar um esquema com um local definido agora requer que o usuário tenha privilégios SELECT e MODIFY em QUALQUER ARQUIVO.
    • [FAÍSCA-47071][SQL] Inline With expression se contiver expressão especial
    • [FAÍSCA-47059][SQL] Anexar contexto de erro para o comando ALTER COLUMN v1
    • [FAÍSCA-46993][SQL] Corrigir dobragem constante para variáveis de sessão
    • Atualizações de segurança do sistema operacional.
  • 3 de janeiro de 2024
    • [FAÍSCA-46933] Adicione a métrica de tempo de execução da consulta aos conectores que usam JDBCRDD.
    • [FAÍSCA-46763] Corrija a falha de asserção em ReplaceDeduplicateWithAggregate para atributos duplicados.
    • [FAÍSCA-46954] XML: Envolva InputStreamReader com BufferedReader.
    • [FAÍSCA-46655] Ignorar a captura de contexto de consulta em DataFrame métodos.
    • [FAÍSCA-44815] Cache df.schema para evitar RPC extra.
    • [FAÍSCA-46952] XML: Limite o tamanho do registro corrompido.
    • [FAÍSCA-46794] Remova subconsultas de restrições LogicalRDD.
    • [FAÍSCA-46736] Retenha o campo de mensagem vazio no conector Protobuf.
    • [FAÍSCA-45182] Ignore a conclusão da tarefa do estágio antigo depois de tentar novamente o estágio indeterminado pai, conforme determinado pela soma de verificação.
    • [FAÍSCA-46414] Use prependBaseUri para renderizar importações de javascript.
    • [FAÍSCA-46383] Reduza o uso de pilha de driver reduzindo a vida útil do TaskInfo.accumulables().
    • [FAÍSCA-46861] Evite o impasse no DAGScheduler.
    • [FAÍSCA-46954] XML: Otimize a pesquisa de índice de esquema.
    • [FAÍSCA-46676] dropDuplicatesWithinWatermark não deve falhar na canonicalização do plano.
    • [FAÍSCA-46644] Altere adicionar e mesclar no SQLMetric para usar isZero.
    • [FAÍSCA-46731] Gerencie a instância do provedor de armazenamento de estado por fonte de dados de estado - leitor.
    • [FAÍSCA-46677] Corrija dataframe["*"] a resolução.
    • [FAÍSCA-46610] Criar tabela deve lançar exceção quando nenhum valor para uma chave em opções.
    • [FAÍSCA-46941] Não é possível inserir o nó de limite do grupo de janelas para computação top-k se contiver SizeBasedWindowFunction.
    • [FAÍSCA-45433] Corrija a inferência do esquema CSV/JSON quando os carimbos de data/hora não corresponderem ao timestampFormat especificado.
    • [FAÍSCA-46930] Adicione suporte para um prefixo personalizado para campos de tipo União no Avro.
    • [FAÍSCA-46227] Backport para 14.3.
    • [FAÍSCA-46822] Respeite spark.sql.legacy.charVarcharAsString ao transmitir o tipo jdbc para o tipo catalyst no jdbc.
    • Atualizações de segurança do sistema operacional.

Tempo de execução do Databricks 14.1

Consulte Databricks Runtime 14.1.

  • 5 de novembro de 2024
    • [FAÍSCA-49782][SQL] A regra ResolveDataFrameDropColumns resolve UnresolvedAttribute com saída filho
    • [FAÍSCA-49905] Use ShuffleOrigin dedicado para operador stateful para evitar que o shuffle seja modificado a partir do AQE
  • Outubro 22, 2024
    • [FAÍSCA-49782][SQL] A regra ResolveDataFrameDropColumns resolve UnresolvedAttribute com saída filho
    • [FAÍSCA-49905] Use ShuffleOrigin dedicado para operador stateful para evitar que o shuffle seja modificado a partir do AQE
  • 10 de outubro de 2024
  • 25 de setembro de 2024
    • [FAÍSCA-49628][SQL] ConstantFolding deve copiar a expressão com estado antes de avaliar
    • [FAÍSCA-43242][CORE] Corrigir lançamento 'Tipo inesperado de BlockId' no diagnóstico de corrupção aleatória
    • [FAÍSCA-48719][SQL] Corrigir o bug de cálculo de 'RegrS...
    • [FAÍSCA-49000][SQL] Corrija "select count(distinct 1) from t" onde t é uma tabela vazia expandindo RewriteDistinctAggregates
    • [FAÍSCA-46601] [CORE] Corrigir erro de log em handleStatusMessage
    • Atualizações de segurança do sistema operacional.
  • 17 de setembro de 2024
    • [FAÍSCA-49526][CONECTAR] Suporte a caminhos no estilo do Windows no ArtifactManager
    • Atualizações de segurança do sistema operacional.
  • 29 de agosto de 2024
    • [FAÍSCA-49263][CONECTAR] Cliente python do Spark Connect: manipule consistentemente as opções do leitor de Dataframe booleano
    • [FAÍSCA-49056][SQL] ErrorClassesJsonReader não pode manipular null corretamente
  • 14 de agosto de 2024
    • [FAÍSCA-48706][PYTHON] Python UDF em funções de ordem superior não deve lançar erro interno
    • [FAÍSCA-48597][SQL] Introduzir um marcador para a propriedade isStreaming na representação de texto do plano lógico
    • [FAÍSCA-49065][SQL] A rebase em formatters/analisadores herdados deve suportar fusos horários não padrão da JVM
    • [FAÍSCA-48050][SS] Registrar o plano lógico no início da consulta
  • 1 de agosto de 2024
    • Esta versão inclui uma correção de bug para as ColumnVector classes e ColumnarArray na interface Java do Spark. Antes dessa correção, um ArrayIndexOutOfBoundsException pode ser lançado ou dados incorretos retornados quando uma instância de uma dessas classes continha null valores.
    • A saída de uma SHOW CREATE TABLE instrução agora inclui quaisquer filtros de linha ou máscaras de coluna definidos em uma exibição materializada ou tabela de streaming. Consulte SHOW CREATE TABLE. Para saber mais sobre filtros de linha e máscaras de coluna, consulte Filtrar dados de tabela confidenciais usando filtros de linha e máscaras de coluna.
    • [FAÍSCA-48705][PYTHON] Use explicitamente worker_main quando ele começa com pyspark
    • [FAÍSCA-47202][PYTHON] Corrigir erros de digitação quebrando datetimes com tzinfo
    • Atualizações de segurança do sistema operacional.
  • Julho 11, 2024
    • (Alteração de comportamento) DataFrames armazenados em cache em fontes de tabela Delta agora são invalidados se a tabela de origem for substituída. Essa alteração significa que todas as alterações de estado nas tabelas Delta agora invalidam os resultados armazenados em cache. Use .checkpoint() para persistir um estado de tabela durante todo o tempo de vida de um DataFrame.
    • Esta versão inclui uma correção para um problema que impedia que a guia Ambiente da Interface do Usuário do Spark fosse exibida corretamente ao ser executada nos Serviços de Contêiner do Databricks.
    • [FAÍSCA-48475][PYTHON] Otimize _get_jvm_function no PySpark.
    • [FAÍSCA-48445][SQL] Não inline UDFs com crianças caras
    • [FAÍSCA-48481][SQL][SS] Não aplique OptimizeOneRowPlan contra streaming Dataset
    • [FAÍSCA-48292][CORE] Revert [SPARK-39195][SQL] Spark OutputCommitCoordinator deve abortar o estágio quando o arquivo confirmado não é consistente com o status da tarefa
    • [FAÍSCA-48503][SQL] Corrigir subconsultas escalares inválidas com group-by em colunas não equivalentes que foram permitidas incorretamente
    • [FAÍSCA-48273][SQL] Corrigir a reescrita tardia de PlanWithUnresolvedIdentifier
    • [FAÍSCA-48100][SQL] Corrigir problemas ao ignorar campos de estrutura aninhada não selecionados no esquema
    • [FAÍSCA-48383][SS] Lançar melhor erro para partições incompatíveis na opção startOffset em Kafka
    • Atualizações de segurança do sistema operacional.
  • 17 de junho de 2024
    • Corrige um bug em que a otimização da janela de classificação usando Photon TopK manipulava incorretamente partições com structs.
    • [FAÍSCA-48276][PYTHON][CONECTAR] Adicione o método ausente __repr__ para SQLExpression
    • [FAÍSCA-48277] Melhorar a mensagem de erro para ErrorClassesJsonReader.getErrorMessage
    • Atualizações de segurança do sistema operacional.
  • 21 de maio de 2024
  • 9 de maio de 2024
    • [FAÍSCA-47371] [SQL] XML: Ignorar marcas de linha encontradas no CDATA
    • [FAÍSCA-47895][SQL] grupo por todos deve ser idempotente
    • [FAÍSCA-47956][SQL] Verificação de sanidade para referência de ACV não resolvida
    • [FAÍSCA-48044][PYTHON][CONECTAR] Cache DataFrame.isStreaming
    • [FAÍSCA-47973][CORE] Site de chamada de log em SparkContext.stop() e posterior em SparkContext.assertNotStopped()
    • Atualizações de segurança do sistema operacional.
  • 25 de abril de 2024
    • [FAÍSCA-47704][SQL] A análise JSON falha com "java.lang.ClassCastException" quando spark.sql.json.enablePartialResults está ativado
    • [FAÍSCA-47828][CONECTAR][PYTHON] DataFrameWriterV2.overwrite falha com plano inválido
    • Atualizações de segurança do sistema operacional.
  • 11 de abril de 2024
    • [FAÍSCA-47638][PS][CONECTAR] Ignorar validação de nome de coluna no PS
    • [FAÍSCA-38708][SQL] Atualize o Hive Metastore Client para a versão 3.1.3 do Hive 3.1
    • [FAÍSCA-47309][SQL][XML] Adicionar testes de unidade de inferência de esquema
    • [FAÍSCA-47509][SQL] Bloquear expressões de subconsulta em funções lambda e de ordem superior
    • [FAÍSCA-46990][SQL] Corrigir o carregamento de arquivos Avro vazios emitidos por hubs de eventos
    • Atualizações de segurança do sistema operacional.
  • 1 de abril de 2024
    • [FAÍSCA-47305][SQL] Corrija PruneFilters para marcar o sinalizador isStreaming de LocalRelation corretamente quando o plano tiver lote e streaming
    • [FAÍSCA-47218][SQL] XML: Ignorar marcas de linha comentadas no tokenizador XML
    • [FAÍSCA-47300][SQL] quoteIfNeeded se o identificador da cotação começar com dígitos
    • [FAÍSCA-47368][SQL] Remover inferTimestampNTZ config check in ParquetRowConverter
    • [FAÍSCA-47070] Corrigir agregação inválida após a reescrita da subconsulta
    • [FAÍSCA-47322][PYTHON][CONECTAR] Tornar withColumnsRenamed o tratamento de duplicação de nomes de colunas consistente com withColumnRenamed
    • [FAÍSCA-47300] Correção para DecomposerSuite
    • [FAÍSCA-47218] [SQL] XML: SchemaOfXml alterado para falhar no modo DROPMALFORMED
    • [FAÍSCA-47385] Corrija codificadores de tupla com entradas Option.
    • Atualizações de segurança do sistema operacional.
  • Março 14, 2024
    • [FAÍSCA-47176][SQL] Ter uma função auxiliar ResolveAllExpressionsUpWithPruning
    • [FAÍSCA-47145][SQL] Passe o identificador da tabela para o exec de verificação da fonte de dados de linha para a estratégia V2.
    • [FAÍSCA-47167][SQL] Adicionar classe concreta para relação anônima JDBC
    • [FAÍSCA-47129][CONECTAR][SQL] Fazer ResolveRelations o plano de conexão de cache corretamente
    • Reverter "[SPARK-46861][CORE] Evitar impasse no DAGScheduler"
    • [FAÍSCA-47044][SQL] Adicionar consulta executada para fontes de dados externas JDBC para explicar a saída
    • Atualizações de segurança do sistema operacional.
  • 29 de fevereiro de 2024
    • Corrigido um problema em que o uso de uma coleção local como origem em um comando MERGE poderia resultar na métrica de operação numSourceRows relatando o dobro do número correto de linhas.
    • Criar um esquema com um local definido agora requer que o usuário tenha privilégios SELECT e MODIFY em QUALQUER ARQUIVO.
    • Agora você pode ingerir arquivos XML usando Autoloader, read_files, COPY INTO, DLT e DBSQL. O suporte a arquivos XML pode inferir e evoluir automaticamente o esquema, resgatar dados com incompatibilidades de tipo, validar XML usando XSD, suportar expressões SQL como from_xml, schema_of_xml e to_xml. Consulte Suporte a arquivos XML para obter mais detalhes. Se você já estava usando o pacote spark-xml externo, consulte aqui para obter orientações sobre migração.
    • [FAÍSCA-46248][SQL] XML: Suporte para as opções ignoreCorruptFiles e ignoreMissingFiles
    • [FAÍSCA-47059][SQL] Anexar contexto de erro para o comando ALTER COLUMN v1
    • [FAÍSCA-46954][SQL] XML: Wrap InputStreamReader com BufferedReader
    • [FAÍSCA-46954][SQL] XML: Otimizar a pesquisa de índice de esquema
    • [FAÍSCA-46630][SQL] XML: Validar o nome do elemento XML na gravação
    • Atualizações de segurança do sistema operacional.
  • 8 de fevereiro de 2024
    • Não há suporte para consultas de feed de dados (CDF) de alteração em exibições materializadas do Catálogo Unity, e a tentativa de executar uma consulta CDF com uma exibição materializada do Catálogo Unity retorna um erro. As tabelas de streaming do Unity Catalog suportam consultas CDF em não-tabelasAPPLY CHANGES no Databricks Runtime 14.1 e posterior. As consultas CDF não são suportadas com tabelas de streaming do Unity Catalog no Databricks Runtime 14.0 e anteriores.
    • [FAÍSCA-46952] XML: Limite o tamanho do registro corrompido.
    • [FAÍSCA-45182] Ignore a conclusão da tarefa do estágio antigo depois de tentar novamente o estágio indeterminado pai, conforme determinado pela soma de verificação.
    • [FAÍSCA-46794] Remova subconsultas de restrições LogicalRDD.
    • [FAÍSCA-46933] Adicione a métrica de tempo de execução da consulta aos conectores que usam JDBCRDD.
    • [FAÍSCA-46861] Evite o impasse no DAGScheduler.
    • [FAÍSCA-45582] Certifique-se de que a instância de armazenamento não seja usada depois de chamar a confirmação na agregação de streaming no modo de saída.
    • [FAÍSCA-46930] Adicione suporte para um prefixo personalizado para campos de tipo União no Avro.
    • [FAÍSCA-46941] Não é possível inserir o nó de limite do grupo de janelas para computação top-k se contiver SizeBasedWindowFunction.
    • [FAÍSCA-46396] A inferência de carimbo de data/hora não deve lançar exceção.
    • [FAÍSCA-46822] Respeite spark.sql.legacy.charVarcharAsString ao transmitir o tipo jdbc para o tipo catalyst no jdbc.
    • [FAÍSCA-45957] Evite gerar plano de execução para comandos não executáveis.
    • Atualizações de segurança do sistema operacional.
  • 31 de janeiro de 2024
    • [FAÍSCA-46684] Corrija CoGroup.applyInPandas/Arrow para passar argumentos corretamente.
    • [FAÍSCA-46763] Corrija a falha de asserção em ReplaceDeduplicateWithAggregate para atributos duplicados.
    • [FAÍSCA-45498] Acompanhamento: Ignore a conclusão de tarefas de tentativas de estágio antigas.
    • [FAÍSCA-46382] XML: Documento de atualização para ignoreSurroundingSpaces.
    • [FAÍSCA-46383] Reduza o uso de pilha de driver reduzindo a vida útil do TaskInfo.accumulables().
    • [FAÍSCA-46382] XML: Default ignoreSurroundingSpaces como true.
    • [FAÍSCA-46677] Corrija dataframe["*"] a resolução.
    • [FAÍSCA-46676] dropDuplicatesWithinWatermark não deve falhar na canonicalização do plano.
    • [FAÍSCA-46633] Corrija o leitor Avro para lidar com blocos de comprimento zero.
    • [FAÍSCA-45912] Aprimoramento da API XSDToSchema: Mude para a API HDFS para acessibilidade de armazenamento em nuvem.
    • [FAÍSCA-46599] XML: Use TypeCoercion.findTightestCommonType para verificação de compatibilidade.
    • [FAÍSCA-46382] XML: Captura valores intercalados entre elementos.
    • [FAÍSCA-46769] Refine a inferência de esquema relacionada ao carimbo de data/hora.
    • [FAÍSCA-46610] Criar tabela deve lançar exceção quando nenhum valor para uma chave em opções.
    • [FAÍSCA-45964] Remova o acessador sql privado no pacote XML e JSON no pacote catalyst.
    • Reverter [SPARK-46769] Refine a inferência de esquema relacionada ao carimbo de data/hora.
    • [FAÍSCA-45962] Remova treatEmptyValuesAsNulls e use nullValue a opção em vez disso em XML.
    • [FAÍSCA-46541] Corrija a referência de coluna ambígua na associação automática.
    • Atualizações de segurança do sistema operacional.
  • 17 de janeiro de 2024
    • O shuffle nó do plano explicativo retornado por uma consulta Photon é atualizado para adicionar o causedBroadcastJoinBuildOOM=true sinalizador quando ocorre um erro de falta de memória durante um shuffle que faz parte de uma associação de transmissão.
    • Para evitar o aumento da latência ao se comunicar por TLSv1.3, esta versão de manutenção inclui um patch para a instalação do JDK 8 para corrigir o bug JDK-8293562 do JDK.
    • [FAÍSCA-46538] Corrija o problema de referência de coluna ambígua no ALSModel.transform.
    • [FAÍSCA-46417] Não falhe ao chamar hive.getTable e throwException for false.
    • [FAÍSCA-46484] Faça resolveOperators com que as funções auxiliares mantenham a ID do plano.
    • [FAÍSCA-46153] XML: Adicionar suporte a TimestampNTZType.
    • [FAÍSCA-46152] XML: Adicione suporte a DecimalType na inferência de esquema XML.
    • [FAÍSCA-46145] spark.catalog.listTables não lança exceção quando a tabela ou exibição não é encontrada.
    • [FAÍSCA-46478] Reverta SPARK-43049 para usar oracle varchar(255) para string.
    • [FAÍSCA-46394] Corrija problemas spark.catalog.listDatabases() em esquemas com caracteres especiais quando spark.sql.legacy.keepCommandOutputSchema definido como true.
    • [FAÍSCA-46337] Faça CTESubstitution reter o PLAN_ID_TAG.
    • [FAÍSCA-46466] O leitor de parquet vetorizado nunca deve fazer rebase para ntz de carimbo de data/hora.
    • [FAÍSCA-46587] XML: Corrija a conversão de inteiros grandes XSD.
    • [FAÍSCA-45814] Faça ArrowConverters.createEmptyArrowBatch call close() para evitar vazamento de memória.
    • [FAÍSCA-46132] Senha de chave de suporte para chaves JKS para RPC SSL.
    • [FAÍSCA-46602] Propagar allowExisting na criação de modo de exibição quando o modo de exibição/tabela não existir.
    • [FAÍSCA-46173] Pular corteTodas as chamadas durante a análise de data.
    • [FAÍSCA-46355] XML: Feche InputStreamReader na conclusão da leitura.
    • [FAÍSCA-46600] Mova o código compartilhado entre SqlConf e SqlApiConf para SqlApiConfHelper.
    • [FAÍSCA-46261] DataFrame.withColumnsRenamed deve manter a ordem do ditado/mapa.
    • [FAÍSCA-46056] Corrija o NPE de leitura vetorizado do Parquet com o valor padrão byteArrayDecimalType.
    • [FAÍSCA-46260] DataFrame.withColumnsRenamed deve respeitar a ordem do ditado.
    • [FAÍSCA-46250] Deflake test_parity_listener.
    • [FAÍSCA-46370] Corrija o bug ao consultar a partir da tabela depois de alterar os padrões da coluna.
    • [FAÍSCA-46609] Evite explosões exponenciais em PartitioningPreservingUnaryExecNode.
    • [FAÍSCA-46058] Adicione sinalizador separado para privateKeyPassword.
  • 14 de dezembro de 2023
    • Corrigido um problema em que sublinhados escapados em operações getColumns originadas de clientes JDBC ou ODBC eram manipulados incorretamente e interpretados como curingas.
    • [FAÍSCA-45509] Corrija o comportamento de referência da coluna df para o Spark Connect.
    • [FAÍSCA-45844] Implemente a indiferenciação de maiúsculas e minúsculas para XML.
    • [FAÍSCA-46141] Altere o padrão de spark.sql.legacy.ctePrecedencePolicy para CORRIGIDO.
    • [FAÍSCA-46028] Fazer Column.__getitem__ aceitar coluna de entrada.
    • [FAÍSCA-46255] Suporte tipo complexo -> conversão de string.
    • [FAÍSCA-45655] Permita expressões não determinísticas dentro de AggregateFunctions em CollectMetrics.
    • [FAÍSCA-45433] Corrija a inferência do esquema CSV/JSON quando os carimbos de data/hora não corresponderem ao timestampFormat especificado.
    • [FAÍSCA-45316] Adicione novos parâmetros ignoreCorruptFiles/ignoreMissingFiles a HadoopRDD e NewHadoopRDD.
    • [FAÍSCA-45852] Lide graciosamente com o erro de recursão durante o registro.
    • [FAÍSCA-45920] grupo por ordinal deve ser idempotente.
    • Atualizações de segurança do sistema operacional.
  • 29 de novembro de 2023
    • Instalado um novo pacote pyarrow-hotfix para corrigir uma vulnerabilidade do PyArrow RCE.
    • Corrigido um problema em que sublinhados escapados em getColumns operações originadas de clientes JDBC ou ODBC eram erroneamente interpretados como curingas.
    • Ao ingerir dados CSV usando o Auto Loader ou tabelas de streaming, arquivos CSV grandes agora são dividiveis e podem ser processados em paralelo durante a inferência de esquema e o processamento de dados.
    • [FAÍSCA-45892] Validação do plano do otimizador de refatoração para desacoplar validateSchemaOutput e validateExprIdUniqueness.
    • [FAÍSCA-45620] APIs relacionadas ao Python UDF agora usam camelCase.
    • [FAÍSCA-44790] Adicionada to_xml implementação e ligações para Python, Spark Connect e SQL.
    • [FAÍSCA-45770] Resolução de coluna fixa com DataFrameDropColumns for Dataframe.drop.
    • [FAÍSCA-45859] Fez objetos UDF em ml.functions preguiçoso.
    • [FAÍSCA-45730] Restrições de tempo melhoradas para ReloadingX509TrustManagerSuiteo .
    • [FAÍSCA-44784] Fez testes do SBT herméticos.
    • Atualizações de segurança do sistema operacional.
  • 10 de novembro de 2023
    • [FAÍSCA-45545] SparkTransportConf herda após a SSLOptions criação.
    • [FAÍSCA-45250] Adicionado suporte para perfil de recurso de tarefa em nível de estágio para clusters de fios quando a alocação dinâmica está desativada.
    • [FAÍSCA-44753] Adicionado leitor e gravador XML DataFrame para PySpark SQL.
    • [FAÍSCA-45396] Adicionada uma entrada doc para PySpark.ml.connect o módulo.
    • [FAÍSCA-45584] Corrigida a falha de execução da subconsulta com TakeOrderedAndProjectExeco .
    • [FAÍSCA-45541] Adicionado SSLFactory.
    • [FAÍSCA-45577] Corrigido UserDefinedPythonTableFunctionAnalyzeRunner para passar valores dobrados de argumentos nomeados.
    • [FAÍSCA-45562] Tornou 'rowTag' uma opção obrigatória.
    • [FAÍSCA-45427] Adicionadas configurações de SSL RPC para SSLOptions e SparkTransportConf.
    • [FAÍSCA-43380] Corrigida lentidão na leitura Avro.
    • [FAÍSCA-45430] FramelessOffsetWindowFunction já não falha quando IGNORE NULLS e offset > rowCount.
    • [FAÍSCA-45429] Adicionadas classes auxiliares para comunicação RPC SSL.
    • [FAÍSCA-45386] Corrigido um problema em que StorageLevel.NONE retornava incorretamente 0.
    • [FAÍSCA-44219] Adicionadas verificações de validação por regra para regravações de otimização.
    • [FAÍSCA-45543] Corrigido um problema que InferWindowGroupLimit causava um problema se as outras funções da janela não tivessem a mesma moldura da janela que as funções de classificação.
    • Atualizações de segurança do sistema operacional.
  • 27 de setembro de 2023
    • [FAÍSCA-44823] Atualizado black para 23.9.1 e corrigido erro de verificação.
    • [FAÍSCA-45339] O PySpark agora registra erros que ele repete.
    • Reverter [SPARK-42946] Dados confidenciais editados aninhados em substituições variáveis.
    • [FAÍSCA-44551] Comentários editados para sincronizar com o OSS.
    • [FAÍSCA-45360] O construtor de sessões do Spark suporta a inicialização a partir do SPARK_REMOTE.
    • [FAÍSCA-45279] Anexado plan_id a todos os planos lógicos.
    • [FAÍSCA-45425] Mapeado TINYINT para MsSqlServerDialectShortType .
    • [FAÍSCA-45419] Removida a entrada de mapa de versão de arquivo de versões maiores para evitar a reutilização rocksdb de IDs de arquivo sst.
    • [FAÍSCA-45488] Suporte adicionado para valor no rowTag elemento.
    • [FAÍSCA-42205] Removido o registo de eventos de início em JsonProtocol Task/Stage registos de Accumulables eventos.
    • [FAÍSCA-45426] Adicionado suporte para ReloadingX509TrustManager.
    • [FAÍSCA-45256] DurationWriter falha ao escrever mais valores do que a capacidade inicial.
    • [FAÍSCA-43380] Corrigidos Avro problemas de conversão de tipo de dados sem causar regressão de desempenho.
    • [FAÍSCA-45182] Adicionado suporte para reverter o estágio do mapa aleatório para que todas as tarefas do estágio possam ser repetidas quando a saída do palco for indeterminada.
    • [FAÍSCA-45399] Opções XML adicionadas usando newOptiono .
    • Atualizações de segurança do sistema operacional.

Databricks Tempo de execução 13.3 LTS

Consulte Databricks Runtime 13.3 LTS.

  • 5 de novembro de 2024
  • Outubro 22, 2024
  • 10 de outubro de 2024
    • [FAÍSCA-49743][SQL] OptimizeCsvJsonExpr não deve alterar campos de esquema ao remover GetArrayStructFields
  • 25 de setembro de 2024
    • [FAÍSCA-46601] [CORE] Corrigir erro de log em handleStatusMessage
    • [FAÍSCA-48719][SQL] Corrigir o bug de cálculo de RegrSlope & RegrIntercept quando o primeiro parâmetro é nulo
    • [FAÍSCA-43242][CORE] Corrigir lançamento 'Tipo inesperado de BlockId' no diagnóstico de corrupção aleatória
    • [FAÍSCA-49000][SQL] Corrija "select count(distinct 1) from t" onde t é uma tabela vazia expandindo RewriteDistinctAggregates
    • Atualizações de segurança do sistema operacional.
  • 17 de setembro de 2024
    • [FAÍSCA-49526][CONECTAR] Suporte a caminhos no estilo do Windows no ArtifactManager
    • [FAÍSCA-48463][ML] Make Binarizer, Bucketizer, Vetor Assembler, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor suportando colunas de entrada aninhadas
    • Atualizações de segurança do sistema operacional.
  • 29 de agosto de 2024
  • 14 de agosto de 2024
    • [FAÍSCA-49056][SQL] ErrorClassesJsonReader não pode manipular null corretamente
    • [FAÍSCA-49065][SQL] A rebase em formatters/analisadores herdados deve suportar fusos horários não padrão da JVM
    • [FAÍSCA-48597][SQL] Introduzir um marcador para a propriedade isStreaming na representação de texto do plano lógico
  • 1 de agosto de 2024
    • Esta versão inclui uma correção de bug para as ColumnVector classes e ColumnarArray na interface Java do Spark. Antes dessa correção, um ArrayIndexOutOfBoundsException pode ser lançado ou dados incorretos retornados quando uma instância de uma dessas classes continha null valores.
    • [FAÍSCA-47202][PYTHON] Corrigir erros de digitação quebrando datetimes com tzinfo
    • [FAÍSCA-48896] [FAÍSCA-48909] [FAÍSCA-48883] Correções do gravador de ML de faísca de backport
    • [FAÍSCA-48463] Tornar o StringIndexer compatível com colunas de entrada aninhadas
    • Atualizações de segurança do sistema operacional.
  • Julho 11, 2024
    • (Alteração de comportamento) DataFrames armazenados em cache em fontes de tabela Delta agora são invalidados se a tabela de origem for substituída. Essa alteração significa que todas as alterações de estado nas tabelas Delta agora invalidam os resultados armazenados em cache. Use .checkpoint() para persistir um estado de tabela durante todo o tempo de vida de um DataFrame.
    • Esta versão inclui uma correção para um problema que impedia que a guia Ambiente da Interface do Usuário do Spark fosse exibida corretamente ao ser executada nos Serviços de Contêiner do Databricks.
    • [FAÍSCA-48383][SS] Lançar melhor erro para partições incompatíveis na opção startOffset em Kafka
    • [FAÍSCA-48292][CORE] Revert [SPARK-39195][SQL] Spark OutputCommitCoordinator deve abortar o estágio quando o arquivo confirmado não é consistente com o status da tarefa
    • [FAÍSCA-48503][SQL] Corrigir subconsultas escalares inválidas com group-by em colunas não equivalentes que foram permitidas incorretamente
    • [FAÍSCA-48481][SQL][SS] Não aplique OptimizeOneRowPlan contra streaming Dataset
    • [FAÍSCA-48475][PYTHON] Otimize _get_jvm_function no PySpark.
    • [FAÍSCA-48273][SQL] Corrigir a reescrita tardia de PlanWithUnresolvedIdentifier
    • [FAÍSCA-48445][SQL] Não inline UDFs com crianças caras
    • Atualizações de segurança do sistema operacional.
  • 17 de junho de 2024
    • [FAÍSCA-48277] Melhorar a mensagem de erro para ErrorClassesJsonReader.getErrorMessage
    • Atualizações de segurança do sistema operacional.
  • 21 de maio de 2024
  • 9 de maio de 2024
    • [FAÍSCA-47956][SQL] Verificação de sanidade para referência de ACV não resolvida
    • [FAÍSCA-46822][SQL] Respeite spark.sql.legacy.charVarcharAsString ao fundir o tipo jdbc para o tipo catalyst no jdbc
    • [FAÍSCA-47895][SQL] grupo por todos deve ser idempotente
    • [FAÍSCA-48018][SS] Corrigir groupId nulo causando erro de param ausente ao lançar KafkaException.couldNotReadOffsetRange
    • [FAÍSCA-47973][CORE] Site de chamada de log em SparkContext.stop() e posterior em SparkContext.assertNotStopped()
    • Atualizações de segurança do sistema operacional.
  • 25 de abril de 2024
    • [FAÍSCA-44653][SQL] Uniões de DataFrame não triviais não devem quebrar o cache
    • Correções de bugs diversos.
  • 11 de abril de 2024
    • [FAÍSCA-47509][SQL] Bloquear expressões de subconsulta em funções lambda e de ordem superior
    • Atualizações de segurança do sistema operacional.
  • 1 de abril de 2024
    • [FAÍSCA-47385] Corrija codificadores de tupla com entradas Option.
    • [FAÍSCA-38708][SQL] Atualize o Hive Metastore Client para a versão 3.1.3 do Hive 3.1
    • [FAÍSCA-47200][SS] Classe de erro para erro de função de usuário do coletor de lote Foreach
    • [FAÍSCA-47368][SQL] Remover inferTimestampNTZ config check in ParquetRowConverter
    • [FAÍSCA-44252][SS] Defina uma nova classe de erro e aplique para o caso em que o estado de carregamento do DFS falhar
    • [FAÍSCA-47135][SS] Implementar classes de erro para exceções de perda de dados Kafka
    • [FAÍSCA-47300][SQL] quoteIfNeeded se o identificador da cotação começar com dígitos
    • [FAÍSCA-47305][SQL] Corrija PruneFilters para marcar o sinalizador isStreaming de LocalRelation corretamente quando o plano tiver lote e streaming
    • [FAÍSCA-47070] Corrigir agregação inválida após a reescrita da subconsulta
    • Atualizações de segurança do sistema operacional.
  • Março 14, 2024
    • [FAÍSCA-47145][SQL] Passe o identificador da tabela para o exec de verificação da fonte de dados de linha para a estratégia V2.
    • [FAÍSCA-47167][SQL] Adicionar classe concreta para relação anônima JDBC
    • [FAÍSCA-47176][SQL] Ter uma função auxiliar ResolveAllExpressionsUpWithPruning
    • [FAÍSCA-47044][SQL] Adicionar consulta executada para fontes de dados externas JDBC para explicar a saída
    • [FAÍSCA-47125][SQL] Retornar null se Univocity nunca acionar a análise
    • Atualizações de segurança do sistema operacional.
  • 29 de fevereiro de 2024
    • Corrigido um problema em que o uso de uma coleção local como origem em um comando MERGE poderia resultar na métrica de operação numSourceRows relatando o dobro do número correto de linhas.
    • Criar um esquema com um local definido agora requer que o usuário tenha privilégios SELECT e MODIFY em QUALQUER ARQUIVO.
    • Atualizações de segurança do sistema operacional.
  • 8 de fevereiro de 2024
    • Não há suporte para consultas de feed de dados (CDF) de alteração em exibições materializadas do Catálogo Unity, e a tentativa de executar uma consulta CDF com uma exibição materializada do Catálogo Unity retorna um erro. As tabelas de streaming do Unity Catalog suportam consultas CDF em não-tabelasAPPLY CHANGES no Databricks Runtime 14.1 e posterior. As consultas CDF não são suportadas com tabelas de streaming do Unity Catalog no Databricks Runtime 14.0 e anteriores.
    • [FAÍSCA-46794] Remova subconsultas de restrições LogicalRDD.
    • [FAÍSCA-46933] Adicione a métrica de tempo de execução da consulta aos conectores que usam JDBCRDD.
    • [FAÍSCA-45582] Certifique-se de que a instância de armazenamento não seja usada depois de chamar a confirmação na agregação de streaming no modo de saída.
    • [FAÍSCA-46396] A inferência de carimbo de data/hora não deve lançar exceção.
    • [FAÍSCA-46861] Evite o impasse no DAGScheduler.
    • [FAÍSCA-46941] Não é possível inserir o nó de limite do grupo de janelas para computação top-k se contiver SizeBasedWindowFunction.
    • Atualizações de segurança do sistema operacional.
  • 31 de janeiro de 2024
    • [FAÍSCA-46610] Criar tabela deve lançar exceção quando nenhum valor para uma chave em opções.
    • [FAÍSCA-46383] Reduza o uso de heap de driver reduzindo a vida útil de TaskInfo.accumulables().
    • [FAÍSCA-46600] Mova o código compartilhado entre SqlConf e SqlApiConf para SqlApiConfHelper.
    • [FAÍSCA-46676] dropDuplicatesWithinWatermark não deve falhar na canonicalização do plano.
    • [FAÍSCA-46763] Corrija a falha de asserção em ReplaceDeduplicateWithAggregate para atributos duplicados.
    • Atualizações de segurança do sistema operacional.
  • 17 de janeiro de 2024
    • O shuffle nó do plano explicativo retornado por uma consulta Photon é atualizado para adicionar o causedBroadcastJoinBuildOOM=true sinalizador quando ocorre um erro de falta de memória durante um shuffle que faz parte de uma associação de transmissão.
    • Para evitar o aumento da latência ao se comunicar por TLSv1.3, esta versão de manutenção inclui um patch para a instalação do JDK 8 para corrigir o bug JDK-8293562 do JDK.
    • [FAÍSCA-46058] Adicione sinalizador separado para privateKeyPassword.
    • [FAÍSCA-46173] Pular corteTodas as chamadas durante a análise de data.
    • [FAÍSCA-46370] Corrija o bug ao consultar a partir da tabela depois de alterar os padrões da coluna.
    • [FAÍSCA-46370] Corrija o bug ao consultar a partir da tabela depois de alterar os padrões da coluna.
    • [FAÍSCA-46370] Corrija o bug ao consultar a partir da tabela depois de alterar os padrões da coluna.
    • [FAÍSCA-46609] Evite explosões exponenciais em PartitioningPreservingUnaryExecNode.
    • [FAÍSCA-46132] Senha de chave de suporte para chaves JKS para RPC SSL.
    • [FAÍSCA-46602] Propagar allowExisting na criação de modo de exibição quando o modo de exibição/tabela não existir.
    • [FAÍSCA-46249] Exija o bloqueio de instância para adquirir métricas do RocksDB para evitar corridas com operações em segundo plano.
    • [FAÍSCA-46417] Não falhe ao chamar hive.getTable e throwException for false.
    • [FAÍSCA-46538] Corrija o problema de referência de coluna ambígua no ALSModel.transform.
    • [FAÍSCA-46478] Reverta SPARK-43049 para usar oracle varchar(255) para string.
    • [FAÍSCA-46250] Deflake test_parity_listener.
    • [FAÍSCA-46394] Corrija problemas spark.catalog.listDatabases() em esquemas com caracteres especiais quando spark.sql.legacy.keepCommandOutputSchema definido como true.
    • [FAÍSCA-46056] Corrija o NPE de leitura vetorizado do Parquet com o valor padrão byteArrayDecimalType.
    • [FAÍSCA-46145] spark.catalog.listTables não lança exceção quando a tabela ou exibição não é encontrada.
    • [FAÍSCA-46466] O leitor de parquet vetorizado nunca deve fazer rebase para ntz de carimbo de data/hora.
  • 14 de dezembro de 2023
    • Corrigido um problema em que sublinhados escapados em operações getColumns originadas de clientes JDBC ou ODBC eram manipulados incorretamente e interpretados como curingas.
    • [FAÍSCA-45920] grupo por ordinal deve ser idempotente.
    • [FAÍSCA-44582] Ignore o iterador no SMJ se ele foi limpo.
    • [FAÍSCA-45433] Corrija a inferência do esquema CSV/JSON quando os carimbos de data/hora não corresponderem ao timestampFormat especificado.
    • [FAÍSCA-45655] Permita expressões não determinísticas dentro de AggregateFunctions em CollectMetrics.
    • Atualizações de segurança do sistema operacional.
  • 29 de novembro de 2023
    • Instalado um novo pacote pyarrow-hotfix para corrigir uma vulnerabilidade do PyArrow RCE.
    • O conector faísca-floco de neve é atualizado para 2.12.0.
    • [FAÍSCA-44846] Removidas expressões de agrupamento complexo após RemoveRedundantAggregates.
    • [FAÍSCA-45544] Suporte SSL integrado no TransportContext.
    • [FAÍSCA-45892] Validação do plano do otimizador de refatoração para desacoplar validateSchemaOutput e validateExprIdUniqueness.
    • [FAÍSCA-45730] Restrições de tempo melhoradas para ReloadingX509TrustManagerSuiteo .
    • [FAÍSCA-45859] Fez objetos UDF em ml.functions preguiçoso.
    • Atualizações de segurança do sistema operacional.
  • 10 de novembro de 2023
    • Os filtros de partição nas consultas de streaming Delta Lake são empurrados para baixo antes do limite de taxa para obter uma melhor utilização.
    • Consultas de feed de dados alteradas em tabelas de streaming do Catálogo Unity e exibições materializadas para exibir mensagens de erro.
    • [FAÍSCA-45545] SparkTransportConf herda após a SSLOptions criação.
    • [FAÍSCA-45584] Corrigida a falha de execução da subconsulta com TakeOrderedAndProjectExeco .
    • [FAÍSCA-45427] Adicionadas configurações de SSL RPC para SSLOptions e SparkTransportConf.
    • [FAÍSCA-45541] Adicionado SSLFactory.
    • [FAÍSCA-45430] FramelessOffsetWindowFunction já não falha quando IGNORE NULLS e offset > rowCount.
    • [FAÍSCA-45429] Adicionadas classes auxiliares para comunicação RPC SSL.
    • [FAÍSCA-44219] Adicionadas validações extras por regra para regravações de otimização.
    • [FAÍSCA-45543] Corrigido um problema que InferWindowGroupLimit causava um problema se as outras funções da janela não tivessem a mesma moldura da janela que as funções de classificação.
    • Atualizações de segurança do sistema operacional.
  • 23 de outubro de 2023
    • [FAÍSCA-45256] Corrigido um problema em que DurationWriter falhava ao escrever mais valores do que a capacidade inicial.
    • [FAÍSCA-45419] Evite reutilizar rocksdb sst arquivos em uma instância diferente rocksdb removendo entradas de mapa de versão de arquivo de versões maiores.
    • [FAÍSCA-45426] Adicionado suporte para ReloadingX509TrustManager.
    • Correções diversas.
  • 13 de outubro de 2023
    • Dependência de flocos de neve-jdbc atualizada de 3.13.29 para 3.13.33.
    • A array_insert função é baseada em 1 para índices positivos e negativos, enquanto antes, era baseada em 0 para índices negativos. Ele agora insere um novo elemento no final das matrizes de entrada para o índice -1. Para restaurar o comportamento anterior, defina spark.sql.legacy.negativeIndexInArrayInsert como true.
    • Corrigido um problema em torno de não ignorar arquivos corrompidos quando ignoreCorruptFiles é ativado durante a inferência de esquema CSV com o Auto Loader.
    • Reverter [SPARK-42946].
    • [FAÍSCA-42205] Atualizado o protocolo JSON para remover o registro de acumulaveis em uma tarefa ou eventos de início de estágio.
    • [FAÍSCA-45178] Fallback para executar um único lote para Trigger.AvailableNow com fontes não suportadas em vez de usar o wrapper.
    • [FAÍSCA-45316] Adicione novos parâmetros ignoreCorruptFiles e ignoreMissingFiles para HadoopRDD e NewHadoopRDD.
    • [FAÍSCA-44740] Valores de metadados fixos para Artefatos.
    • [FAÍSCA-45360] Configuração inicializada do construtor de sessões do Spark a partir de SPARK_REMOTE.
    • [FAÍSCA-44551] Comentários editados para sincronizar com o OSS.
    • [FAÍSCA-45346] A inferência do esquema Parquet agora respeita sinalizadores que diferenciam maiúsculas de minúsculas ao mesclar o esquema.
    • [FAÍSCA-44658] ShuffleStatus.getMapStatus agora retorna None em vez de Some(null).
    • [FAÍSCA-44840] Feito array_insert() com base em 1 para índices negativos.
  • 14 de setembro de 2023
    • [FAÍSCA-44873] Adicionado suporte para alter view colunas aninhadas no cliente Hive.
    • [FAÍSCA-44878] Desativado o limite estrito para RocksDB o gerenciador de gravação para evitar a exceção de inserção no cache concluído.
  • 30 de agosto de 2023
    • O comando dbutils cp (dbutils.fs.cp) foi otimizado para uma cópia mais rápida. Com essa melhoria, as operações de cópia podem levar até 100 vezes menos, dependendo do tamanho do arquivo. O recurso está disponível em todas as nuvens e sistemas de arquivos acessíveis no Databricks, inclusive para volumes de catálogo Unity e montagens DBFS.
    • [FAÍSCA-44455] Identificadores de cotação com backticks no SHOW CREATE TABLE resultado.
    • [FAÍSCA-44763] Corrigido um problema que mostrava uma cadeia de caracteres como um duplo na aritmética binária com intervalo.
    • [FAÍSCA-44871] Comportamento fixo percentile_disc .
    • [FAÍSCA-44714] Facilite a restrição da resolução de LCA em relação a consultas.
    • [FAÍSCA-44818] Corrida fixa para interrupção de tarefa pendente emitida antes taskThread de ser inicializada.
    • [FAÍSCA-44505] Adicionada substituição para suporte colunar no Scan for DSv2.
    • [FAÍSCA-44479] Conversão de protobuf fixa a partir de um tipo struct vazio.
    • [FAÍSCA-44718] Corresponder ColumnVector o padrão de configuração do modo de memória ao OffHeapMemoryMode valor de configuração.
    • [FAÍSCA-42941] Adicionado suporte para StreamingQueryListener em Python.
    • [FAÍSCA-44558] Exporte o nível de log do Spark Connect do PySpark.
    • [FAÍSCA-44464] Corrigido applyInPandasWithStatePythonRunner para linhas de saída que têm Null como o valor da primeira coluna.
    • [FAÍSCA-44643] Corrigido Row.__repr__ quando o campo é uma linha vazia.
    • Atualizações de segurança do sistema operacional.

Tempo de execução do Databricks 12.2 LTS

Consulte Databricks Runtime 12.2 LTS.

  • 10 de outubro de 2024
    • [FAÍSCA-49743][SQL] OptimizeCsvJsonExpr não deve alterar campos de esquema ao remover GetArrayStructFields
  • 25 de setembro de 2024
    • [FAÍSCA-49000][SQL] Corrija "select count(distinct 1) from t" onde t é uma tabela vazia expandindo RewriteDistinctAggregates
    • [FAÍSCA-46601] [CORE] Corrigir erro de log em handleStatusMessage
    • Correções de bugs diversos.
  • 17 de setembro de 2024
    • Atualizações de segurança do sistema operacional.
  • 29 de agosto de 2024
    • Correções de bugs diversos.
  • 14 de agosto de 2024
    • [FAÍSCA-48941][FAÍSCA-48970] Correções de gravador/leitor de backport ML
    • [FAÍSCA-49065][SQL] A rebase em formatters/analisadores herdados deve suportar fusos horários não padrão da JVM
    • [FAÍSCA-49056][SQL] ErrorClassesJsonReader não pode manipular null corretamente
    • [FAÍSCA-48597][SQL] Introduzir um marcador para a propriedade isStreaming na representação de texto do plano lógico
    • [FAÍSCA-48463][ML] Tornar o StringIndexer compatível com colunas de entrada aninhadas
    • Atualizações de segurança do sistema operacional.
  • 1 de agosto de 2024
  • 1 de agosto de 2024
    • Para aplicar os patches de segurança necessários, a versão Python no Databricks Runtime 12.2 LTS é atualizada de 3.9.5 para 3.9.19.
  • Julho 11, 2024
    • (Alteração de comportamento) DataFrames armazenados em cache em fontes de tabela Delta agora são invalidados se a tabela de origem for substituída. Essa alteração significa que todas as alterações de estado nas tabelas Delta agora invalidam os resultados armazenados em cache. Use .checkpoint() para persistir um estado de tabela durante todo o tempo de vida de um DataFrame.
    • [FAÍSCA-48481][SQL][SS] Não aplique OptimizeOneRowPlan contra streaming Dataset
    • [FAÍSCA-47070] Corrigir agregação inválida após a reescrita da subconsulta
    • [FAÍSCA-42741][SQL] Não desembrulhe moldes na comparação binária quando literal é nulo
    • [FAÍSCA-48445][SQL] Não inline UDFs com crianças caras
    • [FAÍSCA-48503][SQL] Corrigir subconsultas escalares inválidas com group-by em colunas não equivalentes que foram permitidas incorretamente
    • [FAÍSCA-48383][SS] Lançar melhor erro para partições incompatíveis na opção startOffset em Kafka
    • Atualizações de segurança do sistema operacional.
  • 17 de junho de 2024
    • [FAÍSCA-48277] Melhorar a mensagem de erro para ErrorClassesJsonReader.getErrorMessage
    • Correções de bugs diversos.
  • 21 de maio de 2024
    • [FAÍSCA-48105][SS] Corrigir a condição de corrida entre o descarregamento do armazenamento de estado e o snapshot
    • Atualizações de segurança do sistema operacional.
  • 9 de maio de 2024
    • [FAÍSCA-44251][SQL] Definir anulável corretamente na chave de junção coalesced na junção externa completa USING
    • [FAÍSCA-47973][CORE] Site de chamada de log em SparkContext.stop() e posterior em SparkContext.assertNotStopped()
    • [FAÍSCA-47956][SQL] Verificação de sanidade para referência de ACV não resolvida
    • [FAÍSCA-48018][SS] Corrigir groupId nulo causando erro de param ausente ao lançar KafkaException.couldNotReadOffsetRange
    • Atualizações de segurança do sistema operacional.
  • 25 de abril de 2024
    • Atualizações de segurança do sistema operacional.
  • 11 de abril de 2024
    • Atualizações de segurança do sistema operacional.
  • 1 de abril de 2024
    • [FAÍSCA-47305][SQL] Corrija PruneFilters para marcar o sinalizador isStreaming de LocalRelation corretamente quando o plano tiver lote e streaming
    • [FAÍSCA-44252][SS] Defina uma nova classe de erro e aplique para o caso em que o estado de carregamento do DFS falhar
    • [FAÍSCA-47135][SS] Implementar classes de erro para exceções de perda de dados Kafka
    • [FAÍSCA-47200][SS] Classe de erro para erro de função de usuário do coletor de lote Foreach
    • Atualizações de segurança do sistema operacional.
  • Março 14, 2024
    • [FAÍSCA-47176][SQL] Ter uma função auxiliar ResolveAllExpressionsUpWithPruning
    • Reverter "[SPARK-46861][CORE] Evitar impasse no DAGScheduler"
    • [FAÍSCA-47125][SQL] Retornar null se Univocity nunca acionar a análise
    • [FAÍSCA-47167][SQL] Adicionar classe concreta para relação anônima JDBC
    • Atualizações de segurança do sistema operacional.
  • 29 de fevereiro de 2024
    • Corrigido um problema em que o uso de uma coleção local como origem em um comando MERGE poderia resultar na métrica de operação numSourceRows relatando o dobro do número correto de linhas.
    • Criar um esquema com um local definido agora requer que o usuário tenha privilégios SELECT e MODIFY em QUALQUER ARQUIVO.
    • [FAÍSCA-45582][SS] Certifique-se de que a instância de armazenamento não seja usada depois de chamar a confirmação na agregação de streaming no modo de saída
    • Atualizações de segurança do sistema operacional.
  • Fevereiro 13, 2024
    • [FAÍSCA-46861] Evite o impasse no DAGScheduler.
    • [FAÍSCA-46794] Remova subconsultas de restrições LogicalRDD.
    • Atualizações de segurança do sistema operacional.
  • 31 de janeiro de 2024
    • [FAÍSCA-46763] Corrija a falha de asserção em ReplaceDeduplicateWithAggregate para atributos duplicados.
    • Atualizações de segurança do sistema operacional.
  • 25 de dezembro de 2023
    • Para evitar o aumento da latência ao se comunicar por TLSv1.3, esta versão de manutenção inclui um patch para a instalação do JDK 8 para corrigir o bug JDK-8293562 do JDK.
    • [FAÍSCA-39440] Adicione uma configuração para desativar a linha do tempo do evento.
    • [FAÍSCA-46132] Senha de chave de suporte para chaves JKS para RPC SSL.
    • [FAÍSCA-46394] Corrija problemas spark.catalog.listDatabases() em esquemas com caracteres especiais quando spark.sql.legacy.keepCommandOutputSchema definido como true.
    • [FAÍSCA-46417] Não falhe ao chamar hive.getTable e throwException for false.
    • [FAÍSCA-43067] Corrija o local do arquivo de recurso de classe de erro no conector Kafka.
    • [FAÍSCA-46249] Exija o bloqueio de instância para adquirir métricas do RocksDB para evitar corridas com operações em segundo plano.
    • [FAÍSCA-46602] Propagar allowExisting na criação de modo de exibição quando o modo de exibição/tabela não existir.
    • [FAÍSCA-46058] Adicione sinalizador separado para privateKeyPassword.
    • [FAÍSCA-46145] spark.catalog.listTables não lança exceção quando a tabela ou exibição não é encontrada.
    • [FAÍSCA-46538] Corrija o problema de referência de coluna ambígua no ALSModel.transform.
    • [FAÍSCA-42852] Reverta as alterações relacionadas NamedLambdaVariable de EquivalentExpressions.
  • 14 de dezembro de 2023
    • Corrigido um problema em que sublinhados escapados em operações getColumns originadas de clientes JDBC ou ODBC eram manipulados incorretamente e interpretados como curingas.
    • [FAÍSCA-44582] Ignore o iterador no SMJ se ele foi limpo.
    • [FAÍSCA-45920] grupo por ordinal deve ser idempotente.
    • [FAÍSCA-45655] Permita expressões não determinísticas dentro de AggregateFunctions em CollectMetrics.
    • Atualizações de segurança do sistema operacional.
  • 29 de novembro de 2023
    • Instalado um novo pacote pyarrow-hotfix para corrigir uma vulnerabilidade do PyArrow RCE.
    • Corrigido um problema em que sublinhados escapados em getColumns operações originadas de clientes JDBC ou ODBC eram erroneamente interpretados como curingas.
    • [FAÍSCA-42205] Removidos os acumuláveis de registro e Stage Task iniciar eventos.
    • [FAÍSCA-44846] Removidas expressões de agrupamento complexo após RemoveRedundantAggregates.
    • [FAÍSCA-43718] Corrigida a anulabilidade para chaves em USING junções.
    • [FAÍSCA-45544] Suporte SSL integrado no TransportContext.
    • [FAÍSCA-43973] A interface do usuário de streaming estruturada agora exibe consultas com falha corretamente.
    • [FAÍSCA-45730] Restrições de tempo melhoradas para ReloadingX509TrustManagerSuiteo .
    • [FAÍSCA-45859] Fez objetos UDF em ml.functions preguiçoso.
    • Atualizações de segurança do sistema operacional.
  • 14 de novembro de 2023
    • Os filtros de partição nas consultas de streaming Delta Lake são empurrados para baixo antes do limite de taxa para obter uma melhor utilização.
    • [FAÍSCA-45545] SparkTransportConf herda após a SSLOptions criação.
    • [FAÍSCA-45427] Adicionadas configurações de SSL RPC para SSLOptions e SparkTransportConf.
    • [FAÍSCA-45584] Corrigida a falha de execução da subconsulta com TakeOrderedAndProjectExeco .
    • [FAÍSCA-45541] Adicionado SSLFactory.
    • [FAÍSCA-45430] FramelessOffsetWindowFunction já não falha quando IGNORE NULLS e offset > rowCount.
    • [FAÍSCA-45429] Adicionadas classes auxiliares para comunicação RPC SSL.
    • Atualizações de segurança do sistema operacional.
  • 24 de outubro de 2023
    • [FAÍSCA-45426] Adicionado suporte para ReloadingX509TrustManager.
    • Correções diversas.
  • 13 de outubro de 2023
    • Dependência de flocos de neve-jdbc atualizada de 3.13.29 para 3.13.33.
    • [FAÍSCA-42553] Certifique-se de pelo menos uma unidade de tempo após o intervalo.
    • [FAÍSCA-45346] A inferência do esquema Parquet respeita o sinalizador sensível a maiúsculas e minúsculas ao mesclar o esquema.
    • [FAÍSCA-45178] Fallback para executar um único lote para Trigger.AvailableNow com fontes não suportadas em vez de usar o wrapper.
    • [FAÍSCA-45084] StateOperatorProgress para usar um número de partição aleatório preciso e adequado.
  • 12 de setembro de 2023
    • [FAÍSCA-44873] Adicionado suporte para alter view colunas aninhadas no cliente Hive.
    • [FAÍSCA-44718] Corresponder ColumnVector o padrão de configuração do modo de memória ao OffHeapMemoryMode valor de configuração.
    • [FAÍSCA-43799] Adicionada opção binária do descritor à API do PySpark Protobuf .
    • Correções diversas.
  • 30 de agosto de 2023
    • [FAÍSCA-44485] Otimizado TreeNode.generateTreeString.
    • [FAÍSCA-44818] Corrida fixa para interrupção de tarefa pendente emitida antes taskThread de ser inicializada.
    • [FAÍSCA-44871][11.3-13.0] Comportamento fixo percentile_disc .
    • [FAÍSCA-44714] Flexibilização da restrição da resolução de ACV em relação a consultas.
    • Atualizações de segurança do sistema operacional.
  • 15 de agosto de 2023
    • [FAÍSCA-44504] A tarefa de manutenção limpa os fornecedores carregados em caso de erro de paragem.
    • [FAÍSCA-44464] Corrigido applyInPandasWithStatePythonRunner para linhas de saída que têm Null como o valor da primeira coluna.
    • Atualizações de segurança do sistema operacional.
  • 29 de julho de 2023
    • Corrigido um problema que dbutils.fs.ls() era retornado INVALID_PARAMETER_VALUE.LOCATION_OVERLAP quando chamado para um caminho de local de armazenamento que colidia com outro local de armazenamento externo ou gerenciado.
    • [FAÍSCA-44199] CacheManager já não refresca o fileIndex desnecessariamente.
    • Atualizações de segurança do sistema operacional.
  • 24 de julho de 2023
    • [FAÍSCA-44337] Corrigido um problema em que qualquer campo definido como Any.getDefaultInstance causava erros de análise.
    • [FAÍSCA-44136] Corrigido um problema em que StateManager seria materializado em um executor em vez do driver em FlatMapGroupsWithStateExec.
    • Atualizações de segurança do sistema operacional.
  • 23 de junho de 2023
    • Atualizações de segurança do sistema operacional.
  • 15 de junho de 2023
    • Fotonizado approx_count_distinct.
    • A biblioteca Snowflake-jdbc foi atualizada para 3.13.29 para resolver um problema de segurança.
    • [FAÍSCA-43779] ParseToDate agora carrega EvalMode no thread principal.
    • [FAÍSCA-43156][FAÍSCA-43098] Teste de erro de contagem de subconsulta escalar estendida com decorrelateInnerQuery desativado.
    • Atualizações de segurança do sistema operacional.
  • 2 de junho de 2023
    • O analisador JSON no failOnUnknownFields modo descarta um registro no DROPMALFORMED modo e falha diretamente no FAILFAST modo.
    • Melhore o desempenho de atualizações incrementais com SHALLOW CLONE o Iceberg e o Parquet.
    • Corrigido um problema no Auto Loader em que diferentes formatos de arquivo de origem eram inconsistentes quando o esquema fornecido não incluía partições inferidas. Esse problema pode causar falhas inesperadas ao ler arquivos com colunas ausentes no esquema de partição inferida.
    • [FAÍSCA-43404] Ignore a reutilização do arquivo sst para a mesma versão do armazenamento de estado RocksDB para evitar o erro de incompatibilidade de ID.
    • [FAÍSCA-43413][11.3-13.0] Corrigida IN a anulabilidade da subconsulta ListQuery .
    • [FAÍSCA-43522] Corrigido criando nome de coluna struct com índice de matriz.
    • [FAÍSCA-43541] Propagar todas as Project tags na resolução de expressões e colunas ausentes.
    • [FAÍSCA-43527] Corrigido catalog.listCatalogs no PySpark.
    • [FAÍSCA-43123] Os metadados de campo interno não vazam mais para catálogos.
    • [FAÍSCA-43340] Corrigido o campo de rastreamento de pilha ausente nos logs de eventos.
    • [FAÍSCA-42444] DataFrame.drop agora lida com colunas duplicadas corretamente.
    • [FAÍSCA-42937] PlanSubqueries agora define InSubqueryExec#shouldBroadcast como true.
    • [FAÍSCA-43286] Modo CBC atualizado aes_encrypt para gerar IVs aleatórios.
    • [FAÍSCA-43378] Feche corretamente os objetos de fluxo no deserializeFromChunkedBuffer.
  • 17 de maio de 2023
    • As varreduras de parquet agora são robustas contra OOMs ao examinar arquivos excepcionalmente estruturados, ajustando dinamicamente o tamanho do lote. Os metadados do arquivo são analisados para reduzir preventivamente o tamanho do lote e são reduzidos novamente em novas tentativas de tarefas como uma rede de segurança final.
    • Se um arquivo Avro fosse lido apenas com a failOnUnknownFields opção ou com o Auto Loader no modo de evolução do esquema, as failOnNewColumns colunas que têm tipos de dados diferentes seriam lidas como null em vez de lançar um erro informando que o arquivo não pode ser lido. Essas leituras agora falham e recomendam que os usuários usem a rescuedDataColumn opção.
    • Auto Loader agora faz o seguinte.
      • Lê corretamente e não resgata mais , Shorte Byte digita Integerse um desses tipos de dados for fornecido, mas o arquivo Avro sugere um dos outros dois tipos.
      • Impede a leitura de tipos de intervalo como tipos de carimbo de data ou hora para evitar datas corrompidas.
      • Evita a leitura Decimal de tipos com menor precisão.
    • [FAÍSCA-43172] Expõe host e token do cliente Spark connect.
    • [FAÍSCA-43293] __qualified_access_only é ignorado em colunas normais.
    • [FAÍSCA-43098] Corrigido o erro de correção COUNT quando a subconsulta escalar é agrupada por cláusula.
    • [FAÍSCA-43085] Suporte para atribuição de colunas DEFAULT para nomes de tabelas com várias partes.
    • [FAÍSCA-43190] ListQuery.childOutput é agora consistente com a produção secundária.
    • [FAÍSCA-43192] Removida a validação do conjunto de caracteres do agente do usuário.
    • Atualizações de segurança do sistema operacional.
  • 25 de abril de 2023
    • Se um arquivo Parquet fosse lido apenas com a failOnUnknownFields opção ou com o Auto Loader no modo de evolução do esquema, as failOnNewColumns colunas que tivessem diferentes tipos de dados seriam lidas como null em vez de lançar um erro informando que o arquivo não pode ser lido. Essas leituras agora falham e recomendam que os usuários usem a rescuedDataColumn opção.
    • O Auto Loader agora lê corretamente e não resgata mais , Shorte Byte digita Integerse um desses tipos de dados for fornecido. O arquivo Parquet sugere um dos outros dois tipos. Quando a coluna de dados resgatada estava habilitada anteriormente, a incompatibilidade de tipo de dados fazia com que as colunas fossem salvas mesmo que fossem legíveis.
    • [FAÍSCA-43009] Parametrizado sql() com Any constantes
    • [FAÍSCA-42406] Encerrar campos recursivos do Protobuf soltando o campo
    • [FAÍSCA-43038] Apoie o modo CBC por aes_encrypt()/aes_decrypt()
    • [FAÍSCA-42971] Alterar para imprimir workdir se appDirs for nulo quando o trabalhador manipular WorkDirCleanup evento
    • [FAÍSCA-43018] Corrigir bug para comandos INSERT com literais de carimbo de data/hora
    • Atualizações de segurança do sistema operacional.
  • 11 de abril de 2023
    • Ofereça suporte a formatos de fonte de dados herdados no SYNC comando.
    • Corrige um problema no comportamento %autoreload em blocos de anotações fora de um repositório.
    • Corrigido um problema em que a evolução do esquema do Auto Loader podia entrar em um loop de falha infinito quando uma nova coluna é detetada no esquema de um objeto JSON aninhado.
    • [FAÍSCA-42928] Faz resolvePersistentFunction sincronizado.
    • [FAÍSCA-42936] Corrige o problema de LCan quando a cláusula pode ser resolvida diretamente por sua agregação filha.
    • [FAÍSCA-42967] Corrige SparkListenerTaskStart.stageAttemptId quando uma tarefa é iniciada após o cancelamento do estágio.
    • Atualizações de segurança do sistema operacional.
  • 29 de março de 2023

    • O Databricks SQL agora oferece suporte à especificação de valores padrão para colunas de tabelas Delta Lake, no momento da criação da tabela ou depois. Os comandos subsequentes INSERT, UPDATE, DELETEe MERGE podem referir-se ao valor padrão de qualquer coluna usando a palavra-chave explícita DEFAULT . Além disso, se qualquer INSERT atribuição tiver uma lista explícita de menos colunas do que a tabela de destino, os valores padrão da coluna correspondente serão substituídos pelas colunas restantes (ou NULL se nenhum padrão for especificado).

      Por exemplo:

      CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE());
INSERT INTO t VALUES (0, DEFAULT);
INSERT INTO t VALUES (1, DEFAULT);
SELECT first, second FROM t;
> 0, 2023-03-28
1, 2023-03-28z

    • O Auto Loader agora inicia pelo menos uma limpeza de log síncrona do RocksDB para Trigger.AvailableNow fluxos para verificar se o ponto de verificação pode ser limpo regularmente para fluxos do Auto Loader de execução rápida. Isso pode fazer com que alguns fluxos demorem mais tempo antes de serem desligados, mas economizará custos de armazenamento e melhorará a experiência do Auto Loader em execuções futuras.

    • Agora você pode modificar uma tabela Delta para adicionar suporte aos recursos da tabela usando DeltaTable.addFeatureSupport(feature_name)o .

    • [FAÍSCA-42794] Aumente o lockAcquireTimeoutMs para 2 minutos para adquirir o armazenamento de estado RocksDB no Structure Streaming

    • [FAÍSCA-42521] Adicionar NULLs para INSERTs com listas especificadas pelo usuário de menos colunas do que a tabela de destino

    • [FAÍSCA-42702][FAÍSCA-42623] Suporte a consulta parametrizada em subconsulta e CTE

    • [FAÍSCA-42668] Exceção de captura ao tentar fechar o fluxo compactado em HDFSStateStoreProvider stop

    • [FAÍSCA-42403] JsonProtocol deve manipular cadeias de caracteres JSON nulas

  • 8 de março de 2023
    • A mensagem de erro "Falha ao inicializar a configuração" foi melhorada para fornecer mais contexto para o cliente.
    • Há uma alteração de terminologia para adicionar recursos a uma tabela Delta usando a propriedade table. A sintaxe preferida é agora 'delta.feature.featureName'='supported' em vez de 'delta.feature.featureName'='enabled'. Para compatibilidade com versões anteriores, o uso 'delta.feature.featureName'='enabled' ainda funciona e continuará a funcionar.
    • A partir desta versão, é possível criar/substituir uma tabela por uma propriedade delta.ignoreProtocolDefaults de tabela adicional para ignorar as configurações do Spark relacionadas ao protocolo, que incluem versões padrão de leitor e gravador e recursos de tabela suportados por padrão.
    • [FAÍSCA-42070] Altere o valor padrão do argumento da função Mask de -1 para NULL
    • [FAÍSCA-41793] Resultado incorreto para quadros de janela definidos por uma cláusula de intervalo em decimais significativos
    • [FAÍSCA-42484] UnsafeRowUtils melhor mensagem de erro
    • [FAÍSCA-42516] Sempre capture a configuração de fuso horário da sessão ao criar exibições
    • [FAÍSCA-42635] Corrija a expressão TimestampAdd.
    • [FAÍSCA-42622] Substituição desativada em valores
    • [FAÍSCA-42534] Corrigir cláusula DB2Dialect Limit
    • [FAÍSCA-42121] Adicione funções internas com valor de tabela posexplode, posexplode_outer, json_tuple e stack
    • [FAÍSCA-42045] Modo ANSI SQL: Round/Bround deve retornar um erro em estouro inteiro minúsculo/pequeno/significativo
    • Atualizações de segurança do sistema operacional.

Tempo de execução do Databricks 11.3 LTS

Consulte Databricks Runtime 11.3 LTS.

  • 10 de outubro de 2024
    • Correções de bugs diversos.
  • 25 de setembro de 2024
    • [FAÍSCA-46601] [CORE] Corrigir erro de log em handleStatusMessage
    • [FAÍSCA-49000][SQL] Corrija "select count(distinct 1) from t" onde t é uma tabela vazia expandindo RewriteDistinctAggregates
    • Correções de bugs diversos.
  • 17 de setembro de 2024
    • Atualizações de segurança do sistema operacional.
  • 29 de agosto de 2024
  • 14 de agosto de 2024
    • [FAÍSCA-48941][FAÍSCA-48970] Correções de gravador/leitor de backport ML
    • [FAÍSCA-49065][SQL] A rebase em formatters/analisadores herdados deve suportar fusos horários não padrão da JVM
    • [FAÍSCA-48597][SQL] Introduzir um marcador para a propriedade isStreaming na representação de texto do plano lógico
    • [FAÍSCA-48463][ML] Tornar o StringIndexer compatível com colunas de entrada aninhadas
    • Atualizações de segurança do sistema operacional.
  • 1 de agosto de 2024
  • 1 de agosto de 2024
    • Para aplicar os patches de segurança necessários, a versão Python no Databricks Runtime 11.3 LTS é atualizada de 3.9.5 para 3.9.19.
  • Julho 11, 2024
    • [FAÍSCA-48383][SS] Lançar melhor erro para partições incompatíveis na opção startOffset em Kafka
    • [FAÍSCA-47070] Corrigir agregação inválida após a reescrita da subconsulta
    • Atualizações de segurança do sistema operacional.
  • 17 de junho de 2024
    • Atualizações de segurança do sistema operacional.
  • 21 de maio de 2024
    • [FAÍSCA-48105][SS] Corrigir a condição de corrida entre o descarregamento do armazenamento de estado e o snapshot
    • Atualizações de segurança do sistema operacional.
  • 9 de maio de 2024
    • [FAÍSCA-48018][SS] Corrigir groupId nulo causando erro de param ausente ao lançar KafkaException.couldNotReadOffsetRange
    • [FAÍSCA-47973][CORE] Site de chamada de log em SparkContext.stop() e posterior em SparkContext.assertNotStopped()
    • [FAÍSCA-44251][SQL] Definir anulável corretamente na chave de junção coalesced na junção externa completa USING
    • Atualizações de segurança do sistema operacional.
  • 25 de abril de 2024
    • Atualizações de segurança do sistema operacional.
  • 11 de abril de 2024
    • Atualizações de segurança do sistema operacional.
  • 1 de abril de 2024
    • [FAÍSCA-44252][SS] Defina uma nova classe de erro e aplique para o caso em que o estado de carregamento do DFS falhar
    • [FAÍSCA-47135][SS] Implementar classes de erro para exceções de perda de dados Kafka
    • Reverter "[SPARK-46861][CORE] Evitar impasse no DAGScheduler"
    • [FAÍSCA-47200][SS] Classe de erro para erro de função de usuário do coletor de lote Foreach
    • Atualizações de segurança do sistema operacional.
  • Março 14, 2024
    • [FAÍSCA-47167][SQL] Adicionar classe concreta para relação anônima JDBC
    • [FAÍSCA-47125][SQL] Retornar null se Univocity nunca acionar a análise
    • Atualizações de segurança do sistema operacional.
  • 29 de fevereiro de 2024
    • Corrigido um problema em que o uso de uma coleção local como origem em um comando MERGE poderia resultar na métrica de operação numSourceRows relatando o dobro do número correto de linhas.
    • [FAÍSCA-45582][SS] Certifique-se de que a instância de armazenamento não seja usada depois de chamar a confirmação na agregação de streaming no modo de saída
  • Fevereiro 13, 2024
    • [FAÍSCA-46794] Remova subconsultas de restrições LogicalRDD.
    • [FAÍSCA-46861] Evite o impasse no DAGScheduler.
    • Atualizações de segurança do sistema operacional.
  • 31 de janeiro de 2024
    • Atualizações de segurança do sistema operacional.
  • 25 de dezembro de 2023
    • Para evitar o aumento da latência ao se comunicar por TLSv1.3, esta versão de manutenção inclui um patch para a instalação do JDK 8 para corrigir o bug JDK-8293562 do JDK.
    • [FAÍSCA-46058] Adicione sinalizador separado para privateKeyPassword.
    • [FAÍSCA-46602] Propagar allowExisting na criação de modo de exibição quando o modo de exibição/tabela não existir.
    • [FAÍSCA-46394] Corrija problemas spark.catalog.listDatabases() em esquemas com caracteres especiais quando spark.sql.legacy.keepCommandOutputSchema definido como true.
    • [FAÍSCA-46538] Corrija o problema de referência de coluna ambígua no ALSModel.transform.
    • [FAÍSCA-39440] Adicione uma configuração para desativar a linha do tempo do evento.
    • [FAÍSCA-46249] Exija o bloqueio de instância para adquirir métricas do RocksDB para evitar corridas com operações em segundo plano.
    • [FAÍSCA-46132] Senha de chave de suporte para chaves JKS para RPC SSL.
  • 14 de dezembro de 2023
    • Corrigido um problema em que sublinhados escapados em operações getColumns originadas de clientes JDBC ou ODBC eram manipulados incorretamente e interpretados como curingas.
    • Atualizações de segurança do sistema operacional.
  • 29 de novembro de 2023
    • Instalado um novo pacote pyarrow-hotfix para corrigir uma vulnerabilidade do PyArrow RCE.
    • Corrigido um problema em que sublinhados escapados em getColumns operações originadas de clientes JDBC ou ODBC eram erroneamente interpretados como curingas.
    • [FAÍSCA-43973] A interface do usuário de streaming estruturada agora exibe consultas com falha corretamente.
    • [FAÍSCA-45730] Restrições de tempo melhoradas para ReloadingX509TrustManagerSuiteo .
    • [FAÍSCA-45544] Suporte SSL integrado no TransportContext.
    • [FAÍSCA-45859] Fez objetos UDF em ml.functions preguiçoso.
    • [FAÍSCA-43718] Corrigida a anulabilidade para chaves em USING junções.
    • [FAÍSCA-44846] Removidas expressões de agrupamento complexo após RemoveRedundantAggregates.
    • Atualizações de segurança do sistema operacional.
  • 14 de novembro de 2023
    • Os filtros de partição nas consultas de streaming Delta Lake são empurrados para baixo antes do limite de taxa para obter uma melhor utilização.
    • [FAÍSCA-42205] Removidos os acumuláveis de log nos eventos de início de Estágio e Tarefa.
    • [FAÍSCA-45545] SparkTransportConf herda após a SSLOptions criação.
    • Reverter [SPARK-33861].
    • [FAÍSCA-45541] Adicionado SSLFactory.
    • [FAÍSCA-45429] Adicionadas classes auxiliares para comunicação RPC SSL.
    • [FAÍSCA-45584] Corrigida a falha de execução da subconsulta com TakeOrderedAndProjectExeco .
    • [FAÍSCA-45430] FramelessOffsetWindowFunction já não falha quando IGNORE NULLS e offset > rowCount.
    • [FAÍSCA-45427] Adicionadas configurações de SSL RPC para SSLOptions e SparkTransportConf.
    • Atualizações de segurança do sistema operacional.
  • 24 de outubro de 2023
    • [FAÍSCA-45426] Adicionado suporte para ReloadingX509TrustManager.
    • Correções diversas.
  • 13 de outubro de 2023
    • Dependência de flocos de neve-jdbc atualizada de 3.13.29 para 3.13.33.
    • [FAÍSCA-45178] Fallback para executar um único lote para Trigger.AvailableNow com fontes não suportadas em vez de usar o wrapper.
    • [FAÍSCA-45084] StateOperatorProgress para usar um número de partição aleatório preciso e adequado.
    • [FAÍSCA-45346] A inferência do esquema Parquet agora respeita o sinalizador que diferencia maiúsculas de minúsculas ao mesclar um esquema.
    • Atualizações de segurança do sistema operacional.
  • 10 de setembro de 2023
    • Correções diversas.
  • 30 de agosto de 2023
    • [FAÍSCA-44818] Corrida fixa para interrupção de tarefa pendente emitida antes taskThread de ser inicializada.
    • [FAÍSCA-44871][11.3-13.0] Comportamento fixo percentile_disc .
    • Atualizações de segurança do sistema operacional.
  • 15 de agosto de 2023
    • [FAÍSCA-44485] Otimizado TreeNode.generateTreeString.
    • [FAÍSCA-44504] A tarefa de manutenção limpa os fornecedores carregados em caso de erro de paragem.
    • [FAÍSCA-44464] Corrigido applyInPandasWithStatePythonRunner para linhas de saída que têm Null como o valor da primeira coluna.
    • Atualizações de segurança do sistema operacional.
  • 27 de julho de 2023
    • Corrigido um problema que dbutils.fs.ls() era retornado INVALID_PARAMETER_VALUE.LOCATION_OVERLAP quando chamado para um caminho de local de armazenamento que colidia com outro local de armazenamento externo ou gerenciado.
    • [FAÍSCA-44199] CacheManager já não refresca o fileIndex desnecessariamente.
    • Atualizações de segurança do sistema operacional.
  • 24 de julho de 2023
    • [FAÍSCA-44136] Corrigido um problema que o StateManager pode obter materializado no executor em vez do driver em FlatMapGroupsWithStateExec.
    • Atualizações de segurança do sistema operacional.
  • 23 de junho de 2023
    • Atualizações de segurança do sistema operacional.
  • 15 de junho de 2023
    • Fotonizado approx_count_distinct.
    • A biblioteca Snowflake-jdbc foi atualizada para 3.13.29 para resolver um problema de segurança.
    • [FAÍSCA-43779] ParseToDate agora carrega EvalMode no thread principal.
    • [FAÍSCA-40862] Suporte a subconsultas não agregadas em RewriteCorrelatedScalarSubquery
    • [FAÍSCA-43156][FAÍSCA-43098] Teste de bug de contagem de subconsulta escalar estendida com decorrelateInnerQuery desativado.
    • [FAÍSCA-43098] Corrigir o bug COUNT de correção quando a subconsulta escalar tem um grupo por cláusula
    • Atualizações de segurança do sistema operacional.
  • 2 de junho de 2023
    • O analisador JSON no failOnUnknownFields modo descarta um registro no DROPMALFORMED modo e falha diretamente no FAILFAST modo.
    • Melhore o desempenho de atualizações incrementais com SHALLOW CLONE o Iceberg e o Parquet.
    • Corrigido um problema no Auto Loader em que diferentes formatos de arquivo de origem eram inconsistentes quando o esquema fornecido não incluía partições inferidas. Esse problema pode causar falhas inesperadas ao ler arquivos com colunas ausentes no esquema de partição inferida.
    • [FAÍSCA-43404]Ignore a reutilização do arquivo sst para a mesma versão do armazenamento de estado RocksDB para evitar o erro de incompatibilidade de ID.
    • [FAÍSCA-43527] Corrigido catalog.listCatalogs no PySpark.
    • [FAÍSCA-43413][11.3-13.0] Corrigida IN a anulabilidade da subconsulta ListQuery .
    • [FAÍSCA-43340] Corrigido o campo de rastreamento de pilha ausente nos logs de eventos.

Tempo de execução do Databricks 10.4 LTS

Consulte Databricks Runtime 10.4 LTS.

  • 5 de novembro de 2024
    • Atualizações de segurança do sistema operacional.
  • Outubro 22, 2024
    • Atualizações de segurança do sistema operacional.
  • 10 de outubro de 2024
    • Atualizações de segurança do sistema operacional.
  • 25 de setembro de 2024
    • [FAÍSCA-46601] [CORE] Corrigir erro de log em handleStatusMessage
    • [FAÍSCA-49000][SQL] Corrija "select count(distinct 1) from t" onde t é uma tabela vazia expandindo RewriteDistinctAggregates
    • Atualizações de segurança do sistema operacional.
  • 17 de setembro de 2024
    • Atualizações de segurança do sistema operacional.
  • 29 de agosto de 2024
    • [FAÍSCA-49065][SQL] A rebase em formatters/analisadores herdados deve suportar fusos horários não padrão da JVM
  • 14 de agosto de 2024
  • 1 de agosto de 2024
  • Julho 11, 2024
    • [FAÍSCA-48383][SS] Lançar melhor erro para partições incompatíveis na opção startOffset em Kafka
    • Atualizações de segurança do sistema operacional.
  • 17 de junho de 2024
    • Atualizações de segurança do sistema operacional.
  • 21 de maio de 2024
    • [FAÍSCA-48105][SS] Corrigir a condição de corrida entre o descarregamento do armazenamento de estado e o snapshot
    • Atualizações de segurança do sistema operacional.
  • 9 de maio de 2024
    • [FAÍSCA-48018][SS] Corrigir groupId nulo causando erro de param ausente ao lançar KafkaException.couldNotReadOffsetRange
    • [FAÍSCA-47973][CORE] Site de chamada de log em SparkContext.stop() e posterior em SparkContext.assertNotStopped()
    • [FAÍSCA-44251][SQL] Definir anulável corretamente na chave de junção coalesced na junção externa completa USING
    • Atualizações de segurança do sistema operacional.
  • 25 de abril de 2024
    • Atualizações de segurança do sistema operacional.
  • 11 de abril de 2024
    • Atualizações de segurança do sistema operacional.
  • 1 de abril de 2024
    • [FAÍSCA-47135][SS] Implementar classes de erro para exceções de perda de dados Kafka
    • [FAÍSCA-44252][SS] Defina uma nova classe de erro e aplique para o caso em que o estado de carregamento do DFS falhar
    • [FAÍSCA-47200][SS] Classe de erro para erro de função de usuário do coletor de lote Foreach
    • Reverter "[SPARK-46861][CORE] Evitar impasse no DAGScheduler"
    • Atualizações de segurança do sistema operacional.
  • Março 14, 2024
    • [FAÍSCA-47125][SQL] Retornar null se Univocity nunca acionar a análise
    • Atualizações de segurança do sistema operacional.
  • 29 de fevereiro de 2024
    • Corrigido um problema em que o uso de uma coleção local como origem em um comando MERGE poderia resultar na métrica de operação numSourceRows relatando o dobro do número correto de linhas.
    • [FAÍSCA-45582][SS] Certifique-se de que a instância de armazenamento não seja usada depois de chamar a confirmação na agregação de streaming no modo de saída
    • Atualizações de segurança do sistema operacional.
  • Fevereiro 13, 2024
    • [FAÍSCA-46861] Evite o impasse no DAGScheduler.
    • Atualizações de segurança do sistema operacional.
  • 31 de janeiro de 2024
    • Atualizações de segurança do sistema operacional.
  • 25 de dezembro de 2023
    • Para evitar o aumento da latência ao se comunicar por TLSv1.3, esta versão de manutenção inclui um patch para a instalação do JDK 8 para corrigir o bug JDK-8293562 do JDK.
    • [FAÍSCA-46058] Adicione sinalizador separado para privateKeyPassword.
    • [FAÍSCA-46538] Corrija o problema de referência de coluna ambígua no ALSModel.transform.
    • [FAÍSCA-39440] Adicione uma configuração para desativar a linha do tempo do evento.
    • [FAÍSCA-46132] Senha de chave de suporte para chaves JKS para RPC SSL.
  • 14 de dezembro de 2023
    • Atualizações de segurança do sistema operacional.
  • 29 de novembro de 2023
    • Instalado um novo pacote pyarrow-hotfix para corrigir uma vulnerabilidade do PyArrow RCE.
    • [FAÍSCA-45544] Suporte SSL integrado no TransportContext.
    • [FAÍSCA-45859] Fez objetos UDF em ml.functions preguiçoso.
    • [FAÍSCA-43718] Corrigida a anulabilidade para chaves em USING junções.
    • [FAÍSCA-45730] Restrições de tempo melhoradas para ReloadingX509TrustManagerSuiteo .
    • [FAÍSCA-42205] Removidos os acumuláveis de log nos eventos de início de Estágio e Tarefa.
    • [FAÍSCA-44846] Removidas expressões de agrupamento complexo após RemoveRedundantAggregates.
    • Atualizações de segurança do sistema operacional.
  • 14 de novembro de 2023
    • [FAÍSCA-45541] Adicionado SSLFactory.
    • [FAÍSCA-45545] SparkTransportConf herda após a SSLOptions criação.
    • [FAÍSCA-45427] Adicionadas configurações de SSL RPC para SSLOptions e SparkTransportConf.
    • [FAÍSCA-45429] Adicionadas classes auxiliares para comunicação RPC SSL.
    • [FAÍSCA-45584] Corrigida a falha de execução da subconsulta com TakeOrderedAndProjectExeco .
    • Reverter [SPARK-33861].
    • Atualizações de segurança do sistema operacional.
  • 24 de outubro de 2023
    • [FAÍSCA-45426] Adicionado suporte para ReloadingX509TrustManager.
    • Atualizações de segurança do sistema operacional.
  • 13 de outubro de 2023
    • [FAÍSCA-45084] StateOperatorProgress para usar um número de partição aleatório preciso e adequado.
    • [FAÍSCA-45178] Fallback para executar um único lote para Trigger.AvailableNow com fontes não suportadas em vez de usar o wrapper.
    • Atualizações de segurança do sistema operacional.
  • 10 de setembro de 2023
    • Correções diversas.
  • 30 de agosto de 2023
    • [FAÍSCA-44818] Corrida fixa para interrupção de tarefa pendente emitida antes taskThread de ser inicializada.
    • Atualizações de segurança do sistema operacional.
  • 15 de agosto de 2023
    • [FAÍSCA-44504] A tarefa de manutenção limpa os fornecedores carregados em caso de erro de paragem.
    • [FAÍSCA-43973] A interface do usuário de streaming estruturada agora aparece com falhas nas consultas corretamente.
    • Atualizações de segurança do sistema operacional.
  • 23 de junho de 2023
    • Atualizações de segurança do sistema operacional.
  • 15 de junho de 2023
    • A biblioteca Snowflake-jdbc foi atualizada para 3.13.29 para resolver um problema de segurança.
    • [FAÍSCA-43098] Corrigir o bug COUNT de correção quando a subconsulta escalar tem um grupo por cláusula
    • [FAÍSCA-40862] Suporte a subconsultas não agregadas em RewriteCorrelatedScalarSubquery
    • [FAÍSCA-43156][FAÍSCA-43098] Teste de contagem de subconsulta escalar estendida com decorrelateInnerQuery desativado.
    • Atualizações de segurança do sistema operacional.
  • 2 de junho de 2023
    • O analisador JSON no failOnUnknownFields modo descarta um registro no DROPMALFORMED modo e falha diretamente no FAILFAST modo.
    • Corrigido um problema na análise de dados resgatados pelo JSON para evitar UnknownFieldExceptiono .
    • Corrigido um problema no Auto Loader em que diferentes formatos de arquivo de origem eram inconsistentes quando o esquema fornecido não incluía partições inferidas. Esse problema pode causar falhas inesperadas ao ler arquivos com colunas ausentes no esquema de partição inferida.
    • [FAÍSCA-43404] Ignore a reutilização do arquivo sst para a mesma versão do armazenamento de estado RocksDB para evitar o erro de incompatibilidade de ID.
    • [FAÍSCA-43413] Corrigida IN a anulabilidade da subconsulta ListQuery .
    • Atualizações de segurança do sistema operacional.
  • 17 de maio de 2023
    • As varreduras de parquet agora são robustas contra OOMs ao examinar arquivos excepcionalmente estruturados, ajustando dinamicamente o tamanho do lote. Os metadados do arquivo são analisados para reduzir preventivamente o tamanho do lote e são reduzidos novamente em novas tentativas de tarefas como uma rede de segurança final.
    • [FAÍSCA-41520] Dividir AND_OR padrão de árvore para separar AND e OR.
    • [FAÍSCA-43190] ListQuery.childOutput é agora consistente com a produção secundária.
    • Atualizações de segurança do sistema operacional.
  • 25 de abril de 2023
    • [FAÍSCA-42928] Faça resolvePersistentFunction sincronizado.
    • Atualizações de segurança do sistema operacional.
  • 11 de abril de 2023
    • Corrigido um problema em que a evolução do esquema do Auto Loader podia entrar em um loop de falha infinito quando uma nova coluna é detetada no esquema de um objeto JSON aninhado.
    • [FAÍSCA-42937] PlanSubqueries agora define InSubqueryExec#shouldBroadcast como true.
    • [FAÍSCA-42967] Corrija SparkListenerTaskStart.stageAttemptId quando uma tarefa é iniciada depois que o estágio é cancelado.
  • 29 de março de 2023
    • [FAÍSCA-42668] Exceção de captura ao tentar fechar o fluxo compactado em HDFSStateStoreProvider stop
    • [FAÍSCA-42635] Corrigir o ...
    • Atualizações de segurança do sistema operacional.
  • 14 de março de 2023
    • [FAÍSCA-41162] Corrigir anti e semi-join para auto-junção com agregações
    • [FAÍSCA-33206] Corrigir cálculo de peso de cache de índice aleatório para arquivos de índice pequenos
    • [FAÍSCA-42484] Melhorada a mensagem de UnsafeRowUtils erro
    • Correções diversas.
  • 28 de fevereiro de 2023
    • Suporte gerado coluna para aaaa-MM-dd date_format. Essa alteração oferece suporte à remoção de partição para aaaa-MM-dd como um date_format nas colunas geradas.
    • Os usuários agora podem ler e escrever tabelas Delta específicas que exigem o Reader versão 3 e o Writer versão 7, usando o Databricks Runtime 9.1 LTS ou posterior. Para serem bem-sucedidos, os recursos de tabela listados no protocolo das tabelas devem ser suportados pela versão atual do Databricks Runtime.
    • Suporte gerado coluna para aaaa-MM-dd date_format. Essa alteração oferece suporte à remoção de partição para aaaa-MM-dd como um date_format nas colunas geradas.
    • Atualizações de segurança do sistema operacional.
  • 16 de fevereiro de 2023
    • [FAÍSCA-30220] Habilitar o uso de subconsultas Exists/In fora do nó Filtro
    • Atualizações de segurança do sistema operacional.
  • 31 de janeiro de 2023
    • Os tipos de tabela de tabelas JDBC agora são EXTERNOS por padrão.
  • 18 de janeiro de 2023
    • O conector Sinapse do Azure retorna uma mensagem de erro mais descritiva quando um nome de coluna contém caracteres não válidos, como espaços em branco ou ponto-e-vírgula. Nesses casos, a seguinte mensagem será retornada: Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space.
    • [FAÍSCA-38277] Limpar lote de gravação após a confirmação do armazenamento de estado do RocksDB
    • [FAÍSCA-41199] Corrigir problema de métricas quando a fonte de streaming DSv1 e a fonte de streaming DSv2 são cousadas
    • [FAÍSCA-41198] Corrija métricas em consultas de streaming com origem de streaming CTE e DSv1.
    • [FAÍSCA-41339] Feche e recrie o lote de gravação do RocksDB em vez de apenas limpar.
    • [FAÍSCA-41732] Aplique poda baseada em padrão de árvore para a regra SessionWindowing.
    • Atualizações de segurança do sistema operacional.
  • 29 de novembro de 2022
    • Os usuários podem configurar o comportamento dos espaços em branco à esquerda e à direita ao gravar dados usando o conector Redshift. As seguintes opções foram adicionadas para controlar o manuseio de espaços em branco:
      • csvignoreleadingwhitespace, quando definido como true, remove o espaço em branco à esquerda dos valores durante as gravações quando tempformat está definido como CSV ou CSV GZIP. Os espaços em branco são mantidos quando a configuração é definida como false. Por predefinição, o valor é true.
      • csvignoretrailingwhitespace, quando definido como true, remove o espaço em branco à direita dos valores durante as gravações quando tempformat está definido como CSV ou CSV GZIP. Os espaços em branco são mantidos quando a configuração é definida como false. Por predefinição, o valor é true.
    • Corrigido um problema com a análise JSON no Auto Loader quando todas as colunas eram deixadas como strings (cloudFiles.inferColumnTypes não estava definido ou definido como false) e o JSON continha objetos aninhados.
    • Atualizações de segurança do sistema operacional.
  • 15 de novembro de 2022
    • Apache commons-text atualizado para 1.10.0.
    • [FAÍSCA-40646] A análise JSON para structs, maps e arrays foi corrigida, portanto, quando uma parte de um registro não corresponde ao esquema, o restante do registro ainda pode ser analisado corretamente em vez de retornar nulos. Para optar pelo comportamento melhorado, defina spark.sql.json.enablePartialResults como true. O sinalizador é desativado por padrão para preservar o comportamento original.
    • [FAÍSCA-40292] Corrigir nomes de colunas em arrays_zip função quando matrizes são referenciadas a partir de estruturas aninhadas
    • Atualizações de segurança do sistema operacional.
  • 1 de novembro de 2022
    • Corrigido um problema em que, se uma tabela Delta tivesse uma coluna definida pelo usuário chamada _change_type, mas o feed de dados Change estivesse desativado nessa tabela, os dados nessa coluna seriam preenchidos incorretamente com valores NULL durante a execução MERGE.
    • Corrigido um problema com o Auto Loader em que um ficheiro podia ser duplicado no mesmo microlote quando allowOverwrites estava ativado
    • [FAÍSCA-40697] Adicionar preenchimento de caracteres do lado de leitura para cobrir arquivos de dados externos
    • [FAÍSCA-40596] Preencher ExecutorDecommission com mensagens em ExecutorDecommissionInfo
    • Atualizações de segurança do sistema operacional.
  • 18 de outubro de 2022
    • Atualizações de segurança do sistema operacional.
  • 5 de outubro de 2022
    • [FAÍSCA-40468] Corrija a remoção de coluna no CSV quando _corrupt_record estiver selecionado.
    • Atualizações de segurança do sistema operacional.
  • 22 de setembro de 2022
    • Os usuários podem definir spark.conf.set(spark.databricks.io.listKeysWithPrefix.azure.enabled, true) para reativar a listagem interna do Auto Loader no ADLS Gen2. A listagem integrada foi desativada anteriormente devido a problemas de desempenho, mas pode ter levado ao aumento dos custos de armazenamento para os clientes.
    • [FAÍSCA-40315] Adicionar hashCode() para Literal de ArrayBasedMapData
    • [FAÍSCA-40213] Suporta conversão de valor ASCII para caracteres latino-1
    • [FAÍSCA-40380] Corrija a dobragem constante de InvokeLike para evitar literais não serializáveis incorporados no plano
    • [FAÍSCA-38404] Melhorar a resolução de CTE quando uma CTE aninhada faz referência a uma CTE externa
    • [FAÍSCA-40089] Corrigir a classificação para alguns tipos decimais
    • [FAÍSCA-39887] RemoveRedundantAliases deve manter aliases que tornam a saída dos nós de projeção exclusiva
  • 6 de setembro de 2022
    • [FAÍSCA-40235] Use o bloqueio interruptível em vez de sincronizado em Executor.updateDependencies().
    • [FAÍSCA-40218] OS CONJUNTOS DE AGRUPAMENTO devem preservar as colunas de agrupamento.
    • [FAÍSCA-39976] ArrayIntersect deve manipular null na expressão esquerda corretamente.
    • [FAÍSCA-40053] Adicione assume a casos de cancelamento dinâmico que exigem o ambiente de tempo de execução do Python.
    • [FAÍSCA-35542] Correção: Bucketizer criado para várias colunas com parâmetros splitsArray, inputCols e outputCols não pode ser carregado depois de salvá-lo.
    • [FAÍSCA-40079] Adicione a validação inputCols do Imputer para caso de entrada vazio.
  • 24 de agosto de 2022
    • [FAÍSCA-39983] Não armazene em cache relações de transmissão não serializadas no driver.
    • [FAÍSCA-39775] Desative a validação de valores padrão ao analisar esquemas Avro.
    • [FAÍSCA-39962] Aplicar projeção quando os atributos de grupo estiverem vazios
    • [FAÍSCA-37643] quando charVarcharAsString é true, para consulta de predicado de tipo de dados char deve ignorar a regra rpadding .
    • Atualizações de segurança do sistema operacional.
  • 9 de agosto de 2022
    • [FAÍSCA-39847] Corrija a condição de corrida em RocksDBLoader.loadLibrary() se o thread do chamador for interrompido
    • [FAÍSCA-39731] Corrigir problema em fontes de dados CSV e JSON ao analisar datas no formato "yyyyMMdd" com a política do analisador de tempo CORRIGIDO
    • Atualizações de segurança do sistema operacional.
  • 27 de julho de 2022
    • [FAÍSCA-39625] Adicione Dataset.as(StructType).
    • [FAÍSCA-39689]Suporte a 2 caracteres na fonte de lineSep dados CSV.
    • [FAÍSCA-39104] InMemoryRelation#isCachedColumnBuffersLoaded deve ser thread-safe.
    • [FAÍSCA-39570] A tabela embutida deve permitir expressões com alias.
    • [FAÍSCA-39702] Reduza a sobrecarga de memória de TransportCipher$EncryptedMessage usando um byteRawChannel compartilhado.
    • [FAÍSCA-39575] add ByteBuffer#rewind after ByteBuffer#get in AvroDeserializer.
    • [FAÍSCA-39476] Desative a otimização de desembrulhar ao transmitir de Long para Float/Double ou de Integer para Float.
    • [FAÍSCA-38868] Não propague exceções do predicado de filtro ao otimizar junções externas.
    • Atualizações de segurança do sistema operacional.
  • 20 de julho de 2022
    • Torne os resultados da operação Delta MERGE consistentes quando a origem não for determinística.
    • [FAÍSCA-39355] Uma única coluna usa aspas para construir UnresolvedAttribute.
    • [FAÍSCA-39548] Comando CreateView com uma consulta de cláusula de janela pressione uma definição de janela errada não encontrado problema.
    • [FAÍSCA-39419] Corrija ArraySort para lançar uma exceção quando o comparador retornar null.
    • Desativou o uso de APIs de nuvem internas do Auto Loader para listagem de diretórios no Azure.
    • Atualizações de segurança do sistema operacional.
  • 5 de julho de 2022
    • [FAÍSCA-39376] Ocultar colunas duplicadas na expansão em estrela do alias de subconsulta de NATURAL/USING JOIN
    • Atualizações de segurança do sistema operacional.
  • 15 de junho de 2022
    • [FAÍSCA-39283] Corrija o impasse entre TaskMemoryManager e UnsafeExternalSorter.SpillableIterator.
    • [FAÍSCA-39285] O Spark não deve verificar nomes de campos ao ler arquivos.
    • [FAÍSCA-34096] Melhore o desempenho para nth_value ignore nulos na janela de deslocamento.
    • [FAÍSCA-36718] Corrija o isExtractOnly check-in CollapseProject.
  • 2 de junho de 2022
    • [FAÍSCA-39093] Evite erros de compilação de codegen ao dividir intervalos de ano-mês ou intervalos de tempo de dia por uma integral.
    • [FAÍSCA-38990] Evite NullPointerException ao avaliar o formato date_trunc/trunc como uma referência associada.
    • Atualizações de segurança do sistema operacional.
  • 18 de maio de 2022
    • Corrige uma possível fuga de memória incorporada no Auto Loader.
    • [FAÍSCA-38918] A remoção de coluna aninhada deve filtrar atributos que não pertencem à relação atual.
    • [FAÍSCA-37593] Reduza o tamanho da página padrão em LONG_ARRAY_OFFSET se G1GC e ON_HEAP forem usados.
    • [FAÍSCA-39084] Corrija df.rdd.isEmpty() usando TaskContext para parar o iterador na conclusão da tarefa.
    • [FAÍSCA-32268] Adicione ColumnPruning em injectBloomFilter.
    • [FAÍSCA-38974] Filtre funções registradas com um determinado nome de banco de dados em funções de lista.
    • [FAÍSCA-38931] Crie o diretório dfs raiz para RocksDBFileManager com um número desconhecido de chaves no 1º ponto de verificação.
    • Atualizações de segurança do sistema operacional.
  • 19 de abril de 2022
    • Java AWS SDK atualizado da versão 1.11.655 para 1.12.1899.
    • Corrigido um problema com bibliotecas com escopo de bloco de anotações que não funcionavam em trabalhos de streaming em lote.
    • [FAÍSCA-38616] Acompanhe o texto da consulta SQL no Catalyst TreeNode
    • Atualizações de segurança do sistema operacional.
  • 6 de abril de 2022
    • As seguintes funções do Spark SQL estão agora disponíveis com esta versão:
      • timestampadd() e dateadd(): Adicione uma duração de tempo em uma unidade especificada a uma expressão de carimbo de data/hora.
      • timestampdiff() e : Calcule datediff()a diferença de tempo entre expressões de carimbo de data/hora em uma unidade especificada.
    • Parquet-MR foi atualizado para 1.12.2
    • Suporte melhorado para esquemas abrangentes em arquivos parquet
    • [FAÍSCA-38631] Usa implementação baseada em Java para un-tarring em Utils.unpack.
    • [FAÍSCA-38509][FAÍSCA-38481] Escolha a dedo três timestmapadd/diff mudanças.
    • [FAÍSCA-38523] Correção referente à coluna de registro corrompido do CSV.
    • [FAÍSCA-38237] Permitir ClusteredDistribution exigir chaves de cluster completas.
    • [FAÍSCA-38437] Serialização leniente de datetime da fonte de dados.
    • [FAÍSCA-38180] Permitir expressões seguras em predicados de igualdade correlacionados.
    • [FAÍSCA-38155] Não permitir agregados distintos em subconsultas laterais com predicados não suportados.
    • Atualizações de segurança do sistema operacional.

Tempo de execução do Databricks 9.1 LTS

Consulte Databricks Runtime 9.1 LTS.

  • 5 de novembro de 2024
    • Atualizações de segurança do sistema operacional.
  • Outubro 22, 2024
    • Atualizações de segurança do sistema operacional.
  • 10 de outubro de 2024
    • Atualizações de segurança do sistema operacional.
  • 25 de setembro de 2024
    • [FAÍSCA-49000][SQL] Corrija "select count(distinct 1) from t" onde t é uma tabela vazia expandindo RewriteDistinctAggregates
    • Atualizações de segurança do sistema operacional.
  • 6 de setembro de 2024
    • Atualizações de segurança do sistema operacional.
  • 29 de agosto de 2024
    • [FAÍSCA-49065][SQL] A rebase em formatters/analisadores herdados deve suportar fusos horários não padrão da JVM
  • 14 de agosto de 2024
  • 1 de agosto de 2024
    • Atualizações de segurança do sistema operacional.
  • Julho 11, 2024
    • Atualizações de segurança do sistema operacional.
  • 17 de junho de 2024
    • Atualizações de segurança do sistema operacional.
  • 21 de maio de 2024
    • [FAÍSCA-48105][SS] Corrigir a condição de corrida entre o descarregamento do armazenamento de estado e o snapshot
    • Atualizações de segurança do sistema operacional.
  • 9 de maio de 2024
    • [FAÍSCA-47973][CORE] Site de chamada de log em SparkContext.stop() e posterior em SparkContext.assertNotStopped()
    • [FAÍSCA-44251][SQL] Definir anulável corretamente na chave de junção coalesced na junção externa completa USING
    • Atualizações de segurança do sistema operacional.
  • 25 de abril de 2024
    • Correções de bugs diversos.
  • 11 de abril de 2024
    • Atualizações de segurança do sistema operacional.
  • 1 de abril de 2024
    • Reverter "[SPARK-46861][CORE] Evitar impasse no DAGScheduler"
    • Atualizações de segurança do sistema operacional.
  • Março 14, 2024
    • Atualizações de segurança do sistema operacional.
  • 29 de fevereiro de 2024
    • Corrigido um problema em que o uso de uma coleção local como origem em um comando MERGE poderia resultar na métrica de operação numSourceRows relatando o dobro do número correto de linhas.
    • Atualizações de segurança do sistema operacional.
  • Fevereiro 13, 2024
    • [FAÍSCA-46861] Evite o impasse no DAGScheduler.
    • Atualizações de segurança do sistema operacional.
  • 31 de janeiro de 2024
    • Atualizações de segurança do sistema operacional.
  • 25 de dezembro de 2023
    • Para evitar o aumento da latência ao se comunicar por TLSv1.3, esta versão de manutenção inclui um patch para a instalação do JDK 8 para corrigir o bug JDK-8293562 do JDK.
    • [FAÍSCA-46058] Adicione sinalizador separado para privateKeyPassword.
    • [FAÍSCA-39440] Adicione uma configuração para desativar a linha do tempo do evento.
    • [FAÍSCA-46132] Senha de chave de suporte para chaves JKS para RPC SSL.
  • 14 de dezembro de 2023
    • Atualizações de segurança do sistema operacional.
  • 29 de novembro de 2023
    • Instalado um novo pacote pyarrow-hotfix para corrigir uma vulnerabilidade do PyArrow RCE.
    • [FAÍSCA-45859] Fez objetos UDF em ml.functions preguiçoso.
    • [FAÍSCA-45544] Suporte SSL integrado no TransportContext.
    • [FAÍSCA-45730] Restrições de tempo melhoradas para ReloadingX509TrustManagerSuiteo .
    • Atualizações de segurança do sistema operacional.
  • 14 de novembro de 2023
    • [FAÍSCA-45545] SparkTransportConf herda após a SSLOptions criação.
    • [FAÍSCA-45429] Adicionadas classes auxiliares para comunicação RPC SSL.
    • [FAÍSCA-45427] Adicionadas configurações de SSL RPC para SSLOptions e SparkTransportConf.
    • [FAÍSCA-45584] Corrigida a falha de execução da subconsulta com TakeOrderedAndProjectExeco .
    • [FAÍSCA-45541] Adicionado SSLFactory.
    • [FAÍSCA-42205] Removidos os acumuláveis de log nos eventos de início de Estágio e Tarefa.
    • Atualizações de segurança do sistema operacional.
  • 24 de outubro de 2023
    • [FAÍSCA-45426] Adicionado suporte para ReloadingX509TrustManager.
    • Atualizações de segurança do sistema operacional.
  • 13 de outubro de 2023
    • Atualizações de segurança do sistema operacional.
  • 10 de setembro de 2023
    • Correções diversas.
  • 30 de agosto de 2023
    • Atualizações de segurança do sistema operacional.
  • 15 de agosto de 2023
    • Atualizações de segurança do sistema operacional.
  • 23 de junho de 2023
    • A biblioteca Snowflake-jdbc foi atualizada para 3.13.29 para resolver um problema de segurança.
    • Atualizações de segurança do sistema operacional.
  • 15 de junho de 2023
    • [FAÍSCA-43098] Corrija o bug COUNT de correção quando a subconsulta escalar tem um grupo por cláusula.
    • [FAÍSCA-43156][FAÍSCA-43098] Estenda o teste de bug da contagem de subconsultas escalares com decorrelateInnerQuery desativado.
    • [FAÍSCA-40862] Ofereça suporte a subconsultas não agregadas em RewriteCorrelatedScalarSubquery.
    • Atualizações de segurança do sistema operacional.
  • 2 de junho de 2023
    • O analisador JSON no failOnUnknownFields modo descarta um registro no DROPMALFORMED modo e falha diretamente no FAILFAST modo.
    • Corrigido um problema na análise de dados resgatados pelo JSON para evitar UnknownFieldExceptiono .
    • Corrigido um problema no Auto Loader em que diferentes formatos de arquivo de origem eram inconsistentes quando o esquema fornecido não incluía partições inferidas. Esse problema pode causar falhas inesperadas ao ler arquivos com colunas ausentes no esquema de partição inferida.
    • [FAÍSCA-37520] Adicionar as startswith() funções e endswith() string
    • [FAÍSCA-43413] Corrigida IN a anulabilidade da subconsulta ListQuery .
    • Atualizações de segurança do sistema operacional.
  • 17 de maio de 2023
    • Atualizações de segurança do sistema operacional.
  • 25 de abril de 2023
    • Atualizações de segurança do sistema operacional.
  • 11 de abril de 2023
    • Corrigido um problema em que a evolução do esquema do Auto Loader podia entrar em um loop de falha infinito quando uma nova coluna é detetada no esquema de um objeto JSON aninhado.
    • [FAÍSCA-42967] Corrija SparkListenerTaskStart.stageAttemptId quando uma tarefa é iniciada depois que o estágio é cancelado.
  • 29 de março de 2023
    • Atualizações de segurança do sistema operacional.
  • 14 de março de 2023
    • [FAÍSCA-42484] Mensagem de erro melhorada para UnsafeRowUtils.
    • Correções diversas.
  • 28 de fevereiro de 2023
    • Os usuários agora podem ler e escrever tabelas Delta específicas que exigem o Reader versão 3 e o Writer versão 7, usando o Databricks Runtime 9.1 LTS ou posterior. Para serem bem-sucedidos, os recursos de tabela listados no protocolo das tabelas devem ser suportados pela versão atual do Databricks Runtime.
    • Atualizações de segurança do sistema operacional.
  • 16 de fevereiro de 2023
    • Atualizações de segurança do sistema operacional.
  • 31 de janeiro de 2023
    • Os tipos de tabela de tabelas JDBC agora são EXTERNOS por padrão.
  • 18 de janeiro de 2023
    • Atualizações de segurança do sistema operacional.
  • 29 de novembro de 2022
    • Corrigido um problema com a análise JSON no Auto Loader quando todas as colunas eram deixadas como strings (cloudFiles.inferColumnTypes não estava definido ou definido como false) e o JSON continha objetos aninhados.
    • Atualizações de segurança do sistema operacional.
  • 15 de novembro de 2022
    • Apache commons-text atualizado para 1.10.0.
    • Atualizações de segurança do sistema operacional.
    • Correções diversas.
  • 1 de novembro de 2022
    • Corrigido um problema em que, se uma tabela Delta tivesse uma coluna definida pelo usuário chamada _change_type, mas o feed de dados Change estivesse desativado nessa tabela, os dados nessa coluna seriam preenchidos incorretamente com valores NULL durante a execução MERGE.
    • Corrigido um problema com o Auto Loader em que um ficheiro podia ser duplicado no mesmo microlote quando allowOverwrites estava ativado
    • [FAÍSCA-40596] Preencher ExecutorDecommission com mensagens em ExecutorDecommissionInfo
    • Atualizações de segurança do sistema operacional.
  • 18 de outubro de 2022
    • Atualizações de segurança do sistema operacional.
  • 5 de outubro de 2022
    • Correções diversas.
    • Atualizações de segurança do sistema operacional.
  • 22 de setembro de 2022
    • Os usuários podem definir spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") para reativar a listagem interna do Auto Loader no ADLS Gen2. A listagem integrada foi desativada anteriormente devido a problemas de desempenho, mas pode ter levado ao aumento dos custos de armazenamento para os clientes.
    • [FAÍSCA-40315] Adicionar hashCode() para Literal de ArrayBasedMapData
    • [FAÍSCA-40089] Corrigir a classificação para alguns tipos decimais
    • [FAÍSCA-39887] RemoveRedundantAliases deve manter aliases que tornam a saída dos nós de projeção exclusiva
  • 6 de setembro de 2022
    • [FAÍSCA-40235] Use o bloqueio interruptível em vez de sincronizado em Executor.updateDependencies()
    • [FAÍSCA-35542] Correção: Bucketizer criado para várias colunas com parâmetros splitsArray, inputCols e outputCols não podem ser carregados depois de salvá-lo
    • [FAÍSCA-40079] Adicionar validação de inputCols do Imputer para caso de entrada vazio
  • 24 de agosto de 2022
    • [FAÍSCA-39666] Use UnsafeProjection.create para respeitar spark.sql.codegen.factoryMode em ExpressionEncoder
    • [FAÍSCA-39962] Aplicar projeção quando os atributos de grupo estiverem vazios
    • Atualizações de segurança do sistema operacional.
  • 9 de agosto de 2022
    • Atualizações de segurança do sistema operacional.
  • 27 de julho de 2022
    • Torne os resultados da operação Delta MERGE consistentes quando a origem não for determinística.
    • [FAÍSCA-39689] Suporte para 2 caracteres na fonte de lineSep dados CSV
    • [FAÍSCA-39575] Adicionado ByteBuffer#rewind depois ByteBuffer#get em AvroDeserializer.
    • [FAÍSCA-37392] Corrigido o erro de desempenho do otimizador de catalisador.
    • Atualizações de segurança do sistema operacional.
  • 13 de julho de 2022
    • [FAÍSCA-39419] ArraySort lança uma exceção quando o comparador retorna null.
    • Desativou o uso de APIs de nuvem internas do Auto Loader para listagem de diretórios no Azure.
    • Atualizações de segurança do sistema operacional.
  • 5 de julho de 2022
    • Atualizações de segurança do sistema operacional.
    • Correções diversas.
  • 15 de junho de 2022
    • [FAÍSCA-39283] Corrigir o impasse entre TaskMemoryManager e UnsafeExternalSorter.SpillableIterator.
  • 2 de junho de 2022
    • [FAÍSCA-34554] Implemente o copy() método em ColumnarMap.
    • Atualizações de segurança do sistema operacional.
  • 18 de maio de 2022
    • Corrigido um potencial vazamento de memória embutido no Auto Loader.
    • Atualize a versão do AWS SDK de 1.11.655 para 1.11.678.
    • [FAÍSCA-38918] A remoção de coluna aninhada deve filtrar atributos que não pertencem à relação atual
    • [FAÍSCA-39084] Corrigir df.rdd.isEmpty() usando TaskContext para parar o iterador na conclusão da tarefa
    • Atualizações de segurança do sistema operacional.
  • 19 de abril de 2022
    • Atualizações de segurança do sistema operacional.
    • Correções diversas.
  • 6 de abril de 2022
    • [FAÍSCA-38631] Usa implementação baseada em Java para un-tarring em Utils.unpack.
    • Atualizações de segurança do sistema operacional.
  • 22 de março de 2022
    • Alterado o diretório de trabalho atual de blocos de anotações em clusters de alta simultaneidade com controle de acesso à tabela ou passagem de credenciais habilitado para o diretório base do usuário. Anteriormente, o diretório ativo era /databricks/driver.
    • [FAÍSCA-38437] Serialização leniente de datetime a partir da fonte de dados
    • [FAÍSCA-38180] Permitir expressões upcast seguras em predicados de igualdade correlacionados
    • [FAÍSCA-38155] Não permitir agregados distintos em subconsultas laterais com predicados sem suporte
    • [FAÍSCA-27442] Removido um campo de verificação ao ler ou gravar dados em um parquet.
  • 14 de março de 2022
    • [FAÍSCA-38236] Os caminhos de arquivo absolutos especificados na tabela create/alter são tratados como relativos
    • [FAÍSCA-34069] Interrompa o thread de tarefas se a propriedade SPARK_JOB_INTERRUPT_ON_CANCEL local estiver definida como true.
  • 23 de fevereiro de 2022
    • [FAÍSCA-37859] As tabelas SQL criadas com JDBC com Spark 3.1 não são legíveis com o Spark 3.2.
  • 8 de fevereiro de 2022
    • [FAÍSCA-27442] Removido um campo de verificação ao ler ou gravar dados em um parquet.
    • Atualizações de segurança do sistema operacional.
  • 1 de fevereiro de 2022
    • Atualizações de segurança do sistema operacional.
  • 26 de janeiro de 2022
    • Corrigido um problema em que transações simultâneas em tabelas Delta podiam ser confirmadas em uma ordem não serializável sob certas condições raras.
    • Corrigido um problema em que o OPTIMIZE comando podia falhar quando o dialeto ANSI SQL estava habilitado.
  • 19 de janeiro de 2022
    • Pequenas correções e melhorias de segurança.
    • Atualizações de segurança do sistema operacional.
  • 4 de novembro de 2021
    • Corrigido um problema que podia fazer com que os fluxos de Streaming Estruturado falhassem com um ArrayIndexOutOfBoundsExceptionarquivo .
    • Corrigida uma condição de corrida que poderia causar uma falha de consulta com um IOException como java.io.IOException: No FileSystem for scheme ou que poderia fazer com que as modificações sparkContext.hadoopConfiguration não tivessem efeito nas consultas.
    • O Apache Spark Connector for Delta Sharing foi atualizado para 0.2.0.
  • 20 de outubro de 2021
    • Conector BigQuery atualizado de 0.18.1 para 0.22.2. Isso adiciona suporte para o tipo BigNumeric.