Tempo de execução do Databricks 14.2 (EoS)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 14.2, desenvolvido pelo Apache Spark 3.5.0.

A Databricks lançou esta versão em novembro de 2023.

Novos recursos e melhorias

• CACHE SELECT agora é ignorado
• Comportamento de cache aprimorado
• Corrigido tratamento de arquivos corrompidos em comandos DML
• Suporte ao Registro de Esquema para funções relacionadas a protobuf e Avro em clusters compartilhados
• foreachBatch e StreamingListener apoio
• A simultaneidade no nível da linha está geralmente disponível e ativada por padrão
• Compartilhamento Delta: os destinatários podem executar consultas em lote, CDF e streaming em tabelas compartilhadas com vetores de exclusão (Visualização pública)
• Clone superficial para tabelas externas do Unity Catalog (Visualização pública)
• Novo algoritmo de atribuição de cache de disco
• from_avro Com o Schema Registry Connector adiciona suporte para a evolução do esquema
• Recolha de estatísticas multi-threaded mais rápida
• Filtros pushdown no DeltaSource em arquivos Delta
• Suporte para funções escalares definidas pelo usuário Scala em clusters compartilhados (Visualização pública)

CACHE SELECT agora é ignorado

O comando CACHE SELECT SQL agora é ignorado em favor de um algoritmo de cache aprimorado. Consulte Otimizar o desempenho com cache no Azure Databricks.

Comportamento de cache aprimorado

O posicionamento do DiskCache pelo agendador do Spark agora tem atribuição de partição mais rápida, melhor balanceamento durante o dimensionamento automático do cluster e execução de consulta mais consistente.

Corrigido tratamento de arquivos corrompidos em comandos DML

Os comandos DELETEDML , UPDATEe MERGE INTO não respeitam mais as opções ignoreCorruptFiles de leitura e ignoreMissingFiles. Ao encontrar um arquivo ilegível em uma tabela, esses comandos agora falham, mesmo que essas opções sejam especificadas.

Suporte ao Registro de Esquema para funções relacionadas a protobuf e Avro em clusters compartilhados

Agora você pode usar as funções , , e to_protobuf Python com o from_avroRegistro de Esquema em clusters compartilhadosfrom_protobuf. to_avro

foreachBatch e StreamingListener apoio

Agora você pode usar as foreachBatch() APIs e StreamingListener com Streaming Estruturado em clusters compartilhados. Consulte Usar foreachBatch para gravar em coletores de dados arbitrários e Monitoramento de consultas de Streaming Estruturado no Azure Databricks.

A simultaneidade no nível da linha está geralmente disponível e ativada por padrão

A simultaneidade em nível de linha reduz os conflitos entre operações de gravação simultâneas detetando alterações no nível da linha. A simultaneidade em nível de linha só é suportada em tabelas sem particionamento, o que inclui tabelas com clustering líquido. A simultaneidade em nível de linha é habilitada por padrão em tabelas Delta com vetores de exclusão habilitados. Consulte Conflitos de gravação com simultaneidade em nível de linha.

Compartilhamento Delta: os destinatários podem executar consultas em lote, CDF e streaming em tabelas compartilhadas com vetores de exclusão (Visualização pública)

Os destinatários do Delta Sharing agora podem executar consultas em lote, CDF e streaming em tabelas compartilhadas que usam vetores de exclusão. No Databricks Runtime 14.1, eles só podem executar consultas em lote. Consulte Adicionar tabelas com vetores de exclusão ou mapeamento de coluna a um compartilhamento, Ler tabelas com vetores de exclusão ou mapeamento de coluna habilitado e Ler tabelas com vetores de exclusão ou mapeamento de coluna habilitado.

Clone superficial para tabelas externas do Unity Catalog (Visualização pública)

Agora você pode usar clones superficiais com tabelas externas do Unity Catalog. Consulte Clone superficial para tabelas do Catálogo Unity.

Novo algoritmo de atribuição de cache de disco

O agendador do Spark agora usa um novo algoritmo de cache de disco. O algoritmo melhora o uso do disco e a atribuição de partições entre nós, com atribuição mais rápida tanto inicialmente quanto após eventos de dimensionamento de cluster. A atribuição de cache mais aderente melhora a consistência entre as execuções e reduz os dados movidos durante as operações de reequilíbrio.

from_avro Com o Schema Registry Connector adiciona suporte para a evolução do esquema

Agora você pode habilitar seus pipelines para reiniciar quando registros evoluídos forem detetados. Anteriormente, se a evolução do esquema acontecesse com o from_avro conector, as novas colunas retornariam null. Consulte Ler e gravar dados Avro de streaming.

Recolha de estatísticas multi-threaded mais rápida

A coleta de estatísticas é até 10 vezes mais rápida em pequenos clusters ao executar CONVERT TO DELTA ou clonar a partir de tabelas Iceberg e Parquet. Veja as tabelas Converter para Delta Lake e Clone Parquet e Iceberg.

Filtros pushdown no DeltaSource em arquivos Delta

Para uma melhor utilização, os filtros de partição em consultas de streaming de tabelas Delta agora são empurrados para Delta antes do limite de taxa.

Suporte para funções escalares definidas pelo usuário Scala em clusters compartilhados (Visualização pública)

Agora você pode usar funções escalares definidas pelo usuário Scala em clusters habilitados para Unity Catalog configurados com o modo de acesso compartilhado. Consulte Funções escalares definidas pelo usuário - Scala.

Atualizações da biblioteca

• Bibliotecas Python atualizadas:
  • fastjsonschema de 2.18.0 a 2.19.0
  • filelock de 3.12.3 a 3.12.4
  • googleapis-common-protos de 1.60.0 a 1.61.0
• Bibliotecas R atualizadas:
• Bibliotecas Java atualizadas:

Faísca Apache

O Databricks Runtime 14.2 inclui o Apache Spark 3.5.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 14.1, bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• [FAÍSCA-45592] [DBRRM-624] Reverter "[SC-146977][SQL] Correção problema no AQE com InMemoryTableScanExec"
• [FAÍSCA-45524] [DBRRM-625] Revert "[SC-146319][PYTHON][SQL] Suporte inicial f...
• [FAÍSCA-45433] [DBRRM-621] Reverter "[SC-145163][SQL] Corrigir inferência de esquema CSV/JSON...
• [FAÍSCA-45592] [SC-146977][SQL] Problema de correção no AQE com InMemoryTableScanExec
• [FAÍSCA-45354] Reverter "[SC-143991][SQL] Resolver funções de baixo para cima"
• [FAÍSCA-45680] [APENAS TESTE][SASP-2347][CONECTAR] Corrigir testes
• [FAÍSCA-45680] [CONECTAR] Sessão de lançamento
• [FAÍSCA-43380] [SC-146726][ES-897115][SQL] Corrigir lentidão no Avro read
• [FAÍSCA-45649] [SC-146742][SQL] Unificar o quadro de preparação para OffsetWindowFunctionFrame
• [FAÍSCA-40820] [SC-146727][PYTHON][SQL] Criando StructType a partir de Json
• [FAÍSCA-45620] [SC-146225][PYTHON] Corrija APIs voltadas para o usuário relacionadas ao Python UDTF para usar camelCase
• [FAÍSCA-45727] [SC-146978][SS] Remover mapa não utilizado na simulação de propagação de marca d'água
• [FAÍSCA-45723] [SC-146890][PYTHON][CONECTAR] Os métodos de catálogo evitam a conversão de pandas
• [FAÍSCA-45574] [SC-146106][SQL] Adicionar :: sintaxe como uma abreviatura para transmissão
• [FAÍSCA-45670] [SC-146725][CORE][3.5] O SparkSubmit não suporta --total-executor-cores a implementação no K8s
• [FAÍSCA-45661] [SC-146594][SQL][PYTHON] Adicionar toNullable em StructType, MapType e ArrayType
• [FAÍSCA-45524] [SC-146319][PYTHON][SQL] Suporte inicial para API de leitura de fonte de dados Python
• [FAÍSCA-45542] [SC-145892][CORE] Substitua setSafeMode(HdfsConstants.SafeModeAction, boolean) por setSafeMode(SafeModeAction, boolean)
• [FAÍSCA-45652] [SC-146641][SQL] SPJ: Manipular partições de entrada vazias após filtragem dinâmica
• [FAÍSCA-45454] [SC-144846][SQL] Defina o proprietário padrão da tabela como current_user
• [FAÍSCA-45554] [SC-146875][PYTHON] Introduza parâmetros flexíveis para assertSchemaEqual
• [FAÍSCA-45242] [SC-143410][SQL] Usar DataFrame ID para validar semanticamente CollectMetrics
• [FAÍSCA-45674] [SC-146862][CONECTAR][PYTHON] Melhore a mensagem de erro para atributos dependentes da JVM no Spark Connect.
• [FAÍSCA-45646] [SC-146276][SQL] Remover variáveis de tempo de hardcoding anteriores ao Hive 2.0
• [FAÍSCA-43380] [SC-146726][ES-897115][SQL] Corrigir lentidão no Avro read
• [FAÍSCA-45545] [SC-146484][CORE] Passe SSLOptions onde quer que criemos um SparkTransportConf
• [FAÍSCA-45641] [SC-146260][UI] Exibir a hora de início do aplicativo em AllJobsPage
• [FAÍSCA-40154] [SC-146491][Python][Documentos] Corrigir o nível de armazenamento em Dataframe.cache docstring
• [FAÍSCA-45626] [SC-146259][SQL] Converter _LEGACY_ERROR_TEMP_1055 em REQUIRES_SINGLE_PART_NAMESPACE
• [FAÍSCA-45507] [SC-145900][SQL] Correção de correção para subconsultas escalares correlacionadas aninhadas com agregados COUNT
• [FAÍSCA-45619] [SC-146226][CONECTAR][PYTHON] Aplicar as métricas observadas ao objeto Observação
• [FAÍSCA-45588] [SC-145909][PROTOBUF][CONECTAR][MENOR] Melhoria do Scaladoc para StreamingForeachBatchHelper
• [FAÍSCA-45616] [SC-146120][CORE] Evite ParVector, que não propaga ThreadLocals ou SparkSession
• [FAÍSCA-45604] [SC-146105][SQL] Adicionar verificação LogicalType em INT64 -> conversão DateTime no Parquet Vectorized Reader
• [FAÍSCA-44649] [SC-145891][SQL] O Runtime Filter suporta a passagem de expressões de lado de criação equivalentes
• [FAÍSCA-41674] [SC-128408][SQL] O filtro de tempo de execução deve suportar o lado da junção de shuffle de vários níveis como o lado da criação do filtro
• [FAÍSCA-45547] [SC-146228][ML] Validar vetores com função integrada
• [FAÍSCA-45558] [SC-145890][SS] Introduzir um arquivo de metadados para o operador stateful de streaming
• [FAÍSCA-45618] [SC-146252][CORE] Remover BaseErrorHandler
• [FAÍSCA-45638] [SC-146251][SQL][Avro] Melhorar a cobertura de teste da conversão decimal
• [FAÍSCA-44837] [SC-146020][SQL] Alterar mensagem de erro da coluna ALTER TABLE ALTER PARTITION
• [FAÍSCA-45561] [SC-146264][SQL] Adicione conversões adequadas para TINYINT no MySQLDialect
• [FAÍSCA-45632] [SC-146255][SQL] O cache de tabela deve evitar ColumnarToRow desnecessário ao habilitar o AQE
• [FAÍSCA-45569] [SC-145932][SQL] Atribuir nome ao _LEGACY_ERROR_TEMP_2152 de erro
• [FAÍSCA-44784] [SC-141015][CONECTAR] Tornar herméticos os testes do SBT.
• [FAÍSCA-45452] [SC-144836][SQL] Melhorar InMemoryFileIndex para usar FileSystem.listFiles a API
• [FAÍSCA-44735] [SC-146186][SQL] Adicionar mensagem de aviso ao inserir colunas com o mesmo nome por linha que não correspondem
• [FAÍSCA-45351] [SC-144791][CORE] Alterar spark.shuffle.service.db.backend o valor padrão para ROCKSDB
• [FAÍSCA-45553] [SC-145906][PS] Depreciar assertPandasOnSparkEqual
• [FAÍSCA-45613] [SC-146022][CORE] Expor DeterministicLevel como um DeveloperApi
• [FAÍSCA-45549] [SC-145895][CORE] Remover não utilizado numExistingExecutors em seringa CoarseGrainedSchedulerBackend
• [FAÍSCA-45609] [SC-146030][CONECTAR] Incluir SqlState na mensagem proto SparkThrowable
• [FAÍSCA-45595] [SC-146037] expor sqlstate na mensagem de erro
• [FAÍSCA-45628] [SC-146123][ML] Melhorar vector_to_array para .mllib.linalg.SparseVector
• [FAÍSCA-45009] [SC-145884][SQL][ACOMPANHE] Desativar a descorrelação nas condições de junção para o teste AQE InSubquery
• [FAÍSCA-45576] [SC-145883][CORE] Remova logs de depuração desnecessários no ReloadingX509TrustManagerSuite
• [FAÍSCA-45485] [SC-145719][CONECTAR] Melhorias no agente do usuário: use SPARK_CONNECT_USER_AGENT variável env e inclua atributos específicos do ambiente
• [FAÍSCA-45508] [SC-145513][CORE] Adicione "–add-opens=java.base/jdk.internal.ref=ALL-UNNAMED" para que a plataforma possa acessar o Cleaner no Java 9+
• [FAÍSCA-45595] Reverter "[SC-146037] Expor SQLSTATE na mensagem de erro"
• [FAÍSCA-45595] [SC-146037] Expor SQLSTATE na mensagem de erro
• [FAÍSCA-45112] Revert "[SC-143259][SQL] Use UnresolvedFunction ba...
• [FAÍSCA-45257] [SC-143411][CORE] Ativar spark.eventLog.compress por padrão
• [FAÍSCA-45586] [SC-145899][SQL] Reduza a latência do compilador para planos com grandes árvores de expressão
• [FAÍSCA-45517] [SC-145691][CONECTAR][14.x] Expandir mais construtores de exceção para dar suporte a parâmetros de estrutura de erro
• [FAÍSCA-45581] [SC-145896] Torne o SQLSTATE obrigatório.
• [FAÍSCA-45427] [SC-145590][CORE] Adicionar configurações de RPC SSL a SSLOptions e SparkTransportConf
• [FAÍSCA-45261] [SC-143357][CORE] Correção EventLogFileWriters para manipular none como um codec
• [FAÍSCA-45582] [SC-145897][SS] Certifique-se de que a instância de armazenamento não seja usada depois de chamar a confirmação na agregação de streaming no modo de saída
• [FAÍSCA-45562] [SC-145720][SC-144650][SQL] XML: Tornar 'rowTag' uma opção obrigatória
• [FAÍSCA-45392] [SC-144362][CORE][SQL][SS] Substitua Class.newInstance() por Class.getDeclaredConstructor().newInstance()
• [FAÍSCA-45433] [SC-145163][SQL] Corrija a inferência do esquema CSV/JSON quando os carimbos de data/hora não corresponderem ao timestampFormat especificado
• [FAÍSCA-45458] [SC-145011][SQL] Converter IllegalArgumentException em SparkIllegalArgumentException em bitwiseExpressions
• [FAÍSCA-45564] [SC-145735][SQL] Simplifique 'DataFrameStatFunctions.bloomFilter' com a expressão 'BloomFilterAggregate'
• [FAÍSCA-45566] [SC-145777][PS] Suporta utilitários de teste semelhantes ao Pandas para a API do Pandas no Spark
• [FAÍSCA-45498] [SC-145509][CORE] Acompanhamento: Ignorar a conclusão de tarefas do estágio antigo...
• [FAÍSCA-45483] [SC-145152][CONECTAR] Corrija os grupos de funções em connect.functions
• [FAÍSCA-45577] [SC-145781][PYTHON] Corrija UserDefinedPythonTableFunctionAnalyzeRunner para passar valores dobrados de argumentos nomeados
• [FAÍSCA-45009] [SC-138223][ACOMPANHE] Desativar a descorrelação nas condições de junção para AetherSQLQuerySuite
• [FAÍSCA-45415] [SC-145344] Permitir a desativação seletiva de "fallocate" no statestore RocksDB
• [FAÍSCA-45500] [SC-145134][CORE][WEBUI] Mostrar o número de drivers anormalmente concluídos na MasterPage
• [FAÍSCA-44120] [SC-144349][PYTHON] Suporte Python 3.12
• [FAÍSCA-45439] [SC-145589][SQL][UI] Reduza o uso de memória de LiveStageMetrics.accumIdsToMetricType
• [FAÍSCA-45565] [SC-145717][UI] Loop JSON.stringify e JSON.parse desnecessários para lista de tarefas em detalhes do palco
• [FAÍSCA-45567] [SC-145718][CONECTAR] Remover redundante se em org.apache.spark.sql.connect.execution.ExecuteGrpcResponseSender#run
• [FAÍSCA-45112] [SC-143259][SQL] Usar a resolução baseada em UnresolvedFunction em funções de conjunto de dados SQL
• [FAÍSCA-45486] [SASP-2457][SC-145612][CONECTAR] Faça add_artifact pedido idempotente
• [FAÍSCA-44913] [SC-144326][SQL] DS V2 suporta push down V2 UDF que tem método mágico
• [FAÍSCA-45538] [SC-145635][PYTHON][CONNECT]pyspark connect overwrite_partitions bug
• [FAÍSCA-45491] [SC-145622] Adicionar SQLSTATES 2/2 ausentes
• [FAÍSCA-45009] [SC-145620][SC-138223][SQL] Decorar subconsultas de predicados na condição de junção
• [FAÍSCA-45377] [SC-144377][CORE] Manipular InputStream no NettyLogger
• [FAÍSCA-45248] [SC-143759][CORE]Definir o tempo limite para o spark ui server
• [FAÍSCA-44594] [SC-145611][SS] Remover parâmetro de método redundante no conector kafka
• [FAÍSCA-45539] [SC-145621][SS] Adicionar declaração e log para indicar que a definição de marca d'água é necessária para consultas de agregação de streaming no modo de acréscimo
• [FAÍSCA-44262] [SC-145639][SQL] Adicionar dropTable e getInsertStatement para JdbcDialect
• [FAÍSCA-45516] [SC-145480][CONECTAR] Incluir QueryContext na mensagem proto SparkThrowable
• [FAÍSCA-45310] [SC-145127][CORE] O status do bloco de embaralhamento de relatório deve respeitar o serviço de shuffle durante a migração de desativação
• [FAÍSCA-45521] [SC-145487][ML] Evite o recálculo de nnz em VectorAssembler
• [FAÍSCA-45418] [SC-145485][SQL][PYTHON][CONECTAR] Alterar o alias da coluna current_database() para current_schema()
• [FAÍSCA-45116] [SC-145142][SQL] Adicionar algum comentário para param of JdbcDialect createTable
• [FAÍSCA-45495] [SC-145529][núcleo] Suporte ao perfil de recurso de tarefa de nível de estágio para cluster k8s quando a alocação dinâmica estiver desativada
• [FAÍSCA-45487] [SC-145559] Corrigir SQLSTATEs e erros temporários
• [FAÍSCA-45505] [SC-145550][PYTHON] Refatore analyzeInPython para torná-lo reutilizável
• [FAÍSCA-45132] [SC-145425][SQL] Corrigir IDENTIFICADOR para invocação de função
• [FAÍSCA-45213] [SC-145020][SQL] Atribuir nome ao _LEGACY_ERROR_TEMP_2151 de erro
• [FAÍSCA-45416] [SC-145126][CONECTAR] Verificação de sanidade da consistência dos resultados da seta
• [FAÍSCA-45163] [SC-143386][SQL] Mesclar UNSUPPORTED_VIEW_OPERATION & UNSUPPORTED_TABLE_OPERATION & corrigir algum problema
• [FAÍSCA-45421] [SC-144814][SQL] Análise de capturaExceção sobre InlineCTE
• [FAÍSCA-43664] [SC-145404][CONECTAR][PS] Gerar exceção para ps.sql com o objeto Pandas-on-Spark no Spark Connect.
• [FAÍSCA-45402] [SC-145371][SQL][PYTHON] Adicione a API UDTF para métodos 'eval' e 'terminate' para consumir o resultado anterior de 'analyze'
• [FAÍSCA-36112] [SC-67885] [SQL] Suporte a subconsultas EXISTS e IN correlacionadas usando a estrutura DecorrelateInnerQuery
• [FAÍSCA-45383] [SC-144929][SQL] Corrigir mensagem de erro para viagem no tempo com tabela não existente
• [FAÍSCA-43254] [SC-143318][SQL] Atribuir um nome à _LEGACY_ERROR_TEMP_2018 de erro
• [FAÍSCA-45204] [SC-145167][CONECTAR] Adicionar ExecuteHolder opcional ao SparkConnectPlanner
• [FAÍSCA-45451] [SC-145144][SQL] Torne o nível de armazenamento padrão do cache do conjunto de dados configurável
• [FAÍSCA-45192] [SC-143194][UI] Corrigir parâmetro lineInterpolate atrasado para borda graphviz
• [FAÍSCA-45467] [SC-145146][CORE] Substitua Proxy.getProxyClass() por Proxy.newProxyInstance().getClass
• [FAÍSCA-45397] [SC-145139][ML][CONECTAR] Adicionar transformador de recurso de montagem de matriz
• [FAÍSCA-44855] [SC-145226][CONECTAR] Pequenos ajustes para anexar ExecuteGrpcResponseSender a ExecuteResponseObserver
• [FAÍSCA-45398] [SC-144796][SQL] Acrescentar ESCAPE da sql() Like expressão
• [FAÍSCA-45494] [SC-145129][CORE][PYTHON] Introduzir funções util para ler/gravar uma matriz de bytes para PythonWorkerUtils
• [FAÍSCA-45464] [SC-145125][CORE] Corrigir compilação de distribuição de fio de rede
• [FAÍSCA-45461] [SC-144851][CORE][SQL][MLLIB] Introduzir um mapeador para StorageLevel
• [FAÍSCA-45450] [SC-145009][PYTHON] Corrigir importações de acordo com PEP8: pyspark.pandas e pyspark (core)
• [FAÍSCA-45475] [SC-145018][SQL] Usa DataFrame.foreachPartition em vez de RDD.foreachPartition em JdbcUtils
• [FAÍSCA-45271] [SC-143778][SQL] Mesclar _LEGACY_ERROR_TEMP_1113 em TABLE_OPERATION & excluir algum método não utilizado em QueryCompilationErrors
• [FAÍSCA-45449] [SC-145013][SQL] Problema de invalidação de cache com a tabela JDBC
• [FAÍSCA-45473] [SC-145017][SQL] Corrigir mensagem de erro incorreta para RoundBase
• [FAÍSCA-43299] [SC-145022][SS][CONECTAR] Converter StreamingQueryException no cliente Scala
• [FAÍSCA-45474] [SC-145014][CORE][WEBUI] Suporte a filtragem de nível superior na API JSON do MasterPage
• [FAÍSCA-45205] [SC-145012][SQL] CommandResultExec para substituir métodos iteradores para evitar o acionamento de vários trabalhos.
• [FAÍSCA-45472] [SC-145004][SS] RocksDB State Store não precisa verificar novamente a existência do caminho do ponto de verificação
• [FAÍSCA-45470] [SC-145010][SQL] Evite colar o valor da cadeia de caracteres do tipo de compressão orc hive
• [FAÍSCA-45448] [SC-144829][PYTHON] Corrigir importações de acordo com PEP8: pyspark.testing, pyspark.mllib, pyspark.resource e pyspark.streaming
• [FAÍSCA-45446] [SC-144828][PYTHON] Corrigir importações de acordo com PEP8: pyspark.errors e pyspark.ml
• [FAÍSCA-45239] [SC-144832][CONECTAR] Reduza o padrão spark.connect.jvmStacktrace.maxSize
• [FAÍSCA-45436] [SC-144831][PYTHON][CONECTAR] Os métodos DataFrame verificam a mesma sessão
• [FAÍSCA-45413] [SC-144847][CORE] Adicionar aviso para preparar o suporte ao LevelDB drop
• [FAÍSCA-45462] [SC-144848][CORE][WEBUI] Mostrar Duration em ApplicationPage
• [FAÍSCA-44527] [SC-144855][SQL] Substitua ScalarSubquery por null se seu maxRows for 0
• [FAÍSCA-45401] [SC-144854][PYTHON] Adicionar um novo método cleanup na interface UDTF
• [FAÍSCA-43704] [SC-144849][CONECTAR][PS] Suporte MultiIndex para to_series()
• [FAÍSCA-45424] [SC-144888][SQL] Fix TimestampFormatter retorna resultados de análise opcionais quando apenas o prefixo corresponde
• [FAÍSCA-45441] [SC-144833][PYTHON] Introduza mais funções util para PythonWorkerUtils
• [FAÍSCA-45412] [SC-144803][PYTHON][CONECTAR] Valide o plano e a sessão em DataFrame.__init__
• [FAÍSCA-45408] [SC-144810][CORE] Adicionar configurações de SSL RPC ao TransportConf
• [FAÍSCA-45432] [SC-144818][CORE] Remover construtor Hadoop-2 LocatedFileStatus preterido
• [FAÍSCA-45434] [SC-144819][ML][CONECTAR] LogisticRegression verifica os rótulos de treinamento
• [FAÍSCA-45420] [SC-144808][SQL][PYTHON][CONECTAR] Adicionar DataType.fromDDL ao PySpark
• [FAÍSCA-45406] [SC-144793][PYTHON][CONECTAR] Excluir schema do construtor DataFrame
• [FAÍSCA-45404] [SC-144799][CORE] Suporte AWS_ENDPOINT_URL env variável
• [FAÍSCA-43620] [SC-144792][CONECTAR][PS] Corrigir APIs do Pandas depende de recursos não suportados
• [FAÍSCA-45354] [SC-143991][SQL] Resolver funções de baixo para cima
• [FAÍSCA-45394] [SASP-1480][SC-144712][PYTHON][CONECTAR] Adicione novas tentativas para a API de artefato. Melhorar o tratamento de erros (acompanhamento de [SPARK-45093]).
• [FAÍSCA-45120] [SC-142780][FAÍSCA-45150][UI] Atualize o d3 de v3 para v7 (v7.8.5) e aplique alterações de api na interface do usuário
• [FAÍSCA-44838] [SC-143983][SQL] raise_error melhoria
• [FAÍSCA-45312] [SC-143754][SQL][UI] Suporte alternar exibir / ocultar plano svg na página de execução
• [FAÍSCA-45378] [SC-144448][CORE] Adicionar convertToNettyForSsl a ManagedBuffer
• [FAÍSCA-44762] [SC-144338][CONECTAR][CORE] Doc para SparkConnect.addJobTag e Connect SparkSession.addTag
• [FAÍSCA-45383] Lidar com RelationTimeTravel não resolvido graciosamente
• [FAÍSCA-45347] [SC-144512][SQL][CONECTAR] Incluir SparkThrowable em FetchErrorDetailsResponse
• [FAÍSCA-45012] [SC-141512][SQL] CheckAnalysis deve lançar plano embutido em AnalysisException
• [FAÍSCA-45359] [SC-144336][PYTHON][CONECTAR] DataFrame.{columns, colRegex, explain} deve levantar exceções quando o plano é inválido
• [FAÍSCA-45227] [SC-144233][CORE] Corrija um problema sutil de segurança de threads com CoarseGrainedExecutorBackend
• [FAÍSCA-45266] [SC-144171][PYTHON] Regra do analisador Refactor ResolveFunctions para atrasar a junção lateral quando os argumentos da tabela são usados
• [FAÍSCA-45266] Reverter "[SC-144171][PYTHON] Refactor ResolveFunctions analyzer rule to delay making lateral join when table arguments are used"
• [FAÍSCA-45371] [SC-144389][CONECTAR] Corrigir problemas de sombreamento no cliente Spark Connect Scala
• [FAÍSCA-45057] [SC-144214][CORE] Evite adquirir bloqueio de leitura quando keepReadLock é falso
• [FAÍSCA-45385] [SC-144357][SQL] Depreciar spark.sql.parser.escapedStringLiterals
• [FAÍSCA-45340] [SC-143917][SQL] Remover a configuração do SQL spark.sql.hive.verifyPartitionPath
• [FAÍSCA-45266] [SC-144171][PYTHON] Regra do analisador Refactor ResolveFunctions para atrasar a junção lateral quando os argumentos da tabela são usados
• [FAÍSCA-45362] [SC-144198][PYTHON] Projete expressões PARTITION BY antes que o método Python UDTF 'eval' as consuma
• [FAÍSCA-45346] [SC-143925][SQL] A inferência do esquema de Parquet deve respeitar o sinalizador sensível a maiúsculas e minúsculas ao mesclar o esquema
• [FAÍSCA-45341] [SC-143933][CORE] Corrija o nível de título nos comentários de KVStore.java para fazer sbt doc a execução com sucesso com o Java 17
• [FAÍSCA-45334] [SC-143914][SQL] Remover comentário enganoso em parquetSchemaConverter
• [FAÍSCA-45337] [SC-143932][CORE] Refatorar AbstractCommandBuilder#getScalaVersion para remover a verificação do Scala 2.12
• [FAÍSCA-45329] [SC-143918][PYTHON][CONECTAR] Os métodos DataFrame ignoram a conversão de pandas
• [FAÍSCA-43662] [SC-143923][PS][CONECTAR] Suporte merge_asof no Spark Connect
• [FAÍSCA-44126] [SC-143751][CORE] A contagem de falhas de migração aleatória não deve aumentar quando o executor de destino for desativado
• [FAÍSCA-44550] [SC-119768][SQL] Habilite correções de correção para null IN (empty list) sob ANSI
• [FAÍSCA-45316] [SC-143783][CORE][SQL] Adicionar novos parâmetros ignoreCorruptFiles/ignoreMissingFiles a HadoopRDD e NewHadoopRDD
• [FAÍSCA-45093] [SC-143414][CONECTAR][PYTHON] Relatório de erros para consulta addArtifacts
• [FAÍSCA-44756] [SC-143787][CORE] O executor trava quando RetryingBlockTransferor falha ao iniciar a repetição
• [FAÍSCA-45333] [SC-143768][CORE] Corrigir um erro de unidade relacionado a spark.eventLog.buffer.kb
• [FAÍSCA-45317] [SC-143750][SQL][CONECTAR] Manipular nome de arquivo nulo em rastreamentos de pilha de exceções
• [FAÍSCA-45191] [SC-143407][SQL] InMemoryTableScanExec simpleStringWithNodeId adiciona informações colunares
• [FAÍSCA-45235] [SC-143314][CONECTAR][PYTHON] Mapa de suporte e parâmetros de matriz por sql()
• [FAÍSCA-45138] [SC-143309][SS] Definir uma nova classe de erro e aplicá-la quando o estado de ponto de verificação para DFS falhar
• [FAÍSCA-45297] [SC-143644][SQL] Remover solução alternativa para dateformatter adicionado no SPARK-31827
• [FAÍSCA-44345] [SC-143593][CORE] Nível de log mais baixo unknown shuffle map output para AVISAR se a migração aleatória estiver habilitada
• [FAÍSCA-44463] [SC-143251][SS][CONECTAR] Melhore o tratamento de erros para o Connect steaming Python worker
• [FAÍSCA-45207] [SC-143603][SQL][CONECTAR] Implementar enriquecimento de erros para o cliente Scala
• [FAÍSCA-45240] [SC-143602][SQL][CONECTAR] Implementar enriquecimento de erros para cliente Python
• [FAÍSCA-45216] [SC-143288][SQL] Corrigir APIs de conjunto de dados semeado não determinístico
• [FAÍSCA-45251] [SC-143419][CONECTAR] Adicionar campo client_type para FetchErrorDetails
• [FAÍSCA-45137] [SC-143001][CONECTAR] Suporte a parâmetros de mapa/matriz parametrizados sql()
• [FAÍSCA-45224] [SC-143257][PYTHON] Adicione exemplos com mapa e matriz como parâmetros de sql()
• [FAÍSCA-44622] [SC-143205][SQL][CONECTAR] Implementar FetchErrorDetails RPC
• [FAÍSCA-45178] [SC-136089] Fallback para executar um único lote para Trigger.AvailableNow com fontes sem suporte em vez de usar wrapper
• [FAÍSCA-44823] [14.x][SC-142979][PYTHON] Atualização preta para 23.9.1 e verificação corrigitiva
• [FAÍSCA-45078] [SC-142954][SQL] Fix array_insert ImplicitCastInputTypes não funciona
• [FAÍSCA-44579] [SC-138428][SQL] Suporte Interrupt On Cancel no SQLExecution
• [FAÍSCA-45252] [SC-143371][CORE] Fuja dos símbolos maior/menor que nos comentários para fazer sbt doc a execução com êxito
• [FAÍSCA-45189] [SC-142973][SQL] A criação de UnresolvedRelation a partir de TableIdentifier deve incluir o campo de catálogo
• [FAÍSCA-45229] [SC-143254][CORE][UI] Mostrar o número de drivers aguardando no status ENVIADO na MasterPage
• [FAÍSCA-43453] Reverter "[SC-143135][PS] Ignorar o names de MultiIndex quando axis=1 para concat"

Suporte ao driver ODBC/JDBC do Databricks

O Databricks suporta drivers ODBC/JDBC lançados nos últimos 2 anos. Faça o download dos drivers lançados recentemente e atualize (baixe ODBC, baixe JDBC).

Consulte Atualizações de manutenção do Databricks Runtime 14.2.

Ambiente do sistema

• Sistema Operacional: Ubuntu 22.04.3 LTS
• Java: Zulu 8.72.0.17-CA-linux64
• Escala: 2.12.15
• Píton: 3.10.12
• R: 4.3.1
• Lago Delta: 3.0.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo CRAN do Posit Package Manager em 2023-02-10.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)