Tempo de execução do Databricks 13.2 (EoS)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 13.2, alimentado pelo Apache Spark 3.4.0.

A Databricks lançou esta versão em julho de 2023.

Novos recursos e melhorias

• Ponto de verificação do changelog para armazenamento de estado RocksDB
• Confiabilidade aprimorada para VACUUM com clone superficial no Unity Catalog.
• Suporte para Python UDFs em SQL
• Delta Lake UniForm for Iceberg está em pré-visualização pública
• O agrupamento de líquidos do Delta Lake está em pré-visualização pública
• Suporte de arquivamento no Azure Databricks
• Suporte à cláusula IDENTIFIER
• Suporte do Catálogo Unity para Python e Pandas User-Defined Functions (UDFs)
• Compartilhar esquemas usando o Compartilhamento Delta
• Correções de erros

Ponto de verificação do changelog para armazenamento de estado RocksDB

Você pode habilitar o ponto de verificação do changelog para reduzir a duração do ponto de verificação e a latência de ponta a ponta para cargas de trabalho de Streaming Estruturado com monitoração de estado. O Databricks recomenda ativar o ponto de verificação do registo de alterações para todas as consultas com monitorização de estado de Transmissão em Fluxo Estruturada. Consulte Ativar ponto de verificação do changelog.

Confiabilidade aprimorada para VACUUM com clone superficial no Unity Catalog.

Quando você usa tabelas gerenciadas do Unity Catalog para a origem e o destino de uma operação de clone superficial, o Unity Catalog gerencia os arquivos de dados subjacentes para melhorar a confiabilidade da origem e do destino da operação de clone. A execução VACUUM na origem de um clone superficial não quebra a tabela clonada. Consulte clones superficiais do Vacuum e do Unity Catalog.

Suporte para Python UDFs em SQL

Agora você pode declarar funções definidas pelo usuário usando Python dentro de instruções SQL CREATE FUNCTION no Unity Catalog. Consulte Funções definidas pelo usuário (UDFs) no Catálogo Unity.

Delta Lake UniForm for Iceberg está em pré-visualização pública

O Formato Universal Delta Lake (UniForm) permite que você leia tabelas Delta com clientes Iceberg. Consulte Usar UniForm para ler tabelas Delta com clientes Iceberg.

O agrupamento de líquidos do Delta Lake está em pré-visualização pública

O cluster líquido Delta Lake substitui o particionamento de tabelas e ZORDER simplifica as decisões de layout de dados e otimiza o desempenho da consulta. Veja Utilizar clustering líquido para tabelas Delta.

Suporte de arquivamento no Azure Databricks

O suporte de arquivamento no Azure Databricks apresenta uma coleção de recursos que permitem que você use políticas de ciclo de vida baseadas em nuvem no armazenamento de objetos em nuvem contendo tabelas Delta para mover arquivos para camadas de armazenamento de arquivamento. Consulte Suporte de arquivamento no Azure Databricks.

Suporte à cláusula IDENTIFIER

Use IDENTIFIER(:mytable) para parametrizar com segurança nomes de tabela, coluna, função e esquema em muitas instruções SQL.

Suporte do Catálogo Unity para Python e Pandas User-Defined Functions (UDFs)

No Databricks Runtime 13.2 e superior, as funções definidas pelo usuário (UDFs) escritas em Python são suportadas em clusters que usam o modo de acesso compartilhado em um espaço de trabalho habilitado para Unity Catalog. Isso inclui Python e Pandas UDFs. Para obter detalhes sobre UDFs do Python, consulte Funções escalares definidas pelo usuário - Python.

Compartilhar esquemas usando o Compartilhamento Delta

O Databricks Runtime 13.2 adiciona a capacidade de usar ALTER SHARE <share-name> ADD SCHEMA <schema-name> para compartilhar um esquema inteiro usando o Compartilhamento Delta, dando ao destinatário acesso a todas as tabelas e exibições no esquema no momento em que você o compartilha, juntamente com quaisquer tabelas e exibições que forem adicionadas ao esquema no futuro. Consulte Adicionar esquemas a um compartilhamento e ALTER SHARE.

Correções de erros

• Corrigido um bug com o leitor JSON, onde os registros eram analisados no PERMISSIVE modo se failOnUnknownFieldsmode estivesse habilitado. Os registros agora são descartados badRecordsPathno modo ou são gravados no DROPMALFORMEDparser , se qualquer uma dessas opções estiver definida. FAILFAST lança um erro se um tipo de coluna não corresponder.

Atualizações da biblioteca

• Bibliotecas Python atualizadas:
  • nodeenv de 1.7.0 a 1.8.0
• Bibliotecas R atualizadas:
• Bibliotecas Java atualizadas:
  • io.delta.delta-sharing-spark_2.12 de 0.6.7 a 0.7.0

Faísca Apache

O Databricks Runtime 13.2 inclui o Apache Spark 3.4.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 13.1 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• [FAÍSCA-42750] [SC-133452][DBRRM-273] Suporte Inserir por nome declaração
• [FAÍSCA-43133] [SC-133728] Suporte a Scala Client DataStreamWriter Foreach
• [FAÍSCA-43663] [SC-134135][CONECTAR][PS] Ativar SeriesParityTests.test_compare
• [FAÍSCA-43684] [SC-134162][FAÍSCA-43685][FAÍSCA-43686][FAÍSCA-43691][CONECTAR][PS] Correção (NullOps|NumOps).(eq|ne) para o Spark Connect.
• [FAÍSCA-44021] [SC-134109][SQL] Adicionar spark.sql.files.maxPartitionNum
• [FAÍSCA-43910] [SC-132936][SQL] Retirar __auto_generated_subquery_name de ids em erros
• [FAÍSCA-43976] [SC-133375][CORE] Manipule o caso em que modifiedConfigs não existe nos logs de eventos
• [FAÍSCA-32559] [SC-133992][SQL] Corrigir a lógica de corte não manipulou caracteres de controle ASCII corretamente
• [FAÍSCA-43421] [SC-132930][SS] Implementar o ponto de verificação baseado em Changelog para o RocksDB State Store Provider
• [FAÍSCA-43594] [SC-133851][SQL] Adicionar LocalDateTime a anyToMicros
• [FAÍSCA-43884] [SC-133867] Marcadores de parada em DDL
• [FAÍSCA-43398] [SC-133894][CORE] O tempo limite do executor deve ser máximo de baralhamento ocioso e tempo limite de rdd
• [FAÍSCA-43610] [SC-133892][CONECTAR][PS] Habilite InternalFrame.attach_distributed_column no Spark Connect.
• [FAÍSCA-43971] [SC-133826][CONECTAR][PYTHON] Suporta createDataFrame do Python de forma de streaming
• [FAÍSCA-44006] [SC-133652][CONECTAR][PYTHON] Suporte a artefatos de cache
• [FAÍSCA-43790] [SC-133468][PYTHON][CONECTAR][ML] Adicionar copyFromLocalToFs API
• [FAÍSCA-43921] [SC-133461][PROTOBUF] Gerar arquivos descritores Protobuf em tempo de compilação
• [FAÍSCA-43906] [SC-133638][SC-133404][PYTHON][CONECTAR] Implementar o suporte a arquivos em SparkSession.addArtifacts
• [FAÍSCA-44010] [SC-133744][PYTHON][SS][MENOR] Python StreamingQueryProgress rowsPerSecond correção de tipo
• [FAÍSCA-43768] [SC-132398][PYTHON][CONECTAR] Suporte ao gerenciamento de dependência Python no Python Spark Connect
• [FAÍSCA-43979] [13.X] Reverter "[SC-133456][SQL] CollectedMetrics deve ser tratado como o mesmo para auto-adesão"
• [FAÍSCA-42290] [SC-133696][SQL] Corrigir o erro OOM não pode ser relatado quando AQE em
• [FAÍSCA-43943] [SC-133648][SQL][PYTHON][CONECTAR] Adicionar funções matemáticas SQL ao Scala e Python
• [FAÍSCA-43747] [SC-132047][PYTHON][CONECTAR] Implementar o suporte pyfile em SparkSession.addArtifacts
• [FAÍSCA-43700] [SC-133726][FAÍSCA-43701][CONECTAR][PS] Ativar TimedeltaOps.(sub|rsub) com o Spark Connect
• [FAÍSCA-43712] [SC-133641][FAÍSCA-43713][CONECTAR][PS] Ativar teste de paridade: test_line_plot, test_pie_plot.
• [FAÍSCA-43867] [SC-132895][SQL] Melhorar os candidatos sugeridos para o atributo não resolvido
• [FAÍSCA-43901] [SC-133454][SQL] Avro para suportar o tipo decimal personalizado apoiado por Long
• [FAÍSCA-43267] [SC-133024][JDBC] Manipular postgres coluna desconhecida definida pelo usuário como cadeia de caracteres na matriz
• [FAÍSCA-43935] [SC-133637][SQL][PYTHON][CONECTAR] Adicionar funções xpath_* ao Scala e Python
• [FAÍSCA-43916] [SC-133647][SQL][PYTHON][CONECTAR] Adicionar percentil à API Scala e Python
• [FAÍSCA-43717] [SC-133455][CONECTAR] Scala client reduce agg cannot handle null partitions for scala primitive inputs
• [FAÍSCA-43984] [SC-133469][SQL][PROTOBUF] Alterar para usar foreach quando map não produzir resultados
• [FAÍSCA-43612] [SC-132011][CONECTAR][PYTHON] Implementar SparkSession.addArtifact(s) no cliente Python
• [FAÍSCA-44002] [SC-133606][CONECTAR] Corrigir o manipulador de status de artefato
• [FAÍSCA-43933] [SC-133470][SQL][PYTHON][CONECTAR] Adicionar funções de agregação de regressão linear ao Scala e Python
• [FAÍSCA-43920] [SC-133614][SQL][CONECTAR] Criar módulo sql/api
• [FAÍSCA-43979] [SC-133456][SQL] CollectedMetrics deve ser tratado como o mesmo para auto-adesão
• [FAÍSCA-43977] [SC-133373][CONECTAR] Corrigir resultado de verificação inesperada de dev/connect-jvm-client-mima-check
• [FAÍSCA-43985] [SC-133412][PROTOBUF] faísca protobuf: corrigir enums como ints bug
• [FAÍSCA-43930] [SC-133406][SQL][PYTHON][CONECTAR] Adicionar funções unix_* ao Scala e Python
• [FAÍSCA-43807] [SC-132545][SQL] Migrar _LEGACY_ERROR_TEMP_1269 para PARTITION_SCHEMA_IS_EMPTY
• [FAÍSCA-43956] [SC-133123][SQL] Corrigir o bug não exibe o sql da coluna para Percentile[Cont|Disco]
• [FAÍSCA-42626] [SC-133248][CONECTAR] Adicionar iterador destrutivo para SparkResult
• [FAÍSCA-43333] [SC-132898][SQL] Permitir que o Avro converta o tipo de união em SQL com o nome do campo estável com o tipo
• [FAÍSCA-43953] [SC-133134][CONECTAR] Remover pass
• [FAÍSCA-43970] [SC-133403][PYTHON][CONECTAR] Ocultar métodos de dataframe não suportados do preenchimento automático
• [FAÍSCA-43973] [SC-133272][SS][UI] A interface do usuário do Streaming Estruturado deve exibir consultas com falha corretamente
• [FAÍSCA-42577] [SC-125445][CORE] Adicione a limitação máxima de tentativas para estágios para evitar possíveis tentativas infinitas
• [FAÍSCA-43841] [SC-132699][SQL] Manipular atributos candidatos sem prefixo StringUtils#orderSuggestedIdentifiersBySimilarity
• [FAÍSCA-41497] [SC-124795][CORE][Acompanhe]Modificar a versão de suporte de configuração spark.rdd.cache.visibilityTracking.enabled para 3.5.0
• [FAÍSCA-37942] [SC-130983][CORE][SQL] Migrar classes de erro
• [FAÍSCA-43898] [SC-132926][CORE] Registre-se immutable.ArraySeq$ofRef automaticamente no KryoSerializer Scala 2.13
• [FAÍSCA-43775] [SC-132891][SQL] DataSource V2: Permite representar atualizações como exclusões e inserções
• [FAÍSCA-43817] [SC-132662][FAÍSCA-43702][PYTHON] Suporte UserDefinedType em createDataFrame de pandas DataFrame e toPandas
• [FAÍSCA-43418] [SC-132753][SC-130685][CONECTAR] Adicionar SparkSession.Builder.getOrCreate
• [FAÍSCA-43549] [SC-132383][SQL] Converta _LEGACY_ERROR_TEMP_0036 em INVALID_SQL_SYNTAX. ANALYZE_TABLE_UNEXPECTED_NOSCAN
• [FAÍSCA-41497] [SC-124644][CORE] Corrigindo a subcontagem do acumulador no caso da tarefa de repetição com cache rdd
• [FAÍSCA-43892] [SC-133006][PYTHON] Adicionar suporte de preenchimento automático para df[|] in pyspark.sql.dataframe.DataFrame
• [FAÍSCA-43881] [SC-133140][SQL][PYTHON][CONECTAR] Adicionar padrão opcional para Catalog.listDatabases
• [FAÍSCA-43205] [SC-132623] Cláusula IDENTIFICADOR
• [FAÍSCA-43545] [SC-132378][SQL][PYTHON] Suporte ao tipo de carimbo de data/hora aninhado
• [FAÍSCA-43949] [SC-133048][PYTHON] Atualize o cloudpickle para a versão 2.2.1
• [FAÍSCA-43760] [SC-132809][SQL] Anulabilidade dos resultados da subconsulta escalar
• [FAÍSCA-43696] [SC-132737][FAÍSCA-43697][FAÍSCA-43698][FAÍSCA-43699][PS] Correção TimedeltaOps para o Spark Connect
• [FAÍSCA-43895] [SC-132897][CONECTAR][GO] Preparar o caminho do pacote go
• [FAÍSCA-43894] [SC-132892][PYTHON] Corrigir bug em df.cache()
• [FAÍSCA-43509] [SC-131625][CONECTAR] Suporte à criação de várias sessões do Spark Connect
• [FAÍSCA-43882] [SC-132888][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_2122
• [FAÍSCA-43687] [SC-132747][FAÍSCA-43688][FAÍSCA-43689][FAÍSCA-43690][PS] Correção NumOps para o Spark Connect
• [FAÍSCA-43604] [SC-132165][SQL] Refatorar INVALID_SQL_SYNTAX para evitar incorporar o texto do erro no código-fonte
• [FAÍSCA-43859] [SC-132883][SQL] Substituir toString em LateralColumnAliasReference
• [FAÍSCA-43792] [SC-132939][SQL][PYTHON][CONECTAR] Adicionar padrão opcional para Catalog.listCatalogs
• [FAÍSCA-43353] Reverter "[SC-132734][PYTHON] Migrar erros de sessão restantes para a classe de erro"
• [FAÍSCA-43375] [SC-130309][CONECTAR] Melhorar as mensagens de erro para INVALID_CONNECT_URL
• [FAÍSCA-43863] [SC-132721][CONECTAR] Remover redundante toSeq do SparkConnectPlanner Scala 2.13
• [FAÍSCA-43676] [SC-132708][FAÍSCA-43677][FAÍSCA-43678][FAÍSCA-43679][PS] Correção DatetimeOps para o Spark Connect
• [FAÍSCA-43666] [SC-132689][FAÍSCA-43667][FAÍSCA-43668][FAÍSCA-43669][PS] Correção BinaryOps para o Spark Connect
• [FAÍSCA-43680] [SC-132709][FAÍSCA-43681][FAÍSCA-43682][FAÍSCA-43683][PS] Correção NullOps para o Spark Connect
• [FAÍSCA-43782] [SC-132885][CORE] Suporte à configuração de nível de log com o Spark conf estático
• [FAÍSCA-43132] [SC-131623] [SS] [CONECTAR] Python Client DataStreamWriter foreach() API
• [FAÍSCA-43290] [SC-131961][SQL] Adiciona suporte a AES IV e AAD ao ExpressionImplUtils
• [FAÍSCA-43795] [SC-132532][CONECTAR] Remover parâmetros não usados para SparkConnectPlanner
• [FAÍSCA-42317] [SC-129194][SQL] Atribua o nome a _LEGACY_ERROR_TEMP_2247: CANNOT_MERGE_SCHEMAS
• [FAÍSCA-43597] [SC-131960][SQL] Atribua um nome à classe de erro _LEGACY_ERROR_TEMP_0017
• [FAÍSCA-43834] [SC-132679][SQL] Use classes de erro nos erros de compilação de ResolveDefaultColumns
• [FAÍSCA-43749] [SC-132423][FAÍSCA-43750][SQL] Atribuir nomes à classe de erro _LEGACY_ERROR_TEMP_240[4-5]
• [FAÍSCA-43576] [SC-132533][CORE] Remover declarações não utilizadas do módulo Core
• [FAÍSCA-43314] [SC-129970][CONECTAR][PYTHON] Migrar erros do cliente Spark Connect para a classe de erro
• [FAÍSCA-43799] [SC-132715][PYTHON] Adicionar opção binária do descritor à API do Pyspark Protobuf
• [FAÍSCA-43837] [SC-132678][SQL] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_103[1-2]
• [FAÍSCA-43862] [SC-132750][SQL] Atribua um nome à classe de erro LEGACY_ERROR_TEMP(1254 & 1315)
• [FAÍSCA-43886] [SC-132808][PYTHON] Aceite tupla de genéricos como dicas de digitação de Pandas UDF
• [FAÍSCA-43530] [SC-132653][PROTOBUF] Ler o ficheiro descritor apenas uma vez
• [FAÍSCA-43820] [SC-132676][FAÍSCA-43822][FAÍSCA-43823][FAÍSCA-43826][FAÍSCA-43827] Atribuir nomes à classe de erro _LEGACY_ERROR_TEMP_241[1-7]
• [FAÍSCA-43671] [SC-132519][FAÍSCA-43672][FAÍSCA-43673][FAÍSCA-43674][PS] Correção CategoricalOps para o Spark Connect
• [FAÍSCA-39979] [SC-132685][SQL] Adicionar opção para usar vetores de largura variável grande para operações UDF de seta
• [FAÍSCA-43692] [SC-132660][FAÍSCA-43693][FAÍSCA-43694][FAÍSCA-43695][PS] Correção StringOps para o Spark Connect
• [FAÍSCA-43353] [SC-132734][PYTHON] Migrar erros de sessão restantes para a classe de erro
• [FAÍSCA-43815] [SC-132781][SQL] Adicionar to_varchar alias para to_char
• [FAÍSCA-43543] [13.x][SC-131839][PYTHON] Corrigir o comportamento MapType aninhado no Pandas UDF
• [FAÍSCA-43361] [SC-131789][PROTOBUF] documentação de atualização para erros relacionados à serialização de enum
• [FAÍSCA-43740] [SC-132035][PYTHON][CONECTAR] Ocultar métodos não suportados session do preenchimento automático
• [FAÍSCA-43022] [SC-131681][CONECTAR] Suporte protobuf funções para o cliente Scala
• [FAÍSCA-43304] [13.x][SC-129969][CONECTAR][PYTHON] Migrar NotImplementedError para PySparkNotImplementedError
• [FAÍSCA-43860] [SC-132713][SQL] Habilite a recursão de cauda sempre que possível
• [FAÍSCA-42421] [SC-132695][CORE] Use os utils para obter o switch para alocação dinâmica usado no ponto de verificação local
• [FAÍSCA-43590] [SC-132012][CONECTAR] Faça connect-jvm-client-mima-check para suportar mima check com protobuf módulo
• [FAÍSCA-43315] [13.x][CONECTAR][PYTHON][SS] Migrar erros restantes de DataFrame(Reader|Writer) em classe de erro
• [FAÍSCA-43361] [SC-130980][PROTOBUF] faísca-protobuf: permitir serde com enum como ints
• [FAÍSCA-43789] [SC-132397][R] Usa 'spark.sql.execution.arrow.maxRecordsPerBatch' em R createDataFrame com seta por padrão
• [FAÍSCA-43596] [SC-126994][SQL] Manipular predicado IsNull em rewriteDomainJoins
• [FAÍSCA-42249] [SC-122565][SQL] Refinando link html para documentação em mensagens de erro.
• [FAÍSCA-43128] [SC-131628][CONECTAR][SS] Tornar recentProgress e lastProgress retornar StreamingQueryProgress consistentes com a API Scala nativa
• [FAÍSCA-43387] [SC-130448][SQL] Forneça um código de erro legível por humanos para _LEGACY_ERROR_TEMP_1168.
• [FAÍSCA-43334] [SC-132358] [UI] Corrigir erro ao serializar ExecutorPeakMetricsDistributions na resposta da API
• [FAÍSCA-42958] [SC-131475][CONECTAR] Refatorar connect-jvm-client-mima-check para suportar a verificação mima com o módulo avro
• [FAÍSCA-43591] [SC-131977][SQL] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_0013
• [FAÍSCA-38464] [SC-132211][CORE] Usar classes de erro no org.apache.spark.io
• [FAÍSCA-43759] [SC-132189][SQL][PYTHON] Expor TimestampNTZType em pyspark.sql.types
• [FAÍSCA-43649] [SC-132036][FAÍSCA-43650][FAÍSCA-43651][SQL] Atribuir nomes à classe de erro _LEGACY_ERROR_TEMP_240[1-3]
• [FAÍSCA-43719] [SC-132016][WEBUI] Campo de alça missing row.excludedInStages
• [FAÍSCA-42956] [SC-127257][CONECTAR] Suporte avro funções para o cliente Scala
• [FAÍSCA-43487] [SC-131975][SQL] Corrigir mensagem de erro CTE aninhado
• [FAÍSCA-43265] [SC-129653] Mover a estrutura de erro para um módulo utils comum
• [FAÍSCA-40912] [SC-131547][CORE]Sobrecarga de exceções no KryoDeserializationStream
• [FAÍSCA-43583] [SC-131976][CORE] obter MergedBlockedMetaReqHandler do delegado em vez da instância SaslRpcHandler
• [FAÍSCA-42996] [SC-131997][CONECTAR][PS][ML] Crie e atribua tíquetes JIRA adequados para todos os testes com falha.
• [FAÍSCA-38469] [SC-131425][CORE] Usar classe de erro em org.apache.spark.network
• [FAÍSCA-43718] [SC-132014][SQL] Definir anulável corretamente para chaves em junções USING
• [FAÍSCA-43502] [SC-131419][PYTHON][CONECTAR] DataFrame.drop deve aceitar coluna vazia
• [FAÍSCA-43743] [SC-132038][SQL] Porta HIVE-12188 (DoAs não funciona corretamente em HS2 protegido não-kerberos)
• [FAÍSCA-43598] [SC-131929][SQL] Atribua um nome à classe de erro _LEGACY_ERROR_TEMP_2400
• [FAÍSCA-43138] [SC-131031][CORE] Corrigir ClassNotFoundException durante a migração
• [FAÍSCA-43360] [SC-131526][SS][CONECTAR] Cliente Scala StreamingQueryManager
• [FAÍSCA-38467] [SC-131025][CORE] Usar classes de erro em org.apache.spark.memory
• [FAÍSCA-43345] [SC-131790][FAÍSCA-43346][SQL] Renomeie as classes de erro LEGACY_ERROR_TEMP[0041|1206]
• [FAÍSCA-42815] [SC-126450][SQL] Expressão de atalho de suporte à eliminação de subexpressão
• [FAÍSCA-38462] [SC-130449][CORE] Adicionar classe de erro INTERNAL_ERROR_EXECUTOR
• [FAÍSCA-43589] [SC-131798][SQL] Correção cannotBroadcastTableOverMaxTableBytesError a usar bytesToString
• [FAÍSCA-43539] [SC-131830][SQL] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_0003
• [FAÍSCA-43157] [SC-131688][SQL] Clone InMemoryRelation plano armazenado em cache para impedir que o plano clonado faça referência aos mesmos objetos
• [FAÍSCA-43309] [SC-129746][FAÍSCA-38461][CORE] Estenda INTERNAL_ERROR com categorias e adicione classe de erro INTERNAL_ERROR_BROADCAST
• [FAÍSCA-43281] [SC-131370][SQL] Corrigir gravador simultâneo não atualiza métricas de arquivo
• [FAÍSCA-43383] [SC-130660][SQL] Adicionar rowCount estatísticas a LocalRelation
• [FAÍSCA-43574] [SC-131739][PYTHON][SQL] Suporte para definir executáveis Python para APIs de função UDF e pandas em trabalhadores durante o tempo de execução
• [FAÍSCA-43569] [SC-131694][SQL] Remover solução alternativa para HADOOP-14067
• [FAÍSCA-43183] [SC-128938][SS][13.x] Introduza um novo retorno de chamada "onQueryIdle" para StreamingQueryListener
• [FAÍSCA-43528] [SC-131531][SQL][PYTHON] Suporte a nomes de campos duplicados em createDataFrame com pandas DataFrame
• [FAÍSCA-43548] [SC-131686][SS] Remover solução alternativa para HADOOP-16255
• [FAÍSCA-43494] [SC-131272][CORE] Apelar replicate() diretamente em HdfsDataOutputStreamBuilder vez de refletir em SparkHadoopUtil#createFile
• [FAÍSCA-43471] [SC-131063][CORE] Manipular hadoopProperties e metricsProperties ausentes
• [FAÍSCA-42899] [SC-126456][SQL] Corrija DataFrame.to(esquema) para lidar com o caso em que há um campo aninhado não anulável em um campo anulável
• [FAÍSCA-43302] [SC-129747][SQL] Tornar Python UDAF uma AggregateFunction
• [FAÍSCA-43223] [SC-131270][Conectar] Digitado agg, reduzir funções, RelationalGroupedDataset#as
• [FAÍSCA-43482] [SC-131375][SS] Expanda QueryTerminatedEvent para conter a classe de erro se ela existir na exceção
• [FAÍSCA-43359] [SC-131463][SQL] Excluir da tabela do Hive deve lançar "UNSUPPORTED_FEATURE. TABLE_OPERATION"
• [FAÍSCA-43284] [SC-130313] Voltar para cadeias de caracteres codificadas por url
• [FAÍSCA-43492] [SC-131227][SQL] Adicione aliases DATE_ADD de função 3-args e DATE_DIFF
• [FAÍSCA-43473] [SC-131372][PYTHON] Suporte struct type em createDataFrame de pandas DataFrame
• [FAÍSCA-43386] [SC-131110][SQL] Melhorar a lista de colunas/atributos sugeridos na UNRESOLVED_COLUMN.WITH_SUGGESTION classe de erro
• [FAÍSCA-43443] [SC-131332][SQL] Adicionar referência para inferência de tipo de carimbo de data/hora ao usar valor inválido
• [FAÍSCA-43518] [SC-131420][SQL] Converter _LEGACY_ERROR_TEMP_2029 em INTERNAL_ERROR
• [FAÍSCA-42604] [SC-130648][CONECTAR] Implementar functions.typedlit
• [FAÍSCA-42323] [ES-669513] Reverter "[SC-123479][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_2332"
• [FAÍSCA-43357] [SC-130649][SQL] Filtrar data tipo data cotação
• [FAÍSCA-43410] [SC-130526][SQL] Melhore o loop vetorizado para skipValues embalados
• [FAÍSCA-43441] [SC-130995][CORE] makeDotNode não deve falhar quando DeterministicLevel está ausente
• [FAÍSCA-43324] [SC-130455][SQL] Manipular comandos UPDATE para fontes baseadas em delta
• [FAÍSCA-43272] [SC-131168][CORE] Ligar createFile diretamente em vez de refletir
• [FAÍSCA-43296] [13.x][SC-130627][CONECTAR][PYTHON] Migrar erros de sessão do Spark Connect para a classe de erro
• [FAÍSCA-43405] [SC-130987][SQL] Remover inútil getRowFormatSQL, inputRowFormatSQL, outputRowFormatSQL método
• [FAÍSCA-43447] [SC-131017][R] Suporte R 4.3.0
• [FAÍSCA-43425] [SC-130981][SQL] Adicionar TimestampNTZType a ColumnarBatchRow
• [FAÍSCA-41532] [SC-130523][CONECTAR][CLIENTE] Adicionar verificação para operações que envolvem vários quadros de dados
• [FAÍSCA-43262] [SC-129270][CONECTAR][SS][PYTHON] Migrar erros de streaming estruturado do Spark Connect para a classe de erro
• [FAÍSCA-42992] [13.x][SC-129465][PYTHON] Introduza PySparkRuntimeError
• [FAÍSCA-43422] [SC-130982][SQL] Manter tags em LogicalRelation com saída de metadados
• [FAÍSCA-43390] [SC-130646][SQL] O DSv2 permite que o CTAS/RTAS reserve a anulabilidade do esquema
• [FAÍSCA-43430] [SC-130989][CONECTAR][PROTO] ExecutePlanRequest suporta opções de solicitação arbitrária.
• [FAÍSCA-43313] [SC-130254][SQL] Adicionando valores DEFAULT de coluna ausentes para ações MERGE INSERT
• [FAÍSCA-42842] [SC-130438][SQL] Mesclar a classe de erro _LEGACY_ERROR_TEMP_2006 em REGEX_GROUP_INDEX
• [FAÍSCA-43377] [SC-130405][SQL] Ativar spark.sql.thriftServer.interruptOnCancel por padrão
• [FAÍSCA-43292] [SC-130525][CORE][CONECTAR] Mudar ExecutorClassLoader para o core módulo e simplificar Executor#addReplClassLoaderIfNeeded
• [FAÍSCA-43040] [SC-130310][SQL] Melhorar o suporte ao tipo TimestampNTZ na fonte de dados JDBC
• [FAÍSCA-43343] [SC-130629][SS] FileStreamSource deve desativar uma verificação glob de arquivo extra ao criar DataSource
• [FAÍSCA-43312] [SC-130294][PROTOBUF] Opção para converter quaisquer campos em JSON
• [FAÍSCA-43404] [SC-130586][SS] Ignore a reutilização do arquivo sst para a mesma versão do armazenamento de estado RocksDB para evitar erro de incompatibilidade de id
• [FAÍSCA-43397] [SC-130614][CORE] Duração de descomissionamento do executor de log no executorLost método
• [FAÍSCA-42388] [SC-128568][SQL] Evite leituras de rodapé de parquet duas vezes no leitor vetorizado
• [FAÍSCA-43306] [13.x][SC-130320][PYTHON] Migrar ValueError de tipos Spark SQL para classe de erro
• [FAÍSCA-43337] [SC-130353][UI][3.4] Os ícones de seta Asc/desc para a coluna de ordenação não são apresentados na coluna da tabela
• [FAÍSCA-43279] [SC-130351][CORE] Limpar membros não utilizados de SparkHadoopUtil
• [FAÍSCA-43250] [SC-130147][SQL] Substitua a classe _LEGACY_ERROR_TEMP_2014 de erro por um erro interno
• [FAÍSCA-43363] [SC-130299][SQL][PYTHON] Fazer chamada para astype o tipo de categoria somente quando o tipo de seta não é fornecido
• [FAÍSCA-43261] [SC-130154][PYTHON] Migrar TypeError de tipos Spark SQL para classe de erro
• [FAÍSCA-41971] [SC-130230][SQL][PYTHON] Adicionar uma configuração para conversão de pandas como lidar com tipos struct
• [FAÍSCA-43381] [SC-130464][CONECTAR] Faça o 'transformStatCov' preguiçoso
• [FAÍSCA-43362] [SC-130481][SQL] Tratamento especial do tipo JSON para o conector MySQL
• [FAÍSCA-42843] [SC-130196][SQL] Atualize a classe de erro _LEGACY_ERROR_TEMP_2007 para REGEX_GROUP_INDEX
• [FAÍSCA-42585] [SC-129968][CONECTAR] Transmissão das relações locais
• [FAÍSCA-43181] [SC-130476][SQL] Mostrar URL da interface do usuário no spark-sql shell
• [FAÍSCA-43051] [SC-130194][CONECTAR] Adicionar opção para emitir valores padrão
• [FAÍSCA-43204] [SC-129296][SQL] Alinhar atribuições MERGE com atributos de tabela
• [FAÍSCA-43348] [SC-130082][PYTHON] Suporte Python 3.8 em PyPy3
• [FAÍSCA-42845] [SC-130078][SQL] Atualize a classe de erro _LEGACY_ERROR_TEMP_2010 para InternalError
• [FAÍSCA-43211] [SC-128978][VIH] Remover o suporte a Hadoop2 em IsolatedClientLoader

Ambiente do sistema

• Sistema Operacional: Ubuntu 22.04.2 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Escala: 2.12.15
• Píton: 3.10.12
• R: 4.2.2
• Lago Delta: 2.4.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo da CRAN da Microsoft em 2023-02-10.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)