Tempo de execução do Databricks 12.1 (EoS)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 12.1, alimentado pelo Apache Spark 3.3.1.

A Databricks lançou esta versão em janeiro de 2023.

Novos recursos e melhorias

• Recursos de tabela Delta Lake suportados para gerenciamento de protocolo
• A E/S preditiva para atualizações está em pré-visualização pública
• O Catalog Explorer já está disponível para todas as personas
• Suporte para vários operadores com monitoração de estado em uma única consulta de streaming
• O suporte para buffers de protocolo está em Visualização Pública
• Suporte para autenticação do Registro de Esquema Confluente
• Suporte para compartilhar o histórico da tabela com compartilhamentos Delta Sharing
• Suporte para streaming com compartilhamentos Delta Sharing
• Versão da tabela usando carimbo de data/hora agora suportada para tabelas Delta Sharing em catálogos
• Suporte para QUANDO NÃO CORRESPONDIDO PELA ORIGEM para MESCLAR EM
• Recolha de estatísticas otimizada para CONVERT TO DELTA
• Suporte do Unity Catalog para undrop tables

Recursos de tabela Delta Lake suportados para gerenciamento de protocolo

O Azure Databricks introduziu suporte para recursos de tabela Delta Lake, que introduzem sinalizadores granulares especificando quais recursos são suportados por uma determinada tabela. Consulte Como o Azure Databricks gere a compatibilidade de funcionalidades do Delta Lake?.

A E/S preditiva para atualizações está em pré-visualização pública

A E/S preditiva agora acelera DELETE, MERGEe UPDATE as operações para tabelas Delta com vetores de exclusão habilitados na computação habilitada para Photon. Consulte O que é E/S preditiva?.

O Catalog Explorer já está disponível para todas as personas

O Catalog Explorer agora está disponível para todas as personas do Azure Databricks ao usar o Databricks Runtime 7.3 LTS e superior.

Suporte para vários operadores com monitoração de estado em uma única consulta de streaming

Os usuários agora podem encadear operadores com estado com o modo de acréscimo na consulta de streaming. Nem todos os operadores são totalmente suportados. O intervalo de tempo de fluxo de fluxo une-se e flatMapGroupsWithState não permite que outros operadores com estado sejam encadeados.

O suporte para buffers de protocolo está em Visualização Pública

Você pode usar as from_protobuf funções e to_protobuf para trocar dados entre os tipos binário e struct. Consulte Buffers de protocolo de leitura e gravação.

Suporte para autenticação do Registro de Esquema Confluente

A integração do Azure Databricks com o Confluent Schema Registry agora oferece suporte a endereços de registro de esquema externos com autenticação. Este recurso está disponível para from_avro, to_avro, from_protobufe to_protobuf funções. Veja Protobuf ou Avro.

Suporte para compartilhar o histórico da tabela com compartilhamentos Delta Sharing

Agora você pode compartilhar uma tabela com histórico completo usando o Compartilhamento Delta, permitindo que os destinatários realizem consultas de viagem no tempo e consultem a tabela usando o Spark Structured Streaming. WITH HISTORY é recomendado em vez de , embora este último continue a ser apoiado CHANGE DATA FEED. Consulte ALTER SHARE e Adicionar tabelas a uma partilha.

Suporte para streaming com compartilhamentos Delta Sharing

O Spark Structured Streaming agora funciona com o formato deltasharing em uma tabela de compartilhamento delta de origem que foi compartilhada usando WITH HISTORYo .

Versão da tabela usando carimbo de data/hora agora suportada para tabelas Delta Sharing em catálogos

Agora você pode usar a sintaxe TIMESTAMP AS OF SQL em SELECT instruções para especificar a versão de uma tabela de Compartilhamento Delta montada em um catálogo. As tabelas devem ser compartilhadas usando WITH HISTORY.

Suporte para QUANDO NÃO CORRESPONDIDO PELA ORIGEM para MESCLAR EM

Agora você pode adicionar WHEN NOT MATCHED BY SOURCE cláusulas para MERGE INTO atualizar ou excluir linhas na tabela escolhida que não tenham correspondências na tabela de origem com base na condição de mesclagem. A nova cláusula está disponível em SQL, Python, Scala e Java. Consulte MERGE INTO.

Recolha de estatísticas otimizada para CONVERT TO DELTA

A recolha de estatísticas para a CONVERT TO DELTA operação é agora muito mais rápida. Isso reduz o número de cargas de trabalho que podem ser usadas NO STATISTICS para eficiência.

Suporte do Unity Catalog para undrop tables

Este recurso foi inicialmente lançado no Public Preview. É GA a partir de 25 de outubro de 2023.

Agora você pode descartar uma tabela gerenciada ou externa descartada em um esquema existente dentro de sete dias após a queda. Consulte UNDROP TABLE e SHOW TABLES DROPPED.

Atualizações da biblioteca

• Bibliotecas Python atualizadas:
  • filelock de 3.8.0 a 3.8.2
  • platformdirs de 2.5.4 a 2.6.0
  • setuptools de 58.0.4 a 61.2.0
• Bibliotecas R atualizadas:
• Bibliotecas Java atualizadas:
  • io.delta.delta-sharing-spark_2.12 de 0.5.2 a 0.6.2
  • org.apache.hive.hive-storage-api de 2.7.2 a 2.8.1
  • org.apache.parquet.parquet-coluna de 1.12.3-databricks-0001 a 1.12.3-databricks-0002
  • org.apache.parquet.parquet-comum de 1.12.3-databricks-0001 a 1.12.3-databricks-0002
  • org.apache.parquet.parquet-codificação de 1.12.3-databricks-0001 a 1.12.3-databricks-0002
  • org.apache.parquet.parquet-format-structures de 1.12.3-databricks-0001 a 1.12.3-databricks-0002
  • org.apache.parquet.parquet-hadoop de 1.12.3-databricks-0001 a 1.12.3-databricks-0002
  • org.apache.parquet.parquet-jackson de 1.12.3-databricks-0001 a 1.12.3-databricks-0002
  • org.tukaani.xz de 1.8 a 1.9

Faísca Apache

O Databricks Runtime 12.1 inclui o Apache Spark 3.3.1. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 12.0 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• [FAÍSCA-41405] [SC-119769][12.1.0] Reverter "[SC-119411][SQL] Centralizar a lógica de resolução de colunas" e "[SC-117170][SPARK-41338][SQL] Resolver referências externas e colunas normais no mesmo lote do analisador"
• [FAÍSCA-41405] [SC-119411][SQL] Centralizar a lógica de resolução da coluna
• [FAÍSCA-41859] [SC-119514][SQL] CreateHiveTableAsSelectCommand deve definir o sinalizador de substituição corretamente
• [FAÍSCA-41659] [SC-119526][CONECTAR][12.X] Ativar doctests em pyspark.sql.connect.readwriter
• [FAÍSCA-41858] [SC-119427][SQL] Corrigir regressão perf do leitor ORC devido ao recurso de valor DEFAULT
• [FAÍSCA-41807] [SC-119399][CORE] Remova a classe de erro inexistente: UNSUPPORTED_FEATURE. DISTRIBUTE_BY
• [FAÍSCA-41578] [12.x][SC-119273][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_2141
• [FAÍSCA-41571] [SC-119362][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_2310
• [FAÍSCA-41810] [SC-119373][CONECTAR] Inferir nomes de uma lista de dicionários em SparkSession.createDataFrame
• [FAÍSCA-40993] [SC-119504][FAÍSCA-41705][CONECTAR][12.X] Mova a documentação e o script do Spark Connect para a documentação dev/ e Python
• [FAÍSCA-41534] [SC-119456][CONECTAR][SQL][12.x] Configurar o módulo de cliente inicial para o Spark Connect
• [FAÍSCA-41365] [SC-118498][UI][3.3] A página Stages UI não é carregada para proxy em ambiente de fio específico
• [FAÍSCA-41481] [SC-118150][CORE][SQL] Reutilizar INVALID_TYPED_LITERAL em vez de _LEGACY_ERROR_TEMP_0020
• [FAÍSCA-41049] [SC-119305][SQL] Revisitar a manipulação de expressões com monitoração de estado
• [FAÍSCA-41726] [SC-119248][SQL] Remover OptimizedCreateHiveTableAsSelectCommand
• [FAÍSCA-41271] [SC-118648][SC-118348][SQL] Suporte a consultas SQL parametrizadas por sql()
• [FAÍSCA-41066] [SC-119344][CONECTAR][PYTHON] Implementar DataFrame.sampleBy e DataFrame.stat.sampleBy
• [FAÍSCA-41407] [SC-119402][SC-119012][SQL][TODOS OS TESTES] Extrair v1 gravar em WriteFiles
• [FAÍSCA-41565] [SC-118868][SQL] Adicionar a classe de erro UNRESOLVED_ROUTINE
• [FAÍSCA-41668] [SC-118925][SQL] A função DECODE retorna resultados errados quando passado NULL
• [FAÍSCA-41554] [SC-119274] corrigir a mudança da escala decimal quando a escala diminuiu em m...
• [FAÍSCA-41065] [SC-119324][CONECTAR][PYTHON] Implementar DataFrame.freqItems e DataFrame.stat.freqItems
• [FAÍSCA-41742] [SC-119404][FAÍSCA-41745][CONECTAR][12.X] Reativar testes de documentos e adicionar alias de coluna ausente para count()
• [FAÍSCA-41069] [SC-119310][CONECTAR][PYTHON] Implementar DataFrame.approxQuantile e DataFrame.stat.approxQuantile
• [FAÍSCA-41809] [SC-119367][CONECTAR][PYTHON] Tornar a função from_json suporte DataType Schema
• [FAÍSCA-41804] [SC-119382][SQL] Escolha o tamanho correto do elemento para InterpretedUnsafeProjection a matriz de UDTs
• [FAÍSCA-41786] [SC-119308][CONECTAR][PYTHON] Eliminar a duplicação de funções auxiliares
• [FAÍSCA-41745] [SC-119378][FAÍSCA-41789][12.X] Criar createDataFrame lista de suporte de Linhas
• [FAÍSCA-41344] [SC-119217][SQL] Tornar o erro mais claro quando a tabela não for encontrada no catálogo SupportsCatalogOptions
• [FAÍSCA-41803] [SC-119380][CONECTAR][PYTHON] Adicionar função em falta log(arg1, arg2)
• [FAÍSCA-41808] [SC-119356][CONECTAR][PYTHON] Tornar as funções JSON opções de suporte
• [FAÍSCA-41779] [SC-119275][FAÍSCA-41771][CONECTAR][PYTHON] Faça __getitem__ o filtro de suporte e selecione
• [FAÍSCA-41783] [SC-119288][FAÍSCA-41770][CONECTAR][PYTHON] Fazer coluna op suporte Nenhum
• [FAÍSCA-41440] [SC-119279][CONECTAR][PYTHON] Evite o operador de cache para Sample geral.
• [FAÍSCA-41785] [SC-119290][CONECTAR][PYTHON] Implementar GroupedData.mean
• [FAÍSCA-41629] [SC-119276][CONECTAR] Suporte para extensões de protocolo em relação e expressão
• [FAÍSCA-41417] [SC-118000][CORE][SQL] Renomear _LEGACY_ERROR_TEMP_0019 para INVALID_TYPED_LITERAL
• [FAÍSCA-41533] [SC-119342][CONECTAR][12.X] Tratamento adequado de erros para o Spark Connect Server / Client
• [FAÍSCA-41292] [SC-119357][CONECTAR][12.X] Janela de suporte no namespace pyspark.sql.window
• [FAÍSCA-41493] [SC-119339][CONECTAR][PYTHON] Tornar as funções csv opções de suporte
• [FAÍSCA-39591] [SC-118675][SS] Acompanhamento assíncrono do progresso
• [FAÍSCA-41767] [SC-119337][CONECTAR][PYTHON][12.X] Implementar Column.{withField, dropFields}
• [FAÍSCA-41068] [SC-119268][CONECTAR][PYTHON] Implementar DataFrame.stat.corr
• [FAÍSCA-41655] [SC-119323][CONECTAR][12.X] Ativar doctests em pyspark.sql.connect.column
• [FAÍSCA-41738] [SC-119170][CONECTAR] Misture ClientId no cache do SparkSession
• [FAÍSCA-41354] [SC-119194][CONECTAR] Adicionar RepartitionByExpression ao proto
• [FAÍSCA-41784] [SC-119289][CONECTAR][PYTHON] Adicionar ausente __rmod__ na coluna
• [FAÍSCA-41778] [SC-119262][SQL] Adicionar um alias "reduce" a ArrayAggregate
• [FAÍSCA-41067] [SC-119171][CONECTAR][PYTHON] Implementar DataFrame.stat.cov
• [FAÍSCA-41764] [SC-119216][CONECTAR][PYTHON] Torne o nome da operação de cadeia de caracteres interna consistente com FunctionRegistry
• [FAÍSCA-41734] [SC-119160][CONECTAR] Adicionar uma mensagem pai para o Catálogo
• [FAÍSCA-41742] [SC-119263] Suporte df.groupBy().agg({"*":"count"})
• [FAÍSCA-41761] [SC-119213][CONECTAR][PYTHON] Corrigir operações aritméticas: __neg__, __pow__, __rpow__
• [FAÍSCA-41062] [SC-118182][SQL] Renomear UNSUPPORTED_CORRELATED_REFERENCE para CORRELATED_REFERENCE
• [FAÍSCA-41751] [SC-119211][CONECTAR][PYTHON] Corrigir Column.{isNull, isNotNull, eqNullSafe}
• [FAÍSCA-41728] [SC-119164][CONECTAR][PYTHON][12.X] Implementar unwrap_udt função
• [FAÍSCA-41333] [SC-119195][FAÍSCA-41737] Implementar GroupedData.{min, max, avg, sum}
• [FAÍSCA-41751] [SC-119206][CONECTAR][PYTHON] Corrigir Column.{bitwiseAND, bitwiseOR, bitwiseXOR}
• [FAÍSCA-41631] [SC-101081][SQL] Suporte à resolução implícita de alias de coluna lateral no Aggregate
• [FAÍSCA-41529] [SC-119207][CONECTAR][12.X] Implementar SparkSession.stop
• [FAÍSCA-41729] [SC-119205][CORE][SQL][12.X] Renomear _LEGACY_ERROR_TEMP_0011 para UNSUPPORTED_FEATURE.COMBINATION_QUERY_RESULT_CLAUSES
• [FAÍSCA-41717] [SC-119078][CONECTAR][12.X] Eliminar a duplicação de impressão e repr_html na LogicalPlan
• [FAÍSCA-41740] [SC-119169][CONECTAR][PYTHON] Implementar Column.name
• [FAÍSCA-41733] [SC-119163][SQL][SS] Aplicar poda baseada em padrão de árvore para a regra ResolveWindowTime
• [FAÍSCA-41732] [SC-119157][SQL][SS] Aplicar poda baseada em padrão de árvore para a regra SessionWindowing
• [FAÍSCA-41498] [SC-119018] Propagar metadados através da União
• [FAÍSCA-41731] [SC-119166][CONECTAR][PYTHON][12.X] Implementar o acessador de coluna
• [FAÍSCA-41736] [SC-119161][CONECTAR][PYTHON] pyspark_types_to_proto_types deve apoiar ArrayType
• [FAÍSCA-41473] [SC-119092][CONECTAR][PYTHON] Implementar format_number função
• [FAÍSCA-41707] [SC-119141][CONECTAR][12.X] Implementar a API de catálogo no Spark Connect
• [FAÍSCA-41710] [SC-119062][CONECTAR][PYTHON] Implementar Column.between
• [FAÍSCA-41235] [SC-119088][SQL][PYTHON]Função de alta ordem: array_compact implementação
• [FAÍSCA-41518] [SC-118453][SQL] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_2422
• [FAÍSCA-41723] [SC-119091][CONECTAR][PYTHON] Implementar sequence função
• [FAÍSCA-41703] [SC-119060][CONECTAR][PYTHON] Combine NullType e typed_null em literal
• [FAÍSCA-41722] [SC-119090][CONECTAR][PYTHON] Implementar 3 funções de janela de tempo ausentes
• [FAÍSCA-41503] [SC-119043][CONECTAR][PYTHON] Implementar funções de transformação de partição
• [FAÍSCA-41413] [SC-118968][SQL] Evite embaralhar em Junção particionada de armazenamento quando as chaves de partição não corresponderem, mas as expressões de junção são compatíveis
• [FAÍSCA-41700] [SC-119046][CONECTAR][PYTHON] Remover FunctionBuilder
• [FAÍSCA-41706] [SC-119094][CONECTAR][PYTHON] pyspark_types_to_proto_types deve apoiar MapType
• [FAÍSCA-41702] [SC-119049][CONECTAR][PYTHON] Adicionar operações de coluna inválidas
• [FAÍSCA-41660] [SC-118866][SQL] Propagar colunas de metadados somente se elas forem usadas
• [FAÍSCA-41637] [SC-119003][SQL] ENCOMENDAR POR TODOS
• [FAÍSCA-41513] [SC-118945][SQL] Implementar um acumulador para coletar métricas de contagem de linhas por mapeador
• [FAÍSCA-41647] [SC-119064][CONECTAR][12.X] Eliminar a duplicação de docstrings em pyspark.sql.connect.functions
• [FAÍSCA-41701] [SC-119048][CONECTAR][PYTHON] Fazer suporte a operações de coluna decimal
• [FAÍSCA-41383] [SC-119015][FAÍSCA-41692][FAÍSCA-41693] Implementar rollup, cube e pivot
• [FAÍSCA-41635] [SC-118944][SQL] GRUPO POR TODOS
• [FAÍSCA-41645] [SC-119057][CONECTAR][12.X] Eliminar a duplicação de docstrings no pyspark.sql.connect.dataframe
• [FAÍSCA-41688] [SC-118951][CONECTAR][PYTHON] Mover expressões para expressions.py
• [FAÍSCA-41687] [SC-118949][CONECTAR] Eliminar a duplicação de docstrings em pyspark.sql.connect.group
• [FAÍSCA-41649] [SC-118950][CONECTAR] Eliminar a duplicação de docstrings em pyspark.sql.connect.window
• [FAÍSCA-41681] [SC-118939][CONECTAR] Fator GroupedData para group.py
• [FAÍSCA-41292] [SC-119038][FAÍSCA-41640][FAÍSCA-41641][CONECTAR][PYTHON][12.X] Implementar Window funções
• [FAÍSCA-41675] [SC-119031][SC-118934][CONECTAR][PYTHON][12.X] Fazer suporte à operação de coluna datetime
• [FAÍSCA-41672] [SC-118929][CONECTAR][PYTHON] Ativar as funções preteridas
• [FAÍSCA-41673] [SC-118932][CONECTAR][PYTHON] Implementar Column.astype
• [FAÍSCA-41364] [SC-118865][CONECTAR][PYTHON] Implementar broadcast função
• [FAÍSCA-41648] [SC-118914][CONECTAR][12.X] Eliminar a duplicação de docstrings no pyspark.sql.connect.readwriter
• [FAÍSCA-41646] [SC-118915][CONECTAR][12.X] Eliminar a duplicação de docstrings no pyspark.sql.connect.session
• [FAÍSCA-41643] [SC-118862][CONECTAR][12.X] Eliminar a duplicação de docstrings em pyspark.sql.connect.column
• [FAÍSCA-41663] [SC-118936][CONECTAR][PYTHON][12.X] Implementar o restante das funções do Lambda
• [FAÍSCA-41441] [SC-118557][SQL] Suporte Gerar sem saída filho necessária para hospedar referências externas
• [FAÍSCA-41669] [SC-118923][SQL] Poda antecipada em canCollapseExpressions
• [FAÍSCA-41639] [SC-118927][SQL][PROTOBUF] : Remover ScalaReflectionLock de SchemaConverters
• [FAÍSCA-41464] [SC-118861][CONECTAR][PYTHON] Implementar DataFrame.to
• [FAÍSCA-41434] [SC-118857][CONECTAR][PYTHON] Execução inicial LambdaFunction
• [FAÍSCA-41539] [SC-118802][SQL] Remapear estatísticas e restrições em relação à saída no plano lógico para LogicalRDD
• [FAÍSCA-41396] [SC-118786][SQL][PROTOBUF] OneOf suporte de campo e verificações de recursão
• [FAÍSCA-41528] [SC-118769][CONECTAR][12.X] Mesclar namespace do Spark Connect e da API do PySpark
• [FAÍSCA-41568] [SC-118715][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_1236
• [FAÍSCA-41440] [SC-118788][CONECTAR][PYTHON] Implementar DataFrame.randomSplit
• [FAÍSCA-41583] [SC-118718][SC-118642][CONECTAR][PROTOBUF] Adicione o Spark Connect e o protobuf ao setup.py com a especificação de dependências
• [FAÍSCA-27561] [SC-101081][12.x][SQL] Suporte à resolução implícita de alias de coluna lateral no Project
• [FAÍSCA-41535] [SC-118645][SQL] Definir null corretamente para campos de intervalo de calendário em InterpretedUnsafeProjection e InterpretedMutableProjection
• [FAÍSCA-40687] [SC-118439][SQL] Suporte de mascaramento de dados built-in função 'máscara'
• [FAÍSCA-41520] [SC-118440][SQL] Divida AND_OR TreePattern para separar E e OU TreePatterns
• [FAÍSCA-41349] [SC-118668][CONECTAR][PYTHON] Implementar DataFrame.hint
• [FAÍSCA-41546] [SC-118541][CONECTAR][PYTHON] pyspark_types_to_proto_types deve suportar StructType.
• [FAÍSCA-41334] [SC-118549][CONECTAR][PYTHON] Mover SortOrder proto de relações para expressões
• [FAÍSCA-41387] [SC-118450][SS] Afirmar o deslocamento final atual da fonte de dados Kafka para Trigger.AvailableNow
• [FAÍSCA-41508] [SC-118445][CORE][SQL] Renomear _LEGACY_ERROR_TEMP_1180 e UNEXPECTED_INPUT_TYPE remover _LEGACY_ERROR_TEMP_1179
• [FAÍSCA-41319] [SC-118441][CONECTAR][PYTHON] Coluna Implementar. {quando, caso contrário} e Função when com UnresolvedFunction
• [FAÍSCA-41541] [SC-118460][SQL] Corrigir chamada para método filho errado em SQLShuffleWriteMetricsReporter.decRecordsWritten()
• [FAÍSCA-41453] [SC-118458][CONECTAR][PYTHON] Implementar DataFrame.subtract
• [FAÍSCA-41248] [SC-118436][SC-118303][SQL] Adicione "spark.sql.json.enablePartialResults" para ativar/desativar resultados parciais JSON
• [FAÍSCA-41437] Revert "[SC-117601][SQL] Não otimize o inputquery duas vezes para fallback de gravação v1"
• [FAÍSCA-41472] [SC-118352][CONECTAR][PYTHON] Implementar o resto das funções string/binárias
• [FAÍSCA-41526] [SC-118355][CONECTAR][PYTHON] Implementar Column.isin
• [FAÍSCA-32170] [SC-118384] [CORE] Melhore a especulação através das métricas da tarefa de palco.
• [FAÍSCA-41524] [SC-118399][SS] Diferencie SQLConf e extraOptions em StateStoreConf para seu uso em RocksDBConf
• [FAÍSCA-41465] [SC-118381][SQL] Atribua um nome à classe de erro _LEGACY_ERROR_TEMP_1235
• [FAÍSCA-41511] [SC-118365][SQL] O suporte LongToUnsafeRowMap ignora DuplicatedKey
• [FAÍSCA-41409] [SC-118302][CORE][SQL] Renomear _LEGACY_ERROR_TEMP_1043 para WRONG_NUM_ARGS.WITHOUT_SUGGESTION
• [FAÍSCA-41438] [SC-118344][CONECTAR][PYTHON] Implementar DataFrame.colRegex
• [FAÍSCA-41437] [SC-117601][SQL] Não otimize a consulta de entrada duas vezes para fallback de gravação v1
• [FAÍSCA-41314] [SC-117172][SQL] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_1094
• [FAÍSCA-41443] [SC-118004][SQL] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_1061
• [FAÍSCA-41506] [SC-118241][CONECTAR][PYTHON] Refatore LiteralExpression para suportar DataType
• [FAÍSCA-41448] [SC-118046] Crie IDs de trabalho MR consistentes em FileBatchWriter e FileFormatWriter
• [FAÍSCA-41456] [SC-117970][SQL] Melhorar o desempenho de try_cast
• [FAÍSCA-41495] [SC-118125][CONECTAR][PYTHON] Implementar collection funções: P ~ Z
• [FAÍSCA-41478] [SC-118167][SQL] Atribua um nome à classe de erro _LEGACY_ERROR_TEMP_1234
• [FAÍSCA-41406] [SC-118161][SQL] Mensagem NUM_COLUMNS_MISMATCH de erro refatorar para torná-lo mais genérico
• [FAÍSCA-41404] [SC-118016][SQL] Refatorar ColumnVectorUtils#toBatch para tornar ColumnarBatchSuite#testRandomRows o teste mais primitivo dataType
• [FAÍSCA-41468] [SC-118044][SQL] Corrigir a manipulação de PlanExpression em EquivalentExpressions
• [FAÍSCA-40775] [SC-118045][SQL] Corrigir entradas de descrição duplicadas para verificações de arquivos V2
• [FAÍSCA-41492] [SC-118042][CONECTAR][PYTHON] Implementar funções MISC
• [FAÍSCA-41459] [SC-118005][SQL] fix thrift server operation log output is empty
• [FAÍSCA-41395] [SC-117899][SQL] InterpretedMutableProjection deve usar setDecimal para definir valores nulos para decimais em uma linha não segura
• [FAÍSCA-41376] [SC-117840][CORE][3.3] Corrija a lógica de verificação Netty preferDirectBufs no início do executor
• [FAÍSCA-41484] [SC-118159][SC-118036][CONECTAR][PYTHON][12.x] Implementar collection funções: E~M
• [FAÍSCA-41389] [SC-117426][CORE][SQL] Reutilizar WRONG_NUM_ARGS em vez de _LEGACY_ERROR_TEMP_1044
• [FAÍSCA-41462] [SC-117920][SQL] O tipo de carimbo de data e hora pode ser convertido para TimestampNTZ
• [FAÍSCA-41435] [SC-117810][SQL] Alterar para chamar invalidFunctionArgumentsError curdate() quando expressions não estiver vazio
• [FAÍSCA-41187] [SC-118030][CORE] LiveExecutor MemoryLeak em AppStatusListener quando ExecutorLost acontecer
• [FAÍSCA-41360] [SC-118083][CORE] Evite o novo registro do BlockManager se o executor tiver sido perdido
• [FAÍSCA-41378] [SC-117686][SQL] Estatísticas de coluna de suporte no DS v2
• [FAÍSCA-41402] [SC-117910][SQL][CONECTAR][12.X] Substituir prettyName de StringDecode
• [FAÍSCA-41414] [SC-118041][CONECTAR][PYTHON][12.x] Implementar funções de carimbo de data/hora
• [FAÍSCA-41329] [SC-117975][CONECTAR] Resolver importações circulares no Spark Connect
• [FAÍSCA-41477] [SC-118025][CONECTAR][PYTHON] Inferir corretamente o tipo de dados de inteiros literais
• [FAÍSCA-41446] [SC-118024][CONECTAR][PYTHON][12.x] Crie createDataFrame esquemas de suporte e mais tipos de conjuntos de dados de entrada
• [FAÍSCA-41475] [SC-117997][CONECTAR] Corrigir erro de comando lint-scala e erro de digitação
• [FAÍSCA-38277] [SC-117799][SS] Limpar lote de gravação após a confirmação do armazenamento de estado do RocksDB
• [FAÍSCA-41375] [SC-117801][SS] Evite o KafkaSourceOffset mais recente vazio
• [FAÍSCA-41412] [SC-118015][CONECTAR] Implementar Column.cast
• [FAÍSCA-41439] [SC-117893][CONECTAR][PYTHON] Implementar DataFrame.melt e DataFrame.unpivot
• [FAÍSCA-41399] [SC-118007][SC-117474][CONECTAR] Testes relacionados à coluna de refatoração para test_connect_column
• [FAÍSCA-41351] [SC-117957][SC-117412][CONECTAR][12.x] A coluna deve suportar != operador
• [FAÍSCA-40697] [SC-117806][SC-112787][SQL] Adicionar preenchimento de caracteres do lado de leitura para cobrir arquivos de dados externos
• [FAÍSCA-41349] [SC-117594][CONECTAR][12.X] Implementar DataFrame.hint
• [FAÍSCA-41338] [SC-117170][SQL] Resolver referências externas e colunas normais no mesmo lote do analisador
• [FAÍSCA-41436] [SC-117805][CONECTAR][PYTHON] Implementar collection funções: A~C
• [FAÍSCA-41445] [SC-117802][CONECTAR] Implementar DataFrameReader.parquet
• [FAÍSCA-41452] [SC-117865][SQL] to_char deve retornar null quando format for null
• [FAÍSCA-41444] [SC-117796][CONECTAR] Suporte read.json()
• [FAÍSCA-41398] [SC-117508][SQL] Relaxe as restrições na junção particionada de armazenamento quando as chaves de partição após a filtragem de tempo de execução não corresponderem
• [FAÍSCA-41228] [SC-117169][SQL] Renomear & Melhorar mensagem de erro para COLUMN_NOT_IN_GROUP_BY_CLAUSE.
• [FAÍSCA-41381] [SC-117593][CONECTAR][PYTHON] Implementação count_distinct e sum_distinct funções
• [FAÍSCA-41433] [SC-117596][CONECTAR] Torne o Max Arrow BatchSize configurável
• [FAÍSCA-41397] [SC-117590][CONECTAR][PYTHON] Implementar parte de funções string/binárias
• [FAÍSCA-41382] [SC-117588][CONECTAR][PYTHON] Implementar product função
• [FAÍSCA-41403] [SC-117595][CONECTAR][PYTHON] Implementar DataFrame.describe
• [FAÍSCA-41366] [SC-117580][CONECTAR] DF.groupby.agg() deve ser compatível
• [FAÍSCA-41369] [SC-117584][CONECTAR] Adicionar conexão comum ao jar sombreado dos servidores
• [FAÍSCA-41411] [SC-117562][SS] Correção de bug de suporte a marca d'água de operador com vários estados
• [FAÍSCA-41176] [SC-116630][SQL] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_1042
• [FAÍSCA-41380] [SC-117476][CONECTAR][PYTHON][12.X] Implementar funções de agregação
• [FAÍSCA-41363] [SC-117470][CONECTAR][PYTHON][12.X] Implementar funções normais
• [FAÍSCA-41305] [SC-117411][CONECTAR] Melhorar a documentação para o proto de comando
• [FAÍSCA-41372] [SC-117427][CONECTAR][PYTHON] Implementar DataFrame TempView
• [FAÍSCA-41379] [SC-117420][SS][PYTHON] Fornecer sessão de faísca clonada no DataFrame na função de usuário para o coletor foreachBatch no PySpark
• [FAÍSCA-41373] [SC-117405][SQL][ERRO] Renomear CAST_WITH_FUN_SUGGESTION para CAST_WITH_FUNC_SUGGESTION
• [FAÍSCA-41358] [SC-117417][SQL] Método de refatoração ColumnVectorUtils#populate a ser usado PhysicalDataType em vez de DataType
• [FAÍSCA-41355] [SC-117423][SQL] Solução alternativa problema de validação de nome de tabela de hive
• [FAÍSCA-41390] [SC-117429][SQL] Atualize o script usado para gerar register a função em UDFRegistration
• [FAÍSCA-41206] [SC-117233][SC-116381][SQL] Renomeie a classe _LEGACY_ERROR_TEMP_1233 de erro para COLUMN_ALREADY_EXISTS
• [FAÍSCA-41357] [SC-117310][CONECTAR][PYTHON][12.X] Implementar funções matemáticas
• [FAÍSCA-40970] [SC-117308][CONECTAR][PYTHON] Lista de suporte[Coluna] para Junções no argumento
• [FAÍSCA-41345] [SC-117178][CONECTAR] Adicionar dica ao Connect Proto
• [FAÍSCA-41226] [SC-117194][SQL][12.x] Refatorar tipos de faísca introduzindo tipos físicos
• [FAÍSCA-41317] [SC-116902][CONECTAR][PYTHON][12.X] Adicionar suporte básico para DataFrameWriter
• [FAÍSCA-41347] [SC-117173][CONECTAR] Adicionar Cast ao proto de Expressão
• [FAÍSCA-41323] [SC-117128][SQL] Suporte current_schema
• [FAÍSCA-41339] [SC-117171][SQL] Feche e recrie o lote de gravação do RocksDB em vez de apenas limpar
• [FAÍSCA-41227] [SC-117165][CONECTAR][PYTHON] Implementar junção cruzada de DataFrame
• [FAÍSCA-41346] [SC-117176][CONECTAR][PYTHON] Implementação asc e desc funções
• [FAÍSCA-41343] [SC-117166][CONECTAR] Mover a análise FunctionName para o lado do servidor
• [FAÍSCA-41321] [SC-117163][CONECTAR] Campo de destino de suporte para UnresolvedStar
• [FAÍSCA-41237] [SC-117167][SQL] Reutilize a classe UNSUPPORTED_DATATYPE de erro para _LEGACY_ERROR_TEMP_0030
• [FAÍSCA-41309] [SC-116916][SQL] Reutilizar INVALID_SCHEMA.NON_STRING_LITERAL em vez de _LEGACY_ERROR_TEMP_1093
• [FAÍSCA-41276] [SC-117136][SQL][ML][MLLIB][PROTOBUF][PYTHON][R][SS][AVRO] Otimize o uso do construtor de StructType
• [FAÍSCA-41335] [SC-117135][CONECTAR][PYTHON] Suporte IsNull e IsNotNull na coluna
• [FAÍSCA-41332] [SC-117131][CONECTAR][PYTHON] Corrigir nullOrdering em SortOrder
• [FAÍSCA-41325] [SC-117132][CONECTAR][12.X] Corrigir avg() ausente para GroupBy no DF
• [FAÍSCA-41327] [SC-117137][CORE] Corrigir SparkStatusTracker.getExecutorInfos por interruptor On/OffHeapStorageMemory informações
• [FAÍSCA-41315] [SC-117129][CONECTAR][PYTHON] Implementar DataFrame.replace e DataFrame.na.replace
• [FAÍSCA-41328] [SC-117125][CONECTAR][PYTHON] Adicionar API lógica e de cadeia de caracteres à coluna
• [FAÍSCA-41331] [SC-117127][CONECTAR][PYTHON] Adicionar orderBy e drop_duplicates
• [FAÍSCA-40987] [SC-117124][CORE] BlockManager#removeBlockInternal deve garantir que a fechadura está desbloqueada graciosamente
• [FAÍSCA-41268] [SC-117102][SC-116970][CONECTAR][PYTHON] Refatore "Coluna" para compatibilidade com API
• [FAÍSCA-41312] [SC-116881][CONECTAR][PYTHON][12.X] Implementar DataFrame.withColumnRenamed
• [FAÍSCA-41221] [SC-116607][SQL] Adicionar a classe de erro INVALID_FORMAT
• [FAÍSCA-41272] [SC-116742][SQL] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_2019
• [FAÍSCA-41180] [SC-116760][SQL] Reutilizar INVALID_SCHEMA em vez de _LEGACY_ERROR_TEMP_1227
• [FAÍSCA-41260] [SC-116880][PYTHON][SS][12.X] Transmitir instâncias NumPy para tipos primitivos Python na atualização GroupState
• [FAÍSCA-41174] [SC-116609][CORE][SQL] Propagar uma classe de erro aos usuários por inválido format de to_binary()
• [FAÍSCA-41264] [SC-116971][CONECTAR][PYTHON] Tornar o suporte literal mais tipos de dados
• [FAÍSCA-41326] [SC-116972] [CONECTAR] Corrigir desduplicação está faltando entrada
• [FAÍSCA-41316] [SC-116900][SQL] Habilite a recursão de cauda sempre que possível
• [FAÍSCA-41297] [SC-116931] [CONECTAR] [PYTHON] Suporte a expressões de cadeia de caracteres no filtro.
• [FAÍSCA-41256] [SC-116932][SC-116883][CONECTAR] Implementar DataFrame.withColumn(s)
• [FAÍSCA-41182] [SC-116632][SQL] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_1102
• [FAÍSCA-41181] [SC-116680][SQL] Migrar os erros de opções de mapa para classes de erro
• [FAÍSCA-40940] [SC-115993][12.x] Remova os verificadores de operador com vários estados para consultas de streaming.
• [FAÍSCA-41310] [SC-116885][CONECTAR][PYTHON] Implementar DataFrame.toDF
• [FAÍSCA-41179] [SC-116631][SQL] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_1092
• [FAÍSCA-41003] [SC-116741][SQL] BHJ LeftAnti não atualiza numOutputRows quando o codegen está desativado
• [FAÍSCA-41148] [SC-116878][CONECTAR][PYTHON] Implementar DataFrame.dropna e DataFrame.na.drop
• [FAÍSCA-41217] [SC-116380][SQL] Adicionar a classe de erro FAILED_FUNCTION_CALL
• [FAÍSCA-41308] [SC-116875][CONECTAR][PYTHON] Melhorar DataFrame.count()
• [FAÍSCA-41301] [SC-116786] [CONECTAR] Homogeneizar o comportamento para SparkSession.range()
• [FAÍSCA-41306] [SC-116860][CONECTAR] Melhorar a documentação do Connect Expression proto
• [FAÍSCA-41280] [SC-116733][CONECTAR] Implementar DataFrame.tail
• [FAÍSCA-41300] [SC-116751] [CONECTAR] Unset schema é interpretado como Schema
• [FAÍSCA-41255] [SC-116730][SC-116695] [CONECTAR] Renomear RemoteSparkSession
• [FAÍSCA-41250] [SC-116788][SC-116633][CONECTAR][PYTHON] DataFrame. toPandas não deve retornar dataframe pandas opcional
• [FAÍSCA-41291] [SC-116738][CONECTAR][PYTHON] DataFrame.explain deve imprimir e devolver Nenhum
• [FAÍSCA-41278] [SC-116732][CONECTAR] Limpar QualifiedAttribute não utilizado em Expression.proto
• [FAÍSCA-41097] [SC-116653][CORE][SQL][SS][PROTOBUF] Remover base de conversão de coleção redundante no código Scala 2.13
• [FAÍSCA-41261] [SC-116718][PYTHON][SS] Corrija o problema de applyInPandasWithState quando as colunas de chaves de agrupamento não são colocadas em ordem desde o início
• [FAÍSCA-40872] [SC-116717][3.3] Fallback para o bloco shuffle original quando um bloco de shuffle push-merged é de tamanho zero
• [FAÍSCA-41114] [SC-116628][CONECTAR] Suporte a dados locais para LocalRelation
• [FAÍSCA-41216] [SC-116678][CONECTAR][PYTHON] Implementar DataFrame.{isLocal, isStreaming, printSchema, inputFiles}
• [FAÍSCA-41238] [SC-116670][CONECTAR][PYTHON] Suporta mais tipos de dados incorporados
• [FAÍSCA-41230] [SC-116674][CONECTAR][PYTHON] Remover str do tipo de expressão Agregar
• [FAÍSCA-41224] [SC-116652][FAÍSCA-41165][FAÍSCA-41184][CONECTAR] Implementação de coleta otimizada baseada em seta para transmitir do servidor para o cliente
• [FAÍSCA-41222] [SC-116625][CONECTAR][PYTHON] Unificar as definições de digitação
• [FAÍSCA-41225] [SC-116623] [CONECTAR] [PYTHON] Desative funções não suportadas.
• [FAÍSCA-41201] [SC-116526][CONECTAR][PYTHON] Implementar DataFrame.SelectExpr no cliente Python
• [FAÍSCA-41203] [SC-116258] [CONECTAR] Suporte Dataframe.tansform no cliente Python.
• [FAÍSCA-41213] [SC-116375][CONECTAR][PYTHON] Implementar DataFrame.__repr__ e DataFrame.dtypes
• [FAÍSCA-41169] [SC-116378][CONECTAR][PYTHON] Implementar DataFrame.drop
• [FAÍSCA-41172] [SC-116245][SQL] Migrar o erro ref ambíguo para uma classe de erro
• [FAÍSCA-41122] [SC-116141][CONECTAR] Explicar que a API pode suportar diferentes modos
• [FAÍSCA-41209] [SC-116584][SC-116376][PYTHON] Melhorar a inferência do tipo PySpark no método _merge_type
• [FAÍSCA-41196] [SC-116555][SC-116179] [CONECTAR] Homogeneize a versão protobuf no servidor Spark connect para usar a mesma versão principal.
• [FAÍSCA-35531] [SC-116409][SQL] Atualize as estatísticas da tabela do hive sem converter desnecessariamente
• [FAÍSCA-41154] [SC-116289][SQL] Cache de relação incorreta para consultas com especificações de viagem no tempo
• [FAÍSCA-41212] [SC-116554][SC-116389][CONECTAR][PYTHON] Implementar DataFrame.isEmpty
• [FAÍSCA-41135] [SC-116400][SQL] Renomear UNSUPPORTED_EMPTY_LOCATION para INVALID_EMPTY_LOCATION
• [FAÍSCA-41183] [SC-116265][SQL] Adicionar uma API de extensão para planejar a normalização do cache
• [FAÍSCA-41054] [SC-116447][UI][CORE] Suporte RocksDB como KVStore em UI ao vivo
• [FAÍSCA-38550] [SC-115223]Reverter "[SQL][CORE] Use um armazenamento baseado em disco para salvar mais informações de depuração para a interface do usuário ao vivo"
• [FAÍSCA-41173] [SC-116185][SQL] Sair require() dos construtores de expressões de cadeia de caracteres
• [FAÍSCA-41188] [SC-116242][CORE][ML] Definir executorEnv OMP_NUM_THREADS como spark.task.cpus por padrão para processos JVM do executor spark
• [FAÍSCA-41130] [SC-116155][SQL] Renomear OUT_OF_DECIMAL_TYPE_RANGE para NUMERIC_OUT_OF_SUPPORTED_RANGE
• [FAÍSCA-41175] [SC-116238][SQL] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_1078
• [FAÍSCA-41106] [SC-116073][SQL] Reduzir a conversão de coleção ao criar AttributeMap
• [FAÍSCA-41139] [SC-115983][SQL] Melhorar a classe de erro: PYTHON_UDF_IN_ON_CLAUSE
• [FAÍSCA-40657] [SC-115997][PROTOBUF] Exigir sombreamento para jar de classe Java, melhorar o tratamento de erros
• [FAÍSCA-40999] [SC-116168] Propagação de dicas para subconsultas
• [FAÍSCA-41017] [SC-116054][SQL] Suporte à poda de coluna com vários filtros não determinísticos
• [FAÍSCA-40834] [SC-114773][SQL] Use SparkListenerSQLExecutionEnd para controlar o status final do SQL na interface do usuário
• [FAÍSCA-41118] [SC-116027][SQL] to_number/try_to_number deve retornar null quando o formato for null
• [FAÍSCA-39799] [SC-115984][SQL] DataSourceV2: Exibir interface do catálogo
• [FAÍSCA-40665] [SC-116210][SC-112300][CONECTAR] Evite incorporar o Spark Connect na versão binária do Apache Spark
• [FAÍSCA-41048] [SC-116043][SQL] Melhore o particionamento e o pedido de saída com o cache AQE
• [FAÍSCA-41198] [SC-116256][SS] Corrigir métricas em consultas de streaming com origem de streaming CTE e DSv1
• [FAÍSCA-41199] [SC-116244][SS] Corrigir problema de métricas quando a fonte de streaming DSv1 e a fonte de streaming DSv2 são cousadas
• [FAÍSCA-40957] [SC-116261][SC-114706] Adicionar cache de memória no HDFSMetadataLog
• [FAÍSCA-40940] Reverter "[SC-115993] Remover verificadores de operador com vários estados para consultas de streaming."
• [FAÍSCA-41090] [SC-116040][SQL] Lançar exceção para db_name.view_name ao criar a exibição temporária pela API do conjunto de dados
• [FAÍSCA-41133] [SC-116085][SQL] Integre-se UNSCALED_VALUE_TOO_LARGE_FOR_PRECISION em NUMERIC_VALUE_OUT_OF_RANGE
• [FAÍSCA-40557] [SC-116182][SC-111442][CONECTAR] Confirmações de despejo de código 9
• [FAÍSCA-40448] [SC-114447][SC-111314][CONECTAR] Spark Connect build como plug-in de driver com dependências sombreadas
• [FAÍSCA-41096] [SC-115812][SQL] Suporte de leitura parquet FIXED_LEN_BYTE_ARRAY tipo
• [FAÍSCA-41140] [SC-115879][SQL] Renomeie a classe _LEGACY_ERROR_TEMP_2440 de erro para INVALID_WHERE_CONDITION
• [FAÍSCA-40918] [SC-114438][SQL] Incompatibilidade entre FileSourceScanExec e Orc e ParquetFileFormat na produção de saída colunar
• [FAÍSCA-41155] [SC-115991][SQL] Adicionar mensagem de erro a SchemaColumnConvertNotSupportedException
• [FAÍSCA-40940] [SC-115993] Remova os verificadores de operador com vários estados para consultas de streaming.
• [FAÍSCA-41098] [SC-115790][SQL] Renomear GROUP_BY_POS_REFERS_AGG_EXPR para GROUP_BY_POS_AGGREGATE
• [FAÍSCA-40755] [SC-115912][SQL] Migrar falhas de verificação de tipo de formatação de número para classes de erro
• [FAÍSCA-41059] [SC-115658][SQL] Renomear _LEGACY_ERROR_TEMP_2420 para NESTED_AGGREGATE_FUNCTION
• [FAÍSCA-41044] [SC-115662][SQL] Converta DATATYPE_MISMATCH. UNSPECIFIED_FRAME para INTERNAL_ERROR
• [FAÍSCA-40973] [SC-115132][SQL] Renomear _LEGACY_ERROR_TEMP_0055 para UNCLOSED_BRACKETED_COMMENT

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 12.1.

Ambiente do sistema

• Sistema Operacional: Ubuntu 20.04.5 LTS
• Java: Zulu 8.64.0.19-CA-linux64
• Escala: 2.12.14
• Píton: 3.9.5
• R: 4.2.2
• Lago Delta: 2.2.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo da CRAN da Microsoft em 2022-11-11.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)