Tempo de execução do Databricks 13.1 (EoS)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 13.1, alimentado pelo Apache Spark 3.4.0.

A Databricks lançou esta versão em maio de 2023.

Novos recursos e melhorias

• Suporte de cluster para JDK 17 (visualização pública)
• Adicionar, alterar ou excluir dados em tabelas de streaming
• Leia Kafka com SQL
• Novas funções internas do SQL
• Suporte do Unity Catalog para bibliotecas Python com escopo de cluster
• Ativação padrão expandida para gravações otimizadas no Unity Catalog
• Suporte avançado para operadores com monitoração de estado em cargas de trabalho de Streaming estruturado
• O clone Delta para o Unity Catalog está em visualização pública
• Suporte Pub/Sub para Streaming Estruturado
• Soltar duplicatas dentro de marcas d'água no Streaming estruturado
• Suporte expandido para conversões Delta de tabelas Iceberg com colunas de partição truncadas
• Alterações de esquema de fluxo com mapeamento de coluna no Delta Lake
• Remover START VERSION
• Novas expressões H3 disponíveis com Python

Suporte de cluster para JDK 17 (visualização pública)

O Databricks agora fornece suporte a cluster para Java Development Kit (JDK) 17. Consulte Databricks SDK para Java.

Adicionar, alterar ou excluir dados em tabelas de streaming

Agora você pode usar instruções DML para modificar tabelas de streaming publicadas no Unity Catalog por pipelines Delta Live Tables. Consulte Adicionar, alterar ou excluir dados em uma tabela de streaming e Adicionar, alterar ou excluir dados em uma tabela de streaming de destino. Você também pode usar instruções DML para modificar tabelas de streaming criadas no Databricks SQL.

Leia Kafka com SQL

Agora você pode usar a read_kafka função SQL para ler dados Kafka. O streaming com SQL é suportado apenas em Delta Live Tables ou com tabelas de streaming em Databricks SQL. Consulte read_kafka função com valor de tabela.

Novas funções internas do SQL

Foram adicionadas as seguintes funções:

• array_prepend(array, elem) Devoluções array precedidas por elem.
• try_aes_decrypt(expr, key [, mode [, padding]]) Descriptografa um binário produzido usando criptografia AES e retorna NULL se houver um erro.
• sql_keywords() Retorna uma tabela de palavras-chave SQL do Azure Databricks.

Suporte do Unity Catalog para bibliotecas Python com escopo de cluster

O Unity Catalog tem algumas limitações no uso da biblioteca. No Databricks Runtime 13.1 e superior, há suporte para bibliotecas Python com escopo de cluster, incluindo arquivos de roda Python que são carregados como arquivos de espaço de trabalho. Não há suporte para bibliotecas referenciadas usando caminhos de arquivo DBFS, seja na raiz DBFS ou em um local externo montado no DBFS. As bibliotecas não Python não são suportadas. Veja Bibliotecas de cluster.

No Databricks Runtime 13.0 e inferior, não há suporte para bibliotecas com escopo de cluster em clusters que usam o modo de acesso compartilhado em um espaço de trabalho habilitado para Catálogo Unity.

Ativação padrão expandida para gravações otimizadas no Unity Catalog

O suporte de gravação otimizado padrão para tabelas Delta registradas no Unity Catalog foi expandido para incluir CTAS instruções e INSERT operações para tabelas particionadas. Esse comportamento se alinha aos padrões em armazéns SQL. Consulte Gravações otimizadas para Delta Lake no Azure Databricks.

Suporte avançado para operadores com monitoração de estado em cargas de trabalho de Streaming estruturado

Agora você pode encadear vários operadores com monitoração de estado, o que significa que você pode alimentar a saída de uma operação, como uma agregação em janela, para outra operação com monitoração de estado, como uma junção. Consulte O que é streaming stateful?.

O clone Delta para o Unity Catalog está em visualização pública

Agora você pode usar o clone superficial para criar novas tabelas gerenciadas do Unity Catalog a partir de tabelas gerenciadas existentes do Unity Catalog. Consulte Clone superficial para tabelas do Catálogo Unity.

Suporte Pub/Sub para Streaming Estruturado

Agora você pode usar um conector integrado para assinar o Google Pub/Sub com o Structured Streaming. Consulte Subscrever o Google Pub/Sub.

Soltar duplicatas dentro de marcas d'água no Streaming estruturado

Agora você pode usar dropDuplicatesWithinWatermark em combinação com um limite de marca d'água especificado para desduplicar registros no Structured Streaming. Consulte Soltar duplicatas na marca d'água.

Suporte expandido para conversões Delta de tabelas Iceberg com colunas de partição truncadas

Agora você pode usar CLONE e CONVERT TO DELTA com tabelas Iceberg que têm partições definidas em colunas truncadas dos tipos int, long, e string. Não há suporte para colunas truncadas do tipo decimal .

Alterações de esquema de fluxo com mapeamento de coluna no Delta Lake

Agora você pode fornecer um local de rastreamento de esquema para habilitar o streaming de tabelas Delta com o mapeamento de colunas habilitado. Consulte Transmissão em fluxo com mapeamento de colunas e alterações de esquema.

Remover START VERSION

START VERSION agora foi preterido para ALTER SHARE.

Novas expressões H3 disponíveis com Python

As h3_coverash3 expressões e h3_coverash3string estão disponíveis com Python.

Correções de erros

Parquet failOnUnknownFields não solta mais dados silenciosamente em incompatibilidade de tipo

Se um arquivo Parquet foi lido apenas com a opção ou com o failOnUnknownFields Auto Loader no modo de evolução do esquema, as failOnNewColumns colunas que têm diferentes tipos de dados agora falham e recomendam o uso do rescuedDataColumn. O Auto Loader agora lê corretamente e não resgata mais os tipos Integer, Short ou Byte se um desses tipos de dados for fornecido. O arquivo Parquet sugere um dos outros dois tipos.

Alterações interruptivas

Atualize a versão sqlite-jdbc para 3.42.0.0 para abordar CVE-2023-32697

Atualize a versão sqlite-jdbc de 3.8.11.2 para 3.42.0.0. As APIs da versão 3.42.0.0 não são totalmente compatíveis com a versão 3.8.11.2. Se estiver usando sqlite-jdbc em seu código, verifique o relatório de compatibilidade sqlite-jdbc para obter detalhes. Se você migrar para 13.1 e usar sqlite, confirme seus métodos e digite de retorno na versão 3.42.0.0.

Atualizações da biblioteca

• Bibliotecas Python atualizadas:
  • facetas-visão geral de 1.0.2 a 1.0.3
  • filelock de 3.10.7 a 3.12.0
  • Pyarrow de 7.0.0 a 8.0.0
  • tenacidade de 8.0.1 a 8.1.0
• Bibliotecas R atualizadas:
• Bibliotecas Java atualizadas:
  • com.github.ben-manes.caffeine.caffeine de 2.3.4 a 2.9.3
  • io.delta.delta-sharing-spark_2.12 de 0.6.8 a 0.6.4
  • net.snowflake.snowflake-jdbc de 3.13.29 a 3.13.22
  • org.checkerframework.checker-qual de 3.5.0 a 3.19.0
  • org.scalactic.scalactic_2.12 de 3.0.8 a 3.2.15
  • org.scalatest.scalatest_2.12 de 3.0.8 a 3.2.15
  • org.xerial.sqlite-jdbc de 3.8.11.2 a 3.42.0.0

Faísca Apache

O Databricks Runtime 13.1 inclui o Apache Spark 3.4.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 13.0 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• [FAÍSCA-42719] [DBRRM-199][SC-131578] Reverter "[SC-125225] 'MapOutputTracker#getMap...
• [FAÍSCA-39696] [DBRRM-166][SC-130056][CORE] Reverter [SC-127830]/
• [FAÍSCA-43331] [SC-130064][CONECTAR] Adicionar Spark Connect SparkSession.interruptAll
• [FAÍSCA-43332] [SC-130051][CONECTAR][PYTHON] Tornar possível estender o ChannelBuilder para SparkConnectClient
• [FAÍSCA-43323] [SC-129966][SQL][PYTHON] Corrigir DataFrame.toPandas com Seta ativada para lidar com exceções corretamente
• [FAÍSCA-42940] [SC-129896][SS][CONECTAR] Melhorar o gerenciamento de sessão para consultas de streaming
• [FAÍSCA-43032] [SC-125756] [CONECTAR][SS] Adicionar gerenciador de consultas de streaming
• [FAÍSCA-16484] [SC-129975][SQL] Adicionar suporte para Datasketches HllSketch
• [FAÍSCA-43260] [SC-129281][PYTHON] Migre os erros de tipo de seta do Spark SQL pandas para a classe de erro.
• [FAÍSCA-41766] [SC-129964][CORE] Lidar com a solicitação de descomissionamento enviada antes do registro do executor
• [FAÍSCA-43307] [SC-129971][PYTHON] Migrar erros de valor PandasUDF para a classe de erro
• [FAÍSCA-43206] [SC-129903] [SS] [CONECTAR] StreamingQuery exception() incluem rastreamento de pilha
• [FAÍSCA-43311] [SC-129905][SS] Adicionar aprimoramentos de gerenciamento de memória do provedor de armazenamento de estado RocksDB
• [FAÍSCA-43237] [SC-129898][CORE] Manipular mensagem de exceção nula no log de eventos
• [FAÍSCA-43320] [SC-129899][SQL][VIH] Ligue diretamente para a API do Hive 2.3.9
• [FAÍSCA-43270] [SC-129897][PYTHON] Implementar __dir__() em pyspark.sql.dataframe.DataFrame para incluir colunas
• [FAÍSCA-43183] Reverter "[SC-128938][SS] Introduzir um novo retorno de chamada "...
• [FAÍSCA-43143] [SC-129902] [SS] [CONECTAR] Scala StreamingQuery awaitTermination()
• [FAÍSCA-43257] [SC-129675][SQL] Substitua a classe de erro _LEGACY_ERROR_TEMP_2022 por um erro interno
• [FAÍSCA-43198] [SC-129470][CONECTAR] Corrigir "Não foi possível inicializar a classe amonite..." erro ao usar o filtro
• [FAÍSCA-43165] [SC-129777][SQL] Mover canWrite para DataTypeUtils
• [FAÍSCA-43298] [SC-129729][PYTHON][ML] predict_batch_udf com entrada escalar falha com tamanho de lote de um
• [FAÍSCA-43298] [SC-129700]Reverter "[PYTHON][ML] predict_batch_udf com entrada escalar falha com tamanho de lote de um"
• [FAÍSCA-43052] [SC-129663][CORE] Manipular stacktrace com nome de arquivo nulo no log de eventos
• [FAÍSCA-43183] [SC-128938][SS] Introduza um novo retorno de chamada "onQueryIdle" para StreamingQueryListener
• [FAÍSCA-43209] [SC-129190][CONECTAR][PYTHON] Migrar erros de expressão para a classe de erro
• [FAÍSCA-42151] [SC-128754][SQL] Alinhar atribuições UPDATE com atributos de tabela
• [FAÍSCA-43134] [SC-129468] [CONECTAR] [SS] API StreamingQuery exception() do cliente JVM
• [FAÍSCA-43298] [SC-129699][PYTHON][ML] predict_batch_udf com entrada escalar falha com tamanho de lote de um
• [FAÍSCA-43248] [SC-129660][SQL] Serialização/desserialização desnecessária de Path em estatísticas de partição de coleta paralela
• [FAÍSCA-43274] [SC-129464][FAÍSCA-43275][PYTHON][CONECTAR] Apresentar PySparkNotImplementedError
• [FAÍSCA-43146] [SC-128804][CONECTAR][PYTHON] Implementar uma avaliação ansiosa para repr e repr_html
• [FAÍSCA-42953] [SC-129469][Conectar][Seguimento] Corrigir compilação de teste maven para testes UDF do cliente Scala
• [FAÍSCA-43144] [SC-129280] API da tabela() DataStreamReader do Cliente Scala
• [FAÍSCA-43136] [SC-129358][CONECTAR] Adicionando funções groupByKey + mapGroup + coGroup
• [FAÍSCA-43156] [SC-129672][SC-128532][SQL] Corrigir COUNT(*) is null bug na subconsulta escalar correlacionada
• [FAÍSCA-43046] [SC-129110] [SS] [Conectar] API Python dropDuplicatesWithinWatermark implementada para Spark Connect
• [FAÍSCA-43199] [SC-129467][SQL] Tornar o InlineCTE idempotente
• [FAÍSCA-43293] [SC-129657][SQL] __qualified_access_only deve ser ignorado em colunas normais
• [FAÍSCA-43276] [SC-129461][CONECTAR][PYTHON] Migrar erros da janela do Spark Connect para a classe de erro
• [FAÍSCA-43174] [SC-129109][SQL] Corrigir SparkSQLCLIDriver completer
• [FAÍSCA-43084] [SC-128654] [SS] Adicionar suporte applyInPandasWithState para conexão de faísca
• [FAÍSCA-43119] [SC-129040][SQL] Suporte Obter palavras-chave SQL dinamicamente através de API JDBC e TVF
• [FAÍSCA-43082] [SC-129112][CONECTAR][PYTHON] UDFs Python otimizadas para setas no Spark Connect
• [FAÍSCA-43085] [SC-128432][SQL] Coluna de suporte Atribuição PADRÃO para nomes de tabelas com várias partes
• [FAÍSCA-43226] [LC-671] Definir extratores para metadados constantes de arquivo
• [FAÍSCA-43210] [SC-129189][CONECTAR][PYTHON] Apresentar PySparkAssertionError
• [FAÍSCA-43214] [SC-129199][SQL] Postar métricas do lado do driver para LocalTableScanExec/CommandResultExec
• [FAÍSCA-43285] [SC-129347] Corrigir ReplE2ESuite consistentemente falhando com JDK 17
• [FAÍSCA-43268] [SC-129249][SQL] Use classes de erro adequadas quando exceções são construídas com uma mensagem
• [FAÍSCA-43142] [SC-129299] Corrigir expressões DSL em atributos com caracteres especiais
• [FAÍSCA-43129] [SC-128896] API principal do Scala para streaming do Spark Connect
• [FAÍSCA-43233] [SC-129250] [SS] Adicionar log para Kafka Batch Reading para partição de tópico, intervalo de deslocamento e ID de tarefa
• [FAÍSCA-43249] [SC-129195][CONECTAR] Corrigir estatísticas ausentes para o comando SQL
• [FAÍSCA-42945] [SC-129188][CONECTAR] Suporte PYSPARK_JVM_STACKTRACE_ENABLED no Spark Connect
• [FAÍSCA-43178] [SC-129197][CONECTAR][PYTHON] Migrar erros UDF para a estrutura de erros do PySpark
• [FAÍSCA-43123] [SC-128494][SQL] Os metadados de campo interno não devem ser vazados para catálogos
• [FAÍSCA-43217] [SC-129205] Recursar corretamente em mapas/matrizes aninhados em findNestedField
• [FAÍSCA-43243] [SC-129294][PYTHON][CONECTAR] Adicionar level param a printSchema para Python
• [FAÍSCA-43230] [SC-129191][CONECTAR] Simplifique DataFrameNaFunctions.fillna
• [FAÍSCA-43088] [SC-128403][SQL] Respeito ExigeDistribuição e Ordenação em CTAS/RTAS
• [FAÍSCA-43234] [SC-129192][CONECTAR][PYTHON] Migrar ValueError do Conect DataFrame para a classe de erro
• [FAÍSCA-43212] [SC-129187][SS][PYTHON] Migrar erros de Streaming estruturado para a classe de erro
• [FAÍSCA-43239] [SC-129186][PS] Remover null_counts de info()
• [FAÍSCA-43190] [SC-128930][SQL] ListQuery.childOutput deve ser consistente com a saída filho
• [FAÍSCA-43191] [SC-128924][CORE] Substitua a reflexão por chamada direta para o Hadoop CallerContext
• [FAÍSCA-43193] [SC-129042][SS] Remover solução alternativa para HADOOP-12074
• [FAÍSCA-42657] [SC-128621][CONECTAR] Suporte para localizar e transferir arquivos de classe REPL do lado do cliente para o servidor como artefatos
• [FAÍSCA-43098] [SC-77059][SQL] Corrigir o bug COUNT de correção quando a subconsulta escalar tem grupo por cláusula
• [FAÍSCA-43213] [SC-129062][PYTHON] Adicionar DataFrame.offset à baunilha PySpark
• [FAÍSCA-42982] [SC-128400][CONECTAR][PYTHON] Corrija createDataFrame para respeitar o esquema ddl dado
• [FAÍSCA-43124] [SC-129011][SQL] Dataset.show projetos CommandResults localmente
• [FAÍSCA-42998] [SC-127422][CONECTAR][PYTHON] Corrigir DataFrame.collect com null struct
• [FAÍSCA-41498] [SC-125343]Reverter "Propagar metadados através da União"
• [FAÍSCA-42960] [SC-129010] [CONECTAR] [SS] Adicionar API await_termination() e exception() para Streaming Query em Python
• [FAÍSCA-42552] [SC-128824][SQL] Corrigir a estratégia de análise de dois estágios do analisador antlr
• [FAÍSCA-43207] [SC-128937][CONECTAR] Adicionar funções auxiliares para extrair valor da expressão literal
• [FAÍSCA-43186] [SC-128841][SQL][VIH] Remover solução alternativa para FileSinkDesc
• [FAÍSCA-43107] [SC-128533][SQL] Coalesce buckets na junção aplicada no lado do fluxo de junção de transmissão
• [FAÍSCA-43195] [SC-128922][CORE] Remover wrapper serializável desnecessário no HadoopFSUtils
• [FAÍSCA-43137] [SC-128828][SQL] Melhore o ArrayInsert se a posição for dobrável e positiva.
• [FAÍSCA-37829] [SC-128827][SQL] Dataframe.joinWith outer-join deve retornar um valor nulo para linha incomparável
• [FAÍSCA-43042] [SC-128602] [SS] [Conectar] Adicionar suporte à API table() para DataStreamReader
• [FAÍSCA-43153] [SC-128753][CONECTAR] Ignorar a execução do Spark quando o dataframe é local
• [FAÍSCA-43064] [SC-128496][SQL] A guia Spark SQL CLI SQL deve mostrar apenas uma instrução uma vez
• [FAÍSCA-43126] [SC-128447][SQL] Marcar duas expressões UDF do Hive como stateful
• [FAÍSCA-43111] [SC-128750][PS][CONECTAR][PYTHON] Mesclar instruções aninhadas if em instruções únicas if
• [FAÍSCA-43113] [SC-128749][SQL] Avaliar variáveis do lado do fluxo ao gerar código para uma condição acoplada
• [FAÍSCA-42895] [SC-127258][CONECTAR] Melhorar mensagens de erro para sessões interrompidas do Spark
• [FAÍSCA-42884] [SC-126662][CONECTAR] Adicionar integração Ammonite REPL
• [FAÍSCA-43168] [SC-128674][SQL] Remover o método get PhysicalDataType da classe Datatype
• [FAÍSCA-43121] [SC-128455][SQL] Use BytesWritable.copyBytes em vez de cópia manual em 'HiveInspectors
• [FAÍSCA-42916] [SC-128389][SQL] JDBCTableCatalog mantém a meta Char/Varchar no lado da leitura
• [FAÍSCA-43050] [SC-128550][SQL] Corrigir expressões agregadas de construção substituindo funções de agrupamento
• [FAÍSCA-43095] [SC-128549][SQL] Evite Uma vez que a idempotência da estratégia é quebrada para o lote: Infer Filters
• [FAÍSCA-43130] [SC-128597][SQL] Mover InternalType para PhysicalDataType
• [FAÍSCA-43105] [SC-128456][CONECTAR] Abreviar bytes e cadeias de caracteres na mensagem proto
• [FAÍSCA-43099] [SC-128596][SQL] Use getName em vez de obter o nome da getCanonicalName classe builder ao registrar udf para FunctionRegistry
• [FAÍSCA-42994] [SC-128586][ML][CONECTAR] Suporte ao Distribuidor PyTorch Modo Local
• [FAÍSCA-42859] Reverter "[SC-127935][CONNECT][PS] Suporte básico para pandas API no Spark Connect"
• [FAÍSCA-43021] [SC-128472][SQL] CoalesceBucketsInJoin não funciona quando se utiliza o AQE
• [FAÍSCA-43125] [SC-128477][CONECTAR] Fix Connect Server não pode lidar com exceção com mensagem nula
• [FAÍSCA-43147] [SC-128594] fixar fiapos flake8 para verificação local
• [FAÍSCA-43031] [SC-128360] [SS] [Conectar] Habilite o teste de unidade e o doctest para streaming
• [FAÍSCA-43039] [LC-67] Suporte a campos personalizados na coluna _metadata de origem do arquivo.
• [FAÍSCA-43120] [SC-128407][SS] Adicione suporte para rastrear o uso de memória de blocos fixos para armazenamento de estado RocksDB
• [FAÍSCA-43110] [SC-128381][SQL] Mover asIntegral para PhysicalDataType
• [FAÍSCA-43118] [SC-128398][SS] Remover asserção desnecessária para UninterruptibleThread no KafkaMicroBatchStream
• [FAÍSCA-43055] [SC-128331][CONECTAR][PYTHON] Suporte a nomes de campos aninhados duplicados
• [FAÍSCA-42437] [SC-128339][PYTHON][CONECTAR] PySpark catalog.cacheTable permitirá especificar o nível de armazenamento
• [FAÍSCA-42985] [SC-128332][CONECTAR][PYTHON] Corrija createDataFrame para respeitar as configurações SQL
• [FAÍSCA-39696] [SC-127830][CORE] Corrija a corrida de dados no acesso a TaskMetrics.externalAccums
• [FAÍSCA-43103] [SC-128335][SQL] Movendo integral para PhysicalDataType
• [FAÍSCA-42741] [SC-125547][SQL] Não desembrulhe moldes na comparação binária quando literal é nulo
• [FAÍSCA-43057] [SC-127948][CONECTAR][PYTHON] Migrar erros de coluna do Spark Connect para a classe de erro
• [FAÍSCA-42859] [SC-127935][CONECTAR][PS] Suporte básico para pandas API no Spark Connect
• [FAÍSCA-43013] [SC-127773][PYTHON] Migrar ValueError do DataFrame para o PySparkValueError.
• [FAÍSCA-43089] [SC-128051][CONECTAR] Seqüência de depuração do Redact na interface do usuário
• [FAÍSCA-43028] [SC-128070][SQL] Adicionar classe de erro SQL_CONF_NOT_FOUND
• [FAÍSCA-42999] [SC-127842][Conectar] Dataset#foreach, foreachPartition
• [FAÍSCA-43066] [SC-127937][SQL] Adicionar teste para dropDuplicates em JavaDatasetSuite
• [FAÍSCA-43075] [SC-127939][CONECTAR] Mude gRPC para grpcio quando não estiver instalado.
• [FAÍSCA-42953] [SC-127809][Conectar] Filtro digitado, mapa, flatMap, mapPartitions
• [FAÍSCA-42597] [SC-125506][SQL] Suporte a desempacotar tipo de data para tipo de carimbo de data/hora
• [FAÍSCA-42931] [SC-127933][SS] Introduzir dropDuplicatesWithinWatermark
• [FAÍSCA-43073] [SC-127943][CONECTAR] Adicionar constantes de tipos de dados proto
• [FAÍSCA-43077] [SC-128050][SQL] Melhorar a mensagem de erro do UNRECOGNIZED_SQL_TYPE
• [FAÍSCA-42951] [SC-128030][SS][Conectar] DataStreamReader APIs
• [FAÍSCA-43049] [SC-127846][SQL] Use CLOB em vez de VARCHAR(255) para StringType for Oracle JDBC
• [FAÍSCA-43018] [SC-127762][SQL] Corrigir bug para comandos INSERT com literais de carimbo de data/hora
• [FAÍSCA-42855] [SC-127722][SQL] Usar verificações nulas de tempo de execução em TableOutputResolver
• [FAÍSCA-43030] [SC-127847][SQL] Eliminar a duplicação de relações com colunas de metadados
• [FAÍSCA-42993] [SC-127829][ML][CONECTAR] Tornar o PyTorch Distributor compatível com o Spark Connect
• [FAÍSCA-43058] [SC-128072][SQL] Mover numérico e fracionário para PhysicalDataType
• [FAÍSCA-43056] [SC-127946][SS] A confirmação do armazenamento de estado do RocksDB deve continuar o trabalho em segundo plano somente se for pausada
• [FAÍSCA-43059] [SC-127947][CONECTAR][PYTHON] Migrar TypeError de DataFrame(Reader|Writer) em classe de erro
• [FAÍSCA-43071] [SC-128018][SQL] Suporte SELECT DEFAULT com ORDER BY, LIMIT, OFFSET para INSERT source relation
• [FAÍSCA-43061] [SC-127956][CORE][SQL] Introduzir o PartitionEvaluator para a execução do operador SQL
• [FAÍSCA-43067] [SC-127938][SS] Corrigir o local do arquivo de recurso de classe de erro no conector Kafka
• [FAÍSCA-43019] [SC-127844][SQL] Mover pedidos para PhysicalDataType
• [FAÍSCA-43010] [SC-127759][PYTHON] Migrar erros de coluna para a classe de erro
• [FAÍSCA-42840] [SC-127782][SQL] Alterar _LEGACY_ERROR_TEMP_2004 erro para erro interno
• [FAÍSCA-43041] [SC-127765][SQL] Restaurar construtores de exceções para compatibilidade na API do conector
• [FAÍSCA-42939] [SC-127761][SS][CONECTAR] Core streaming Python API para Spark Connect
• [FAÍSCA-42844] [SC-127766][SQL] Atualize a classe _LEGACY_ERROR_TEMP_2008 de erro para INVALID_URL
• [FAÍSCA-42316] [SC-127720][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_2044
• [FAÍSCA-42995] [SC-127723][CONECTAR][PYTHON] Migrar erros do Spark Connect DataFrame para a classe de erro
• [FAÍSCA-42983] [SC-127717][CONECTAR][PYTHON] Corrija createDataFrame para manipular a matriz numpy 0-dim corretamente
• [FAÍSCA-42955] [SC-127476][SQL] Ignorar classifyException e encapsular AnalysisException para SparkThrowable
• [FAÍSCA-42949] [SC-127255][SQL] Simplifique o código para NAAJ
• [FAÍSCA-43011] [SC-127577][SQL] array_insert deve falhar com índice 0
• [FAÍSCA-42974] [SC-127487][CORE] Restaure Utils.createTempDir para usar o ShutdownHookManager método e limpe JavaUtils.createTempDir .
• [FAÍSCA-42964] [SC-127585][SQL] PosgresDialect '42P07' também significa que a tabela já existe
• [FAÍSCA-42978] [SC-127351][SQL] Derby&PG: RENAME não pode qualificar um new-table-Name com um schema-Name
• [FAÍSCA-37980] [SC-127668][SQL] Acesso row_index via _metadata se possível em testes
• [FAÍSCA-42655] [SC-127591][SQL] Erro de referência de coluna ambíguo incorreto
• [FAÍSCA-43009] [SC-127596][SQL] Parametrizado sql() com Any constantes
• [FAÍSCA-43026] [SC-127590][SQL] Aplicar AQE com cache de tabela que não seja do Exchange
• [FAÍSCA-42963] [SC-127576][SQL] Estenda SparkSessionExtensions para injetar regras no otimizador de estágio de consulta AQE
• [FAÍSCA-42918] [SC-127357] Generalizar a manipulação de atributos de metadados no FileSourceStrategy
• [FAÍSCA-42806] [SC-127452][FAÍSCA-42811][CONECTAR] Adicionar Catalog suporte
• [FAÍSCA-42997] [SC-127535][SQL] TableOutputResolver deve usar caminhos de coluna corretos em mensagens de erro para matrizes e mapas
• [FAÍSCA-43006] [SC-127486][PYSPARK] Corrigir erro de digitação no StorageLevel eq()
• [FAÍSCA-43005] [SC-127485][PYSPARK] Corrigir erro de digitação em pyspark/pandas/config.py
• [FAÍSCA-43004] [SC-127457][CORE] Corrigir erro de digitação em ResourceRequest.equals()
• [FAÍSCA-42907] [SC-126984][CONECTAR][PYTHON] Implementar funções Avro
• [FAÍSCA-42979] [SC-127272][SQL] Definir construtores literais como palavras-chave
• [FAÍSCA-42946] [SC-127252][SQL] Redigir dados confidenciais aninhados por substituição de variáveis
• [FAÍSCA-42952] [SC-127260][SQL] Simplifique o parâmetro da regra do analisador PreprocessTableCreation e DataSourceAnalysis
• [FAÍSCA-42683] [LC-75] Renomear automaticamente colunas de metadados conflitantes
• [FAÍSCA-42853] [SC-126101][Seguimento] Corrigir conflitos
• [FAÍSCA-42929] [SC-126748][CONNECT] fazer mapInPandas / mapInArrow suporte "is_barrier"
• [FAÍSCA-42968] [SC-127271][SS] Adicionar opção para ignorar o coordenador de confirmação como parte da API StreamingWrite para fontes/coletores DSv2
• [FAÍSCA-42954] [SC-127261][PYTHON][CONECTAR] Adicionar YearMonthIntervalType ao PySpark e Spark Connect Python Client
• [FAÍSCA-41359] [SC-127256][SQL] Use PhysicalDataType em vez de DataType em UnsafeRow
• [FAÍSCA-42873] [SC-127262][SQL] Definir tipos Spark SQL como palavras-chave
• [FAÍSCA-42808] [SC-126302][CORE] Evite ficar disponívelProcessadores sempre que entrar MapOutputTrackerMaster#getStatistics
• [FAÍSCA-42937] [SC-126880][SQL] PlanSubqueries deve ser definido InSubqueryExec#shouldBroadcast como true
• [FAÍSCA-42896] [SC-126729][SQL][PYTHON] Faça mapInPandas / mapInArrow a execução do modo de barreira de suporte
• [FAÍSCA-42874] [SC-126442][SQL] Habilite a nova estrutura de teste de arquivo dourado para análise de todos os arquivos de entrada
• [FAÍSCA-42922] [SC-126850][SQL] Mover de Random para SecureRandom
• [FAÍSCA-42753] [SC-126369] ReusedExchange refere-se a nós inexistentes
• [FAÍSCA-40822] [SC-126274][SQL] Aliases de coluna derivados estáveis
• [FAÍSCA-42908] [SC-126856][PYTHON] Raise RuntimeError quando SparkContext é necessário, mas não inicializado
• [FAÍSCA-42779] [SC-126042][SQL] Permitir gravações V2 para indicar o tamanho da partição de shuffle consultivo
• [FAÍSCA-42914] [SC-126727][PYTHON] Reutilização transformUnregisteredFunction para DistributedSequenceID.
• [FAÍSCA-42878] [SC-126882][CONECTAR] A API de tabela em DataFrameReader também pode aceitar opções
• [FAÍSCA-42927] [SC-126883][CORE] Altere o escopo de o.a.spark.util.Iterators#size acesso de para private[util]
• [FAÍSCA-42943] [SC-126879][SQL] Use LONGTEXT em vez de TEXT para StringType para comprimento efetivo
• [FAÍSCA-37677] [SC-126855][CORE] Descompactar pode manter permissões de arquivo
• [FAÍSCA-42891] [13.x][SC-126458][CONECTAR][PYTHON] Implementar API de Mapa Coagrupado
• [FAÍSCA-41876] [SC-126849][CONECTAR][PYTHON] Implementar DataFrame.toLocalIterator
• [FAÍSCA-42930] [SC-126761][CORE][SQL] Altere o escopo de acesso de ProtobufSerDe implementações relacionadas para private[protobuf]
• [FAÍSCA-42819] [SC-125879][SS] Adicione suporte para definir max_write_buffer_number e write_buffer_size para RocksDB usados em streaming
• [FAÍSCA-42924] [SC-126737][SQL][CONECTAR][PYTHON] Esclarecer o comentário de args SQL parametrizados
• [FAÍSCA-42748] [SC-126455][CONECTAR] Gerenciamento de artefatos do lado do servidor
• [FAÍSCA-42816] [SC-126365][CONECTAR] Suporte Max Tamanho da mensagem de até 128MB
• [FAÍSCA-42850] [SC-126109][SQL] Remover regra duplicada CombineFilters no Optimizer
• [FAÍSCA-42662] [SC-126355][CONECTAR][PS] Adicionar mensagem proto para a API pandas no índice padrão do Spark
• [FAÍSCA-42720] [SC-126136][PS][SQL] Usa expressão para índice padrão de sequência distribuída em vez de plano
• [FAÍSCA-42790] [SC-126174][SQL] Abstraia o método excluído para um melhor teste para testes JDBC docker.
• [FAÍSCA-42900] [SC-126473][CONECTAR][PYTHON] Corrija createDataFrame para respeitar a inferência e os nomes das colunas
• [FAÍSCA-42917] [SC-126657][SQL] Corrigir getUpdateColumnNullabilityQuery para DerbyDialect
• [FAÍSCA-42684] [SC-125157]O catálogo [SQL] v2 não deve permitir o valor padrão da coluna por padrão
• [FAÍSCA-42861] [SC-126635][SQL] Use private[sql] em vez de protected[sql] para evitar a geração de documentos de API
• [FAÍSCA-42920] [SC-126728][CONECTAR][PYTHON] Habilitar testes para UDF com UDT
• [FAÍSCA-42791] [SC-126617][SQL] Crie uma nova estrutura de teste de arquivo dourado para análise
• [FAÍSCA-42911] [SC-126652][PYTHON] Introduzir exceções mais básicas
• [FAÍSCA-42904] [SC-126634][SQL] Suporte a Char/Varchar para catálogo JDBC
• [FAÍSCA-42901] [SC-126459][CONECTAR][PYTHON] Mover StorageLevel para um arquivo separado para evitar possíveis file recursively imports
• [FAÍSCA-42894] [SC-126451][CONECTAR] Suporte cacheunpersiststorageLevel/persist//para o cliente jvm Spark connect
• [FAÍSCA-42792] [SC-125852][SS] Adicione suporte para WRITE_FLUSH_BYTES para RocksDB usados em operadores stateful de streaming
• [FAÍSCA-41233] [SC-126441][CONECTAR][PYTHON] Adicionar array_prepend ao cliente Python do Spark Connect
• [FAÍSCA-42681] [SC-125149][SQL] Relaxe a restrição de pedidos para ALTER TABLE ADD|SUBSTITUIR descritor de coluna
• [FAÍSCA-42889] [SC-126367][CONECTAR][PYTHON] Implementar cache, persistir, não persistir e nível de armazenamento
• [FAÍSCA-42824] [SC-125985][CONECTAR][PYTHON] Fornecer uma mensagem de erro clara para atributos JVM não suportados
• [FAÍSCA-42340] [SC-126131][CONECTAR][PYTHON] Implementar API de Mapa Agrupado
• [FAÍSCA-42892] [SC-126454][SQL] Mover sameType e métodos relevantes para fora de DataType
• [FAÍSCA-42827] [SC-126126][CONECTAR] Suporte functions#array_prepend para o cliente Scala connect
• [FAÍSCA-42823] [SC-125987][SQL] spark-sql O shell suporta namespaces de várias partes para inicialização
• [FAÍSCA-42817] [SC-125960][CORE] Registrando o nome do serviço aleatório uma vez no ApplicationMaster
• [FAÍSCA-42786] [SC-126438][Conectar] Seleção digitada
• [FAÍSCA-42800] [SC-125868][CONECTAR][PYTHON][ML] Implementar a função ml {array_to_vector, vector_to_array}
• [FAÍSCA-42052] [SC-126439][SQL] Suporte Codegen para HiveSimpleUDF
• [FAÍSCA-41233] [SC-126110][SQL][PYTHON] Adicionar array_prepend função
• [FAÍSCA-42864] [SC-126268][ML][3.4] Tornar IsotonicRegression.PointsAccumulator privado
• [FAÍSCA-42876] [SC-126281][SQL] O physicalDataType do DataType deve ser private[sql]
• [FAÍSCA-42101] [SC-125437][SQL] Tornar o suporte AQE InMemoryTableScanExec
• [FAÍSCA-41290] [SC-124030][SQL] Suporte a expressões GENERATED ALWAYS AS para colunas em instruções create/replace table
• [FAÍSCA-42870] [SC-126220][CONECTAR] Mover toCatalystValue para connect-common
• [FAÍSCA-42247] [SC-126107][CONECTAR][PYTHON] Corrija UserDefinedFunction para ter returnType
• [FAÍSCA-42875] [SC-126258][CONECTAR][PYTHON] Corrigir toPandas para lidar com os tipos de fuso horário e mapa corretamente
• [FAÍSCA-42757] [SC-125626][CONECTAR] Implementar textFile para DataFrameReader
• [FAÍSCA-42803] [SC-126081][CORE][SQL][ML] Use a função getParameterCount em vez de getParameterTypes.length
• [FAÍSCA-42833] [SC-126043][SQL] Refatorar applyExtensions em SparkSession
• [FAÍSCA-41765] Reverter "[SC-123550][SQL] Extrair métricas de gravação v1...
• [FAÍSCA-42848] [SC-126105][CONECTAR][PYTHON] Implementar DataFrame.registerTempTable
• [FAÍSCA-42020] [SC-126103][CONECTAR][PYTHON] Suporte UserDefinedType no Spark Connect
• [FAÍSCA-42818] [SC-125861][CONECTAR][PYTHON] Implementar DataFrameReader/Writer.jdbc
• [FAÍSCA-42812] [SC-125867][CONECTAR] Adicionar client_type a AddArtifactsRequest protobuf message
• [FAÍSCA-42772] [SC-125860][SQL] Altere o valor padrão das opções JDBC sobre push down para true
• [FAÍSCA-42771] [SC-125855][SQL] refatorar HiveGenericUDF
• [FAÍSCA-25050] [SC-123839][SQL] Avro: escrevendo uniões complexas
• [FAÍSCA-42765] [SC-125850][CONECTAR][PYTHON] Habilitar importação pandas_udf de pyspark.sql.connect.functions
• [FAÍSCA-42719] [SC-125225][CORE] MapOutputTracker#getMapLocation deve respeitar spark.shuffle.reduceLocality.enabled
• [FAÍSCA-42480] [SC-125173][SQL] Melhorar o desempenho de partições de queda
• [FAÍSCA-42689] [SC-125195][CORE][BARALHAR] Permitir que ShuffleDriverComponent declare se os dados aleatórios são armazenados de forma confiável
• [FAÍSCA-42726] [SC-125279][CONECTAR][PYTHON] Implementar DataFrame.mapInArrow
• [FAÍSCA-41765] [SC-123550][SQL] Extraia métricas de gravação v1 para WriteFiles
• [FAÍSCA-41171] [SC-124191][SQL] Inferir e empurrar para baixo o limite da janela através da janela se partitionSpec estiver vazio
• [FAÍSCA-42686] [SC-125292][CORE] Adiar formatação para mensagens de depuração no TaskMemoryManager
• [FAÍSCA-42756] [SC-125443][CONECTAR][PYTHON] Função auxiliar para converter proto literal em valor no Python Client
• [FAÍSCA-42793] [SC-125627][CONECTAR] connect módulo requer build_profile_flags
• [FAÍSCA-42701] [SC-125192][SQL] Adicionar a try_aes_decrypt() função
• [FAÍSCA-42679] [SC-125438][CONECTAR][PYTHON] createDataFrame não funciona com esquema não anulável
• [FAÍSCA-42733] [SC-125542][CONECTAR][Seguimento] Escrever sem caminho ou tabela
• [FAÍSCA-42777] [SC-125525][SQL] Suporte a conversão de estatísticas de catálogo TimestampNTZ para estatísticas de planejamento
• [FAÍSCA-42770] [SC-125558][CONECTAR] Adicionar truncatedTo(ChronoUnit.MICROS) para fazer SQLImplicitsTestSuite em Java 17 teste diário GA task pass
• [FAÍSCA-42752] [SC-125550][PYSPARK][SQL] Torne as exceções do PySpark imprimíveis durante a inicialização
• [FAÍSCA-42732] [SC-125544][PYSPARK][CONECTAR] Suporte spark connect session getActiveSession método
• [FAÍSCA-42755] [SC-125442][CONECTAR] Fator de conversão de valor literal para fora para connect-common
• [FAÍSCA-42747] [SC-125399][ML] Corrigir status interno incorreto de LoR e AFT
• [FAÍSCA-42740] [SC-125439][SQL] Corrija o bug de que o deslocamento pushdown ou a paginação são inválidos para algum dialeto interno
• [FAÍSCA-42745] [SC-125332][SQL] AliasAwareOutputExpression melhorado funciona com DSv2
• [FAÍSCA-42743] [SC-125330][SQL] Suporte analisar colunas TimestampNTZ
• [FAÍSCA-42721] [SC-125371][CONECTAR] Intercetador de log RPC
• [FAÍSCA-42691] [SC-125397][CONECTAR][PYTHON] Implementar Dataset.semanticHash
• [FAÍSCA-42688] [SC-124922][CONECTAR] Renomear client_id de solicitação do Connect proto para session_id
• [FAÍSCA-42310] [SC-122792][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_1289
• [FAÍSCA-42685] [SC-125339][CORE] Otimizar rotinas Utils.bytesToString
• [FAÍSCA-42725] [SC-125296][CONECTAR][PYTHON] Fazer com que LiteralExpression suporte parâmetros de matriz
• [FAÍSCA-42702] [SC-125293][FAÍSCA-42623][SQL] Suporte a consulta parametrizada em subconsulta e CTE
• [FAÍSCA-42697] [SC-125189][WEBUI] Corrija /api/v1/applications para retornar o tempo de atividade total em vez de 0 para o campo de duração
• [FAÍSCA-42733] [SC-125278][CONECTAR][PYTHON] Corrigir DataFrameWriter.save para trabalhar sem parâmetro path
• [FAÍSCA-42376] [SC-124928][SS] Introduzir a propagação de marcas d'água entre os operadores
• [FAÍSCA-42710] [SC-125205][CONECTAR][PYTHON] Renomeie FrameMap proto para MapPartitions
• [FAÍSCA-37099] [SC-123542][SQL] Introduza o limite de grupo de Janela para filtro baseado em classificação para otimizar a computação top-k
• [FAÍSCA-42630] [SC-125207][CONECTAR][PYTHON] Introduza UnparsedDataType e atrase a análise da cadeia de caracteres DDL até que o SparkConnectClient esteja disponível
• [FAÍSCA-42690] [SC-125193][CONECTAR] Implementar funções de análise CSV/JSON para o cliente Scala
• [FAÍSCA-42709] [SC-125172][PYTHON] Remover a suposição de __file__ estar disponível
• [FAÍSCA-42318] [SC-122648][FAÍSCA-42319][SQL] Atribuir nome a LEGACY_ERROR_TEMP(2123|2125)
• [FAÍSCA-42723] [SC-125183][SQL] Suporte ao tipo de dados do analisador json "timestamp_ltz" como TimestampType
• [FAÍSCA-42722] [SC-125175][CONECTAR][PYTHON] Python Connect def schema() não deve armazenar em cache o esquema
• [FAÍSCA-42643] [SC-125152][CONECTAR][PYTHON] Registrar funções Java (agregadas) definidas pelo usuário
• [FAÍSCA-42656] [SC-125177][CONECTAR][Seguimento] Corrigir o script spark-connect
• [FAÍSCA-41516] [SC-123899] [SQL] Permitir que dialetos jdbc substituam a consulta usada para criar uma tabela
• [FAÍSCA-41725] [SC-124396][CONECTAR] Execução ansiosa de DF.sql()
• [FAÍSCA-42687] [SC-124896][SS] Melhor mensagem de erro para a operação sem suporte pivot no Streaming
• [FAÍSCA-42676] [SC-124809][SS] Gravar pontos de verificação temporários para transmitir consultas para o sistema de arquivos local, mesmo que o FS padrão seja definido de forma diferente
• [FAÍSCA-42303] [SC-122644][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_1326
• [FAÍSCA-42553] [SC-124560][SQL] Assegure-se de pelo menos uma unidade de tempo após o "intervalo"
• [FAÍSCA-42649] [SC-124576][CORE] Remova o cabeçalho da Licença Apache padrão da parte superior dos arquivos de origem de terceiros
• [FAÍSCA-42611] [SC-124395][SQL] Inserir verificações de comprimento char/varchar para campos internos durante a resolução
• [FAÍSCA-42419] [SC-124019][CONECTAR][PYTHON] Migre para a estrutura de erro para a API de coluna do Spark Connect.
• [FAÍSCA-42637] [SC-124522][CONECTAR] Adicionar SparkSession.stop()
• [FAÍSCA-42647] [SC-124647][PYTHON] Alterar o alias para tipos preteridos e removidos do numpy
• [FAÍSCA-42616] [SC-124389][SQL] SparkSQLCLIDriver só deve fechar iniciado hive sessionState
• [FAÍSCA-42593] [SC-124405][PS] Deprecate & remove as APIs que serão removidas no pandas 2.0.
• [FAÍSCA-41870] [SC-124402][CONECTAR][PYTHON] Corrigir createDataFrame para lidar com nomes de colunas duplicados
• [FAÍSCA-42569] [SC-124379][CONECTAR] Lançar exceções para API de sessão sem suporte
• [FAÍSCA-42631] [SC-124526][CONECTAR] Suporte a extensões personalizadas no cliente Scala
• [FAÍSCA-41868] [SC-124387][CONECTAR][PYTHON] Corrigir createDataFrame para suportar durações
• [FAÍSCA-42572] [SC-124171][SQL][SS] Corrigir comportamento para StateStoreProvider.validateStateRowFormat

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 13.1.

Ambiente do sistema

• Sistema Operacional: Ubuntu 22.04.2 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Escala: 2.12.15
• Píton: 3.10.12
• R: 4.2.2
• Lago Delta: 2.4.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo da CRAN da Microsoft em 2023-02-10.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)