Databricks Tempo de execução 13.3 LTS

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 13.3 LTS, alimentado pelo Apache Spark 3.4.1.

A Databricks lançou esta versão em agosto de 2023.

Novos recursos e melhorias

• Suporte Scala para clusters compartilhados
• Allowlist para scripts init, JARs e coordenadas Maven no Unity Catalog clusters compartilhados está em Public Preview
• Volumes suporte para scripts init e JARs está no Public Preview
• Conversões seguras ativadas por predefinição para operações Delta Lake
• Introdução de tags com o Unity Catalog
• O Databricks Runtime retornará um erro se um arquivo for modificado entre o planejamento da consulta e a invocação
• Bloquear schema substituir ao usar o partition dinâmico substitui
• Integre a API copyFile em dbutils.fs.cp
• Suporte ao driver ODBC/JDBC do Databricks
• Suporte para marcadores de parâmetros sem nome (posicionais)
• Ativar a rotulagem de séries temporais column
• Novas funções SQL bitmap
• Funções de encriptação melhoradas
• Unity Catalog apoio para REFRESH FOREIGN
• INSERT PELO NOME
• Compartilhar o materializado views com Delta Sharing

Suporte Scala para clusters compartilhados

Os clusters compartilhados habilitados para Unity Catalogagora suportam Scala, ao usar o Databricks Runtime 13.3 e superior.

A lista de permissões para scripts init, JARs e coordenadas Maven nos clusters partilhados Unity Catalog está em visualização pública.

Agora você pode usar o Unity Catalogallowlist para controlar a instalação de scripts init, JARs e coordenadas Maven na computação com o modo de acesso compartilhado executando o Databricks Runtime 13.3 e superior. Consulte Bibliotecas Allowlist e scripts init em computação compartilhada.

Volumes suporte para scripts init e JARs está em Pré-visualização Pública

Agora você pode usar o Unity Catalogvolumes para armazenar scripts de inicialização e JARs em computação com modos de acesso atribuídos ou compartilhados executando o Databricks Runtime 13.3 e superior. Consulte Where se os scripts de inicialização podem ser instalados? e Bibliotecas com escopo de cluster.

Conversões seguras ativadas por predefinição para operações Delta Lake

As operações Delta UPDATE e MERGE agora resultam em um erro quando values não pode ser convertido com segurança para o tipo no tableschemade destino. Todos os elencos implícitos no Delta agora seguem spark.sql.storeAssignmentPolicy em vez de spark.sql.ansi.enabled. Consulte Conformidade ANSI em Databricks Runtime.

Apresentando tags com o Unity Catalog

Com o Databricks Runtime 13.3 LTS e posterior, você pode aplicar tags aos seus objetos protegíveis. As tags ajudam a organizar objetos protegíveis e simplificam a pesquisa e a descoberta de seus ativos de dados. Consulte Aplicar tags a objetos Unity protegíveis Catalog.

O Databricks Runtime retornará um erro se um arquivo for modificado entre o planejamento da consulta e a invocação

As consultas do Databricks Runtime agora retornam um erro se um arquivo for atualizado entre o planejamento e a chamada da consulta. Antes dessa alteração, o Databricks Runtime lia um arquivo entre esses estágios, o que ocasionalmente levava a resultados imprevisíveis.

Bloquear sobrescrita de schema ao usar sobrescritas dinâmicas de partition

Não é possível setoverwriteSchema para true em combinação com substituições de partition dinâmicas no Delta Lake. Isso evita possíveis casos de corrupção de table devido a incompatibilidade de schema. Consulte partition dinâmico substitui.

Integre a API copyFile em dbutils.fs.cp

O comando dbutils copy, dbutils.fs.cp agora está otimizado para uma cópia mais rápida. Com essa melhoria, as operações de cópia podem ser até 100x mais rápidas, dependendo do tamanho do arquivo. O recurso está disponível em todos os sistemas de arquivos acessíveis no Azure Databricks, inclusive para montagens do sistema de arquivos Unity CatalogVolumes e Databricks.

Suporte ao driver ODBC/JDBC do Databricks

O Azure Databricks suporta drivers ODBC e JDBC lançados nos últimos 2 anos. Baixe o driver mais recente em Download ODBC Driver e Download JDBC Driver.

Suporte para marcadores de parâmetros sem nome (posicionais)

A SparkSession.sql() API agora suporta consultas parametrizadas usando a ? sintaxe, além de consultas parametrizadas usando a :parm sintaxe. Consulte os marcadores de parâmetro.

Ativar a rotulagem de séries temporais column

Agora é possível atribuir rótulos a séries temporais columns ao criar restrições de chave primária.

Novas funções SQL bitmap

O Azure Databricks agora fornece uma set de funções que podem ser usadas para mapear values numéricas integrais num bitmap e agregá-las. Isso pode ser usado para pré-calcular o número distinto de values.

• bitmap_bit_position
• bitmap_bucket_number
• bitmap_construct_agg
• bitmap_count
• bitmap_or_agg

Funções de encriptação melhoradas

As funções aes_encrypt, aes_decrypt e try_aes_decrypt foram melhoradas com suporte para vetores de inicialização (IV) e dados adicionais autenticados (AAD).

Unity Catalog apoio para REFRESH FOREIGN

Agora você pode updatecatalogsestrangeiros, esquemas e tables no Unity Catalog usando REFRESH FOREIGN CATALOG, REFRESH FOREIGN SCHEMAe REFRESH FOREIGN TABLE. Ver REFRESH FOREIGN (CATALOG, SCHEMAe TABLE).

INSERT PELO NOME

Ao inserir linhas em um table, agora pode permitir que o Azure Databricks mapeie columns e os campos na consulta de origem automaticamente para o columns do tablepelo nome. Veja INSERT INTO.

Partilhe o views materializado com Delta Sharing

A declaração ALTER SHARE agora suporta viewsmaterializado.

Alterações interruptivas

Alterações na conversão implícita quando se armazenam linhas num table com MERGE INTO e UPDATE

Azure Databricks agora segue a configuração spark.sql.storeAssignmentPolicy para conversão implícita ao armazenar linhas em um table. O valor padrão ANSI gera um erro ao armazenar values que causa estouro. Anteriormente, values eram armazenados como NULL por padrão.

Como no exemplo a seguir, você pode resolver estouros reescrevendo o table para usar um tipo mais amplo para o column causando o erro.

-- Enable column mapping
ALTER TABLE MyTable SET TBLPROPERTIES (
    'delta.minReaderVersion' = '2',
    'delta.minWriterVersion' = '5',
    'delta.columnMapping.mode' = 'name'
  )

-- Rename the old column and create a new column with the new type using the old name
ALTER TABLE MyTable RENAME ID to ID_old
ALTER TABLE MyTable ADD COLUMN ID BIGINT

-- Rewrite the entire table
UPDATE MyTable SET ID = ID_old

-- Drop the old column
ALTER TABLE MyTable DROP COLUMN ID_old

Parquet Schema Modificações de Inferência

Ao inferir esquemas a partir de arquivos Parquet não escritos pelo Spark, int64 carimbo de data/hora columns anotado com isAdjustedToUTC=false agora será do tipo padrão TIMESTAMP_NTZ. Anteriormente, estes eram inferidos como TIMESTAMP tipo. Esse update aumenta a precisão do mapeamento de tipos Parquet para tipos Spark SQL.

Como resultado, a leitura de dados de arquivos Parquet externos em um table Delta pode levar a um erro se o recurso timestampNtz não estiver habilitado. O erro será exibido da seguinte forma:

Fatal exception of the update:
com.databricks.sql.transaction.tahoe.DeltaTableFeatureException
Your table schema requires manual enablement of the following table feature(s): timestampNtz.

Para manter o comportamento anterior e evitar esse erro, você pode set o parâmetro de configuração do Spark spark.sql.parquet.inferTimestampNTZ.enabled para false.

Atualizações da biblioteca

• Bibliotecas Python atualizadas:
  • depuração de 1.5.1 a 1.6.0
  • distlib de 0.3.6 a 0.3.7
  • fastjsonschema de 2.16.3 a 2.18.0
  • filelock de 3.12.0 a 3.12.2
• Bibliotecas R atualizadas:
  • SparkR de 3.4.0 a 3.4.1
• Bibliotecas Java atualizadas:
  • org.apache.orc.orc-core de 1.8.3-shaded-protobuf para 1.8.4-shaded-protobuf
  • org.apache.orc.orc-mapreduce de 1.8.3-shaded-protobuf para 1.8.4-shaded-protobuf
  • org.apache.orc.orc-shims de 1.8.3 a 1.8.4
  • org.eclipse.jetty.jetty-client de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.jetty-continuação de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.jetty-http de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.jetty-io de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.jetty-jndi de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.jetty-plus de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.jetty-proxy de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.jetty-security de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.jetty-server de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.jetty-servlet de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.jetty-servlets de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.jetty-util de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.jetty-util-ajax de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.jetty-webapp de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.jetty-xml de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-api de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-client de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-common de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-server de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-servlet de 9.4.50.v20221201 a 9.4.51.v20230217
  • org.xerial.snappy.snappy-java de 1.1.8.4 a 1.1.10.1

Faísca Apache

O Databricks Runtime 13.3 inclui o Apache Spark 3.4.1. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 13.2 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• Agora você pode set variável de ambiente de cluster SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12 para usar o conector Spark-snowflake v2.12.0.
• [FAÍSCA-43380] [DBRRM-383] Reverter "[SC-133100][SQL] Corrigir Avro tipo de dados conver...
• [FAÍSCA-44504] [Backport][13.2][13.x][13.3] Descarrega o provedor forçando o fechamento da instância de banco de dados e liberando recursos em caso de erro na tarefa de manutenção
• [FAÍSCA-44059] [SC-137023] Adicionar suporte ao analisador de argumentos nomeados para funções internas
• [SPARK-44485] [SC-137653][SQL] Optimize TreeNode.generateTreeString
• [FAÍSCA-42944] [SC-137164][SS][PYTHON] Streaming ForeachBatch em Python
• [SPARK-44446] [SC-136994][PYTHON] Adicionar verificações para casos especiais esperados do tipo list
• [FAÍSCA-44439] [SC-136973][CONECTAR][SS]Lista fixaListeners para enviar apenas ids de volta ao cliente
• [FAÍSCA-44216] [SC-136941] [PYTHON] Tornar a API assertSchemaEqual pública
• [FAÍSCA-44201] [SC-136778][CONECTAR][SS]Adicionar suporte para Streaming Listener no Scala for Spark Connect
• [FAÍSCA-43915] [SC-134766][SQL] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[2438-2445]
• [SPARK-43798] Revert "[SC-133990][SQL][PYTHON] Suporta funções de table definidas pelo usuário do Python"
• [FAÍSCA-44398] [SC-136720][CONECTAR] Scala foreachBatch API
• [FAÍSCA-44476] [SC-137169][CORE][CONECTAR] Corrigir a população de artefatos para um JobArtifactState sem artefatos associados
• [FAÍSCA-44269] [SC-135817][SQL] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[2310-2314]
• [SPARK-44395] [SC-136744][SQL] Update argumentos TVF para exigir parênteses ao redor de identifier após a palavra-chave TABLE
• [FAÍSCA-43915] [SC-134766][SQL] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[2438-2445]
• [FAÍSCA-43995] [SC-136794][FAÍSCA-43996][CONECTAR] Adicionar suporte para UDFRegistration ao cliente Connect Scala
• [SPARK-44109] [SC-134755][CORE] Remove duplicar os locais preferenciais de cada RDD partition
• [FAÍSCA-44169] [SC-135497][SQL] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[2300-2304]
• [FAÍSCA-41487] [SC-135636][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_1020
• [FAÍSCA-44398] [SC-136720][CONECTAR] Scala foreachBatch API
• [SPARK-44153] [SC-134977][CORE][UI] Suporte Heap Histogramcolumn na guia Executors
• [SPARK-44044] [SC-135695][SS] Melhorar mensagem de erro para funções Window com streaming
• [FAÍSCA-43914] [SC-135414][SQL] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[2433-2437]
• [FAÍSCA-44217] [SC-136805][PYTHON] Permitir precisão personalizada para fp aproximadamente igualdade
• [FAÍSCA-44370] [SC-136575][CONECTAR] Migrar Buf geração remota alfa para plugins remotos
• [SPARK-44410] [SC-136930][PYTHON][CONNECT] Set sessão ativa na create, não apenas getOrCreate
• [FAÍSCA-44348] [SAS-1910][SC-136644][13.X][CORE][CONECTAR][PYTHON] Reativar test_artifact com alterações relevantes
• [FAÍSCA-44145] [SC-136698][SQL] Retorno de chamada quando estiver pronto para execução
• [FAÍSCA-44264] [SC-136870][PYTHON][ML] Classe FunctionPickler
• [FAÍSCA-43986] [SC-135623][SQL] Criar classes de erro para falhas de chamada de função HyperLogLog
• [FAÍSCA-44139] [SC-134967][SQL] Descartar filtros completamente pressionados para baixo em operações MERGE baseadas em grupo
• [SPARK-44338] [SC-136718][SQL] Corrigir mensagem de erro de incompatibilidade da vista schema
• [FAÍSCA-44208] [SC-135505][CORE][SQL] Atribua nomes de classe de erro claros para alguma lógica que usa exceções diretamente
• [SPARK-44364] [SC-136773] [PYTHON] Adicionar suporte para Listtipo de dados [Linha] para o esperado
• [FAÍSCA-44180] [SC-136792][SQL] DistributionAndOrderingUtils deve aplicar ResolveTimeZone
• [FAÍSCA-43389] [SC-136772][SQL] Adicionada uma verificação nula para a opção lineSep
• [FAÍSCA-44388] [SC-136695][CONECTAR] Corrigir problema de transmissão de protobuf quando a instância UDF é atualizada
• [FAÍSCA-44352] [SC-136373][CONECTAR] Coloque de volta sameType e amigos em DataType.
• [SPARK-43975] [SC-134265][SQL] DataSource V2: Manipular comandos UPDATE para fontes baseadas em grupos
• [SPARK-44360] [SC-136461][SQL] Suporte schema poda em operações MERGE baseadas em delta
• [FAÍSCA-44138] [SC-134907][SQL] Proibir expressões não determinísticas, subconsultas e agregações em condições MERGE
• [FAÍSCA-43321] [SC-136678][Conectar][Seguimento] Melhores nomes para APIs usadas no Scala Client joinWith
• [FAÍSCA-44263] [SC-136447][CONECTAR] Suporte a intercetadores personalizados
• [SPARK-39851] [SC-123383][SQL] Melhore join estimativa de estatísticas se um lado puder manter a exclusividade
• [FAÍSCA-44390] [SC-136677][CORE][SQL] Renomear SparkSerDerseUtils para SparkSerDeUtils
• [FAÍSCA-44004] [SC-134751][SQL] Atribuir nome & melhorar a mensagem de erro para erros LEGACY frequentes.
• [FAÍSCA-44322] [SC-136204][CONECTAR] Faça o analisador usar SqlApiConf em vez de SQLConf.
• [SPARK-44271] [SC-136347][SQL] Mover funções values padrão de StructType para ResolveDefaultColumns
• [SPARK-44332] [SC-136413][CORE][WEBUI] Corrigir o erro de classificação do ID do Executor Column na página da interface do usuário dos Executores
• [FAÍSCA-44282] [SC-135948][CONECTAR] Preparar a análise DataType para uso no Spark Connect Scala Client
• [FAÍSCA-44349] [SC-136581][R] Adicionar funções matemáticas ao SparkR
• [FAÍSCA-44397] [SC-136647][PYTHON] Exponha assertDataFrameEqual em pyspark.testing.utils
• [FAÍSCA-42981] [SC-136620][CONECTAR] Adicionar serialização de seta direta
• [FAÍSCA-44373] [SC-136577][SQL] Wrap withActive for Dataset API com lógica de análise para fazer com que a configuração relacionada ao analisador funcione
• [FAÍSCA-44340] [SC-136574][SQL] Defina a lógica de computação através da API PartitionEvaluator e use-a em WindowGroupLimitExec
• [FAÍSCA-43665] [SC-136573][CONECTAR][PS] Habilite o PandasSQLStringFormatter.vformat para trabalhar com o Spark Connect
• [FAÍSCA-44325] [SC-136572][SQL] Usar a API PartitionEvaluator em SortMergeJoinExec
• [FAÍSCA-44315] [SC-136171][SQL][CONECTAR] Mover DefinedByConstructorParams para sql/api
• [FAÍSCA-44275] [SC-136184][CONECTAR] Adicionar mecanismo de repetição configurável ao Scala Spark Connect
• [FAÍSCA-44326] [SC-136208][SQL][CONECTAR] Mover utils que são usados do cliente Scala para os módulos comuns
• [FAÍSCA-43321] [SC-136156][Conectar] Conjunto de dados#Joinwith
• [FAÍSCA-44343] [SC-136372][CONECTAR] Preparar o ScalaReflection para a mudança para SQL/API
• [SPARK-44313] [SC-136081][SQL] Correção gerada column validação de expressão quando há um column char/varchar no schema
• [FAÍSCA-43963] [SC-134145][SQL] DataSource V2: Manipular comandos MERGE para fontes baseadas em grupo
• [FAÍSCA-44363] [SC-136433] [PYTHON] Exibir porcentagem de linhas desiguais na comparação de DataFrame
• [SPARK-44251] [SC-136432][SQL] Set anulável corretamente na chave join coalescida no exterior completo USANDO join
• [FAÍSCA-43948] [SC-133366][SQL] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[0050|0057|0058|0059]
• [FAÍSCA-44329] [SC-136326][CONECTAR][PYTHON] Adicionar hll_sketch_agg, hll_union_agg, to_varchar try_aes_decrypt ao Scala e Python
• [FAÍSCA-44351] [SC-136353][SQL] Faça alguma simplificação sintática
• [FAÍSCA-44281] [SC-135963][SQL] Erro Move QueryCompilation usado por DataType para sql/api como DataTypeErrors
• [FAÍSCA-44283] [SC-136109][CONECTAR] Mover a origem para SQL/API
• [FAÍSCA-43926] [SC-135590][CONECTAR][PYTHON] Adicione array_agg, array_size, cardinality, count_min_sketch,mask,named_struct,json_* ao Scala e Python
• [FAÍSCA-44327] [SC-136187][SQL][CONECTAR] Adicionar funções any e len ao Scala
• [FAÍSCA-44290] [SC-136300][CONECTAR] Arquivos e arquivos baseados em sessão no Spark Connect
• [FAÍSCA-44061] [SC-136299][PYTHON] Adicionar função util assertDataFrameEqual
• [FAÍSCA-44331] [SC-136324][CONECTAR][PYTHON] Adicionar funções de bitmap ao Scala e Python
• [FAÍSCA-44342] [SC-136334][SQL] Substitua SQLContext por SparkSession para GenTPCDSData
• [SPARK-42583] [SC-124190][SQL] Remove a join externa se todas forem funções agregadas distintas
• [FAÍSCA-44333] [SC-136206][CONECTAR][SQL] Mover EnhancedLogicalPlan para fora do ParserUtils
• [FAÍSCA-43824] [SC-132655][FAÍSCA-43825] [SQL] Atribuir nomes à classe de erro _LEGACY_ERROR_TEMP_128[1-2]
• [FAÍSCA-43939] [SC-134602][CONECTAR][PYTHON] Adicionar funções try_* ao Scala e Python
• [FAÍSCA-44193] [SC-135886][CONECTAR] Implementar intercetação de exceções GRPC para conversão
• [FAÍSCA-44284] [SC-136107][CONECTAR] Crie um sistema conf simples para sql/api
• [FAÍSCA-43913] [SC-133368][SQL] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[2426-2432]
• [SPARK-44291] Reverter "[SC-135924][SPARK-43416][CONNECT] Corrigir schema incorreta para consulta de intervalo"
• [SPARK-44312] [SC-136185][CONNECT][PYTHON] Permitir set um agente de usuário com uma variável de ambiente
• [FAÍSCA-44154] [SC-136060] Implementar funções de bitmap
• [FAÍSCA-43885] [SC-133996][SQL] DataSource V2: Manipular comandos MERGE para fontes baseadas em delta
• [FAÍSCA-43924] [SC-135161][CONECTAR][PYTHON] Adicionar funções misc ao Scala e Python
• [FAÍSCA-43969] [SC-134556][SQL] Refatorar & Atribuir nomes à classe de erro _LEGACY_ERROR_TEMP_1170
• [SPARK-44185] [SC-135730][SQL] Corrigir a qualificação de caminho inconsistente entre catalog e operações de dados
• [FAÍSCA-44073] [SC-134562][SQL][PYTHON][CONECTAR] Adicionar funções de data e hora ao Scala, Python e Connect - parte 2
• [FAÍSCA-43942] [SC-134527][CONECTAR][PYTHON] Adicionar funções de cadeia de caracteres ao Scala e Python - parte 1
• [FAÍSCA-44266] [SC-135813][SQL] Mover Util.truncatedString para sql/api
• [FAÍSCA-44195] [SC-135722][R] Adicionar APIs JobTag ao SparkR SparkContext
• [SPARK-44200] [SC-135736][SQL] Suporte TABLE regra do analisador de argumentos para TableValuedFunction
• [FAÍSCA-44254] [SC-135709][SQL] Mover QueryExecutionErrors usado por DataType para sql/api como DataTypeErrors
• [SPARK-44291] [SC-135924][SPARK-43416][CONNECT] Corrigir schema incorreta para consulta de intervalo
• [FAÍSCA-43922] [SC-135612][SQL] Adicionar suporte a parâmetros nomeados no analisador para chamadas de função
• [SPARK-44300] [SC-135882][CONNECT] Corrigir a limpeza de artefatos para limit escopo de exclusão para artefatos específicos da sessão
• [FAÍSCA-44293] [SC-135849][CONECTAR] Corrigir URI inválido para JARs personalizados no Spark Connect
• [FAÍSCA-44215] [SC-135850][BARALHAR] Se os blocos num forem 0, o servidor deverá lançar um RuntimeException
• [FAÍSCA-44245] [SC-135851][PYTHON] pyspark.sql.dataframe sample() doctests deve ser apenas ilustrativo
• [FAÍSCA-44274] [SC-135814][CONECTAR] Mover funções util usadas pelo ArtifactManager para common/utils
• [FAÍSCA-44194] [SC-135815][PYTHON][CORE] Adicionar APIs JobTag ao PySpark SparkContext
• [FAÍSCA-42828] [SC-135733][PYTHON][SQL] Anotações de tipo Python mais explícitas para GroupedData
• [FAÍSCA-44079] [SC-135486][SQL] Corrigir ArrayIndexOutOfBoundsException quando analisar matriz como struct usando o modo PERMISSIVE com registro corrompido
• [FAÍSCA-44255] [SC-135809][SQL] Realoque StorageLevel para common/utils
• [FAÍSCA-42169] [SC-135795] [SQL] Implementar geração de código para to_csv função (StructsToCsv)
• [FAÍSCA-44249] [SC-135719][SQL][PYTHON] Refatore PythonUDTFRunner para enviar seu tipo de retorno separadamente
• [FAÍSCA-43353] [SC-132734][PYTHON] Migrar erros de sessão restantes para a classe de erro
• [FAÍSCA-44211] [SC-135718][PYTHON][CONECTAR] Implementar SparkSession.is_stopped
• [FAÍSCA-42784] [SC-135691] ainda deve criar subDir quando o número de subDir em merge dir for menor que conf
• [FAÍSCA-41599] [SC-135616] Vazamento de memória no FileSystem.CACHE ao enviar aplicativos para cluster seguro usando InProcessLauncher
• [SPARK-44241] [SC-135613][Core] Erroneamente set io.connectionTimeout/connectionCreationTimeout para zero ou negativo causará contras/destruições incessantes do executor
• [FAÍSCA-44133] [SC-134795][13.X][PYTHON] Atualize o MyPy de 0.920 para 0.982
• [FAÍSCA-42941] [SC-134707][SS][CONECTAR][1/2] StreamingQueryListener - Serde de eventos em formato JSON
• [SPARK-44188] [SC-135173][CORE] Remove método resetAllPartitions inútil em ActiveJob
• [SPARK-43757] [SC-135418][CONNECT] Alterar a compatibilidade do cliente de permitir list para denylist
• [FAÍSCA-43474] [SC-135521] [SS] [CONECTAR] Adicione um acesso de conexão de faísca a Dataframes de tempo de execução por ID.
• [FAÍSCA-44183] [SC-135209][PYTHON] Increate PyArrow versão mínima para 4.0.0
• [FAÍSCA-44248] [SC-135554][SS][SQL][Kafka] Adicionar localização preferida na fonte kafka v2
• [FAÍSCA-43929] [SC-134510][SQL][PYTHON][CONECTAR] Adicionar funções de data e hora ao Scala, Python e Connect API - parte 1
• [FAÍSCA-44161] [SC-135326][Conectar] Manipular entrada de linha para UDFs
• [FAÍSCA-44227] [SC-135520][SQL] Extrair SchemaUtils de StructField
• [FAÍSCA-44064] [SC-135116][CORE][SQL] Adicionar uma nova apply função a NonFateSharingCache
• [FAÍSCA-44171] [SC-135269][SQL] Atribuir nomes à classe de erro LEGACY_ERROR_TEMP[2279-2282] & excluir algumas classes de erro não utilizadas
• [FAÍSCA-44056] [SC-134758][SQL] Incluir nome UDF na mensagem de erro de falha de execução UDF quando disponível
• [FAÍSCA-44205] [SC-135422][SQL] Extrair código Catalyst de DecimalType
• [FAÍSCA-44220] [SC-135484][SQL] Mover StringConcat para sql/api
• [FAÍSCA-44146] [SC-135230][CONECTAR] Isolar jars de sessão e arquivos de classe do Spark Connect
• [FAÍSCA-44206] [SC-135411][SQL] DataSet.selectExpr escopo Session.ative
• [FAÍSCA-40850] [SC-135417][SQL] Corrigir consultas interpretadas de caso de teste podem executar Codegen
• [FAÍSCA-44204] [SC-135253][SQL][VIH] Adicionar registro ausenteHiveCall para getPartitionNames
• [FAÍSCA-44237] [SC-135485][CORE] Simplifique a lógica de pesquisa do construtor DirectByteBuffer
• [SPARK-44189] [SC-135170][CONNECT][PYTHON] Suporte parameters posicional por sql()
• [SPARK-44140] [SC-134893][SQL][PYTHON] Suporte parameters posicional em Python sql()
• [FAÍSCA-44164] [SC-135158][SQL] Método Extract toAttribute da classe StructField para Util
• [SPARK-44178] [SC-135113][CONNECT] Suporte parameters posicional em sql()
• [FAÍSCA-43208] [SC-128955][SQL][VIH] IsolatedClassLoader deve fechar a classe de barreira InputStream após a leitura
• [FAÍSCA-43063] [SC-128382][SQL] df.show handle null deve imprimir NULL em vez de null
• [FAÍSCA-42539] [SC-124464][SQL][VIH] Elimine o carregador de classes separado ao usar a versão 'integrada' do Hive para o cliente de metadados
• [SPARK-43992] [SC-133645][SQL][PYTHON][CONNECT] Adicionar padrão opcional para Catalog.listFunctions
• [SPARK-44066] [SC-134878][SQL] Suporte parameters posicional em Scala/Java sql()
• [FAÍSCA-44078] [SC-134869][CONECTAR][CORE] Adicionar suporte para o isolamento do carregador de classes/recursos
• [FAÍSCA-43470] [SC-135187][CORE] Adicionar informações de versão do SO, Java e Python ao log do aplicativo
• [FAÍSCA-43136] [SC-135238][CONECTAR][Seguimento] Adicionando testes para KeyAs
• [FAÍSCA-39740] [SC-135093][UI]: Atualize a linha do tempo para 7.7.2 para corrigir CVE-2020-28487
• [FAÍSCA-42298] [SC-133952][SQL] Atribuir nome a _LEGACY_ERROR_TEMP_2132
• [SPARK-43961] [SC-133459][SQL][PYTHON][CONNECT] Adicionar padrão opcional para Catalog.listTables
• [FAÍSCA-44026] [SC-135181] Permitir o fornecimento de valor inicial para SQLMetrics
• [FAÍSCA-44202] [SC-135244][CORE] Adicionar APIs JobTag ao JavaSparkContext
• [FAÍSCA-44030] [SC-135237][SQL] Implementar DataTypeExpression para oferecer Unapply for expression
• [FAÍSCA-43876] Reverter "[SC-134603][SQL] Ativar hashmap rápido para consultas distintas"
• [FAÍSCA-40082] [SC-126437] Agendar mesclagemFinalizar quando a mesclagem por push shuffleMapStage tentar novamente, mas sem tarefas em execução
• [FAÍSCA-43888] [SC-132893][CORE] Realoque o registro em log para common/utils
• [FAÍSCA-43474] [SC-134400] [SS] [CONECTAR] Adicionar SessionHolder ao SparkConnectPlanner
• [FAÍSCA-43944] [SC-134490][CONECTAR][PYTHON] Adicionar funções de cadeia de caracteres ao Scala e Python - parte 2
• [SPARK-44134] [SC-134954][CORE] Corrija os recursos de configuração (GPU/FPGA) para 0 quando estiverem set em spark-defaults.conf
• [FAÍSCA-44142] [SC-134947][PYTHON] Substitua o tipo pelo tpe no utilitário para converter tipos python em tipos de faísca
• [FAÍSCA-43952] [SC-134695][CORE][CONECTAR][SQL] Adicionar APIs SparkContext para cancelamento de consultas por tag
• [SPARK-44000] [SC-133634][SQL] Adicione uma dica para desativar a transmissão e a replicação de um lado do join
• [FAÍSCA-43937] [SC-134362][CONECTAR][PYTHON] Adicione ifnull,isnotnull,equal_null,nullif,nvl,nvl2 ao Scala e Python
• [FAÍSCA-43624] [13.x][SC-134557][PS][CONECTAR] Adicionar EWM ao SparkConnectPlanner.
• [FAÍSCA-44040] [SC-134366][SQL] Corrigir estatísticas de computação quando o nó AggregateExec acima de QueryStageExec
• [FAÍSCA-43485] [SC-131264][SQL] Corrija a mensagem de erro para o unit argumento das funções datetime add/diff
• [FAÍSCA-43794] [SC-132561][SQL] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_1335
• [FAÍSCA-43511] [SC-134749][CONECTAR][SS]APIs MapGroupsWithState e FlatMapGroupsWithState implementadas para o Spark Connect
• [SPARK-43529] [SQL] Suporte CRIAR/SUBSTITUIR TABLE OPÇÕES expressões + limpeza de código
• [FAÍSCA-44106] [SC-134750][PYTHON][CONECTAR] Adicionar __repr__ para GroupedData
• [FAÍSCA-42299] [SC-133190] Atribuir nome a _LEGACY_ERROR_TEMP_2206
• [FAÍSCA-43290] [SC-134388][SQL] Adiciona suporte para aes_encrypt IVs e AAD
• [FAÍSCA-43932] [SC-134138][SQL][PYTHON][CONECTAR] Adicionar current funções semelhantes ao Scala e Python
• [FAÍSCA-43934] [SC-134108][SQL][PYTHON][CONECTAR] Adicionar funções regexp_* ao Scala e Python
• [SPARK-44107] [SC-134746][CONNECT][PYTHON] Ocultar métodos Column não suportados do preenchimento automático
• [FAÍSCA-42941] [SC-134707][SS][CONECTAR][1/2] StreamingQueryListener - Serde de eventos em formato JSON
• [FAÍSCA-43773] [SC-132659][CONECTAR][PYTHON] Implementar funções 'levenshtein(str1, str2[, threshold])' no cliente python
• [FAÍSCA-44125] [SC-134745][R] Suporte Java 21 no SparkR
• [FAÍSCA-43919] [SC-133374][SQL] Extrair a funcionalidade JSON da linha
• [FAÍSCA-43769] [SC-132520][CONECTAR] Implementar funções 'levenshtein(str1, str2[, threshold])'
• [FAÍSCA-44012] [SC-134662][SS] KafkaDataConsumer para imprimir algum status de leitura
• [FAÍSCA-43876] [SC-134603][SQL] Habilite o hashmap rápido para consultas distintas
• [FAÍSCA-44024] [SC-134497][SQL] Alterar para usar map quando unzip usado apenas para extrair um único elemento
• [FAÍSCA-43928] [SC-134467][SQL][PYTHON][CONECTAR] Adicione operações de bit ao Scala, Python e API Connect
• [FAÍSCA-44092] [SC-134506][CORE] Adicionar Utils.isJavaVersionAtLeast21 e fazer core o módulo passar com Java 21
• [FAÍSCA-44018] [SC-134512][SQL] Melhorar o hashCode e toString para algumas expressões DS V2
• [FAÍSCA-44105] [SC-134582][SQL] LastNonNull deve ser resolvido preguiçosamente
• [FAÍSCA-44081] [SC-134434] Simplifique um pouco a API PartitionedFileUtil
• [FAÍSCA-43791] [SC-132531][SQL] Atribuir um nome à classe de erro _LEGACY_ERROR_TEMP_1336
• [FAÍSCA-44071] [SC-134435] Definir e usar Unresolved[Leaf|Unário]Traços do nó.
• [FAÍSCA-43852] [SC-132890][FAÍSCA-43853][FAÍSCA-43854][FAÍSCA-43855][FAÍSCA-43856] Atribuir nomes à classe de erro _LEGACY_ERROR_TEMP_2418-2425
• [SPARK-43742] [SC-132684][SQL] Refatorar a resolução do valor padrão column
• [FAÍSCA-43493] [SC-132063][SQL] Adicionar um argumento de distância máxima à função levenshtein()
• [FAÍSCA-44075] [SC-134382][CONECTAR] Faça transformStatCorr preguiça
• [FAÍSCA-43925] [SC-134381][SQL][PYTHON][CONECTAR] Adicione alguns, bool_or,bool_and,todos ao Scala, Python e Connect
• [FAÍSCA-43931] [SC-134158][SQL][PYTHON][CONECTAR] Adicionar funções make_* ao Scala e Python
• [FAÍSCA-43762] [SC-132602][FAÍSCA-43763][FAÍSCA-43764][FAÍSCA-43765][FAÍSCA-43766][SQL] Atribuir nomes à classe de erro _LEGACY_ERROR_TEMP_24[06-10]
• [FAÍSCA-43962] [SC-133367][SQL] Melhorar as mensagens de erro: CANNOT_DECODE_URL, CANNOT_MERGE_INCOMPATIBLE_DATA_TYPE, CANNOT_PARSE_DECIMAL, CANNOT_READ_FILE_FOOTER, CANNOT_RECOGNIZE_HIVE_TYPE.
• [FAÍSCA-43938] [SC-133887][CONECTAR][PYTHON] Adicionar funções to_* ao Scala e Python
• [SPARK-44055] [SC-134321][CORE] Remove funções override redundantes do CheckpointRDD
• [FAÍSCA-43802] [SC-132597][SQL] Corrija codegen para unhex e unbase64 com failOnError=true
• [SPARK-43798] [SC-133990][SQL][PYTHON] Suporta funções de table definidas pelo usuário Python
• [FAÍSCA-43941] [SC-134286][SQL][PYTHON][CONECTAR] Adicione any_value, approx_percentile, count_if, first_value, histogram_numeric, last_value, reduza para Scala, Python e Connect API
• [FAÍSCA-43380] [SC-133100][SQL] Corrija problemas de conversão de tipo de dados Avro para evitar a produção de resultados incorretos
• [FAÍSCA-43803] [SC-133729] [SS] [CONECTAR] Melhorar awaitTermination() para lidar com desconexões de cliente
• [FAÍSCA-43179] [SC-129070][BARALHAR] Permitindo que os aplicativos controlem se seus metadados são salvos no banco de dados pelo Serviço de Aleatório Externo

Suporte ao driver ODBC/JDBC do Databricks

O Databricks suporta drivers ODBC/JDBC lançados nos últimos 2 anos. Faça o download dos drivers lançados recentemente e atualize (baixe ODBC, baixe JDBC).

Consulte Atualizações de manutenção do Databricks Runtime 13.3.

Ambiente do sistema

• Sistema Operacional: Ubuntu 22.04.2 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Escala: 2.12.15
• Píton: 3.10.12
• R: 4.2.2
• Lago Delta: 2.4.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo da CRAN da Microsoft em 2023-02-10.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)