Tempo de execução do Databricks 11.3 LTS

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 11.3 LTS, alimentado pelo Apache Spark 3.3.0. A Databricks lançou esta versão em outubro de 2022.

Mudanças comportamentais

[Mudança de rutura] Nova versão do Python requer atualização de clientes Python Databricks Connect V1

Para aplicar os patches de segurança necessários, a versão Python no Databricks Runtime 11.3 LTS é atualizada de 3.9.5 para 3.9.19. Como essas alterações podem causar erros em clientes que usam funções específicas do PySpark, todos os clientes que usam o Databricks Connect V1 for Python com Databricks Runtime 11.3 LTS devem ser atualizados para Python 3.9.7 ou posterior.

Novos recursos e melhorias

• O gatilho de Streaming estruturado uma vez preterido
• Alterar o caminho de origem do Auto Loader
• O conector Databricks Kinesis agora suporta a leitura de fluxos de dados do Kinesis no modo EFO
• Novas funções geoespaciais H3 e adicionado suporte a fótons para todas as funções H3
• Novos recursos para E/S preditiva
• Aumentando as partições iniciais para procurar consultas seletivas
• Visualização de novas versões do plano AQE
• Novos modos assíncronos de acompanhamento de progresso e limpeza de logs
• Streaming estruturado no Unity Catalog agora suporta display()
• Os eventos de pipeline agora são registrados no formato JSON
• Processamento arbitrário com estado em streaming estruturado com Python
• Inferência de data em arquivos CSV
• Suporte de Clonagem para Apache Parquet e Apache Iceberg tables (Visualização Pública)
• Use SQL para especificar locais de armazenamento em nível schemae catalogpara Unity Catalog gerenciado tables

O gatilho de Streaming estruturado uma vez preterido

A Trigger.Once configuração foi preterida. A Databricks recomenda o uso do Trigger.AvailableNow. Consulte Configurar intervalos de gatilho de Streaming Estruturado.

Alterar o caminho de origem do Auto Loader

Agora você pode alterar o caminho de entrada do diretório para o Auto Loader configurado com o modo de listagem de diretórios sem having escolher um novo diretório de ponto de verificação. Consulte Alterar o caminho de origem do Auto Loader.

O conector Databricks Kinesis agora suporta a leitura de fluxos de dados do Kinesis no modo EFO

Agora você pode usar a fonte de streaming estruturada do Databricks Kinesis no Databricks Runtime 11.3 LTS para executar consultas lidas de fluxos do Kinesis Data no modo de distribuição avançado. Isso permite uma taxa de transferência dedicada por fragmento, por consumidor e entrega de registros no modo push.

Novas funções geoespaciais H3 e adicionado suporte a fótons para todas as funções H3

Apresentamos 4 novas funções H3, h3_maxchild, h3_minchild, h3_pointash3, e h3_pointash3string. Essas funções estão disponíveis em SQL, Scala e Python. Todas as expressões H3 agora são suportadas no Photon. Ver funções geoespaciais H3.

Novos recursos para E/S preditiva

Photon suporta o modo de alcance para executar quadros, usando RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW. Photon também suporta o modo de alcance para quadros de crescimento, usando RANGE BETWEEN UNBOUNDED PRECEDING AND offset_stop { PRECEDING | FOLLOWING }.

Aumentando as partições iniciais para procurar consultas seletivas

O valor das partições iniciais a serem verificadas foi aumentado para 10 para consulta seletiva com take/tail/limit clusters habilitados para Photon e LIMIT Databricks SQL. Com 10 partições, você pode evitar a sobrecarga de iniciar vários trabalhos pequenos e uma expansão lenta. Você também pode configurar isso através do spark.sql.limit.selectiveInitialNumPartitions.

Visualização de novas versões do plano AQE

Apresentando versões de plano AQE que permitem visualizar as atualizações do plano de tempo de execução a partir da execução de consulta adaptável (AQE).

Novos modos assíncronos de acompanhamento de progresso e limpeza de logs

Introdução aos modos de Streaming Estruturado chamados acompanhamento de progresso assíncrono e limpeza assíncrona de logs. O modo assíncrono de limpeza de logs reduz a latência das consultas de streaming, removendo os logs usados para o acompanhamento do progresso em segundo plano.

Streaming estruturado no Unity Catalog agora suporta display()

Agora você pode usar display() ao usar o Streaming estruturado para trabalhar com tables registrados no Unity Catalog.

Os eventos de pipeline agora são registrados no formato JSON

O Azure Databricks agora grava eventos de pipeline no log do driver no formato JSON. Embora cada evento seja analisável por JSON, eventos grandes podem não conter todos os campos ou os campos podem ser truncados. Cada evento é registrado em uma única linha com o prefixo Event received: . Segue-se um exemplo de evento.

Event received: {"id":"some-event-id","origin":{"pipeline_id":"some-pipeline-id","cluster_id":"some-cluster id"},"message":"simple [truncated] message","level":"WARN"}

Processamento arbitrário com estado em streaming estruturado com Python

Apresentando a applyInPandasWithState função que pode ser usada para executar processamento stateful arbitrário no PySpark. Isso é equivalente à flatMapGroupsWithState função na API Java.

Inferência de data em arquivos CSV

Introdução da inferência aprimorada de tipo de data columns em arquivos CSV. Quando o formato de data é consistente entre os registros de um column, esses columns podem ser inferidos como DateType. Você também pode ter uma combinação de formatos de data em diferentes columns. O Azure Databricks pode inferir automaticamente o formato de data para cada column. Data columns em ficheiros CSV anteriores ao Databricks Runtime 11.3 LTS ficam como StringType.

Suporte de clonagem para Apache Parquet e Apache Iceberg tables (Visualização pública)

O Clone agora pode ser usado para criar e incrementar a update Delta tables que espelha o Apache Parquet e o Apache Iceberg tables. Você pode update o Parquet de origem table e executar incrementalmente as alterações ao seu Delta clonado table com o comando clone. Veja Incrementally clone Parquet e Iceberg tables para Delta Lake.

Use SQL para especificar locais de armazenamento em nível schemae catalogpara o Unity Catalog gerenciado tables

Agora você pode usar o comando MANAGED LOCATION SQL para especificar um local de armazenamento em nuvem para tables gerenciados nos níveis catalog e schema. Veja CREATE CATALOG e CREATE SCHEMA.

Alterações de comportamento

Databricks Connect 11.3.2

O cliente Databricks Connect update 11.3.2 agora é suportado. Consulte Notas de versão do Databricks Connect e do Databricks Connect.

Conector Snowflake do Azure Databricks atualizado

O conector Snowflake do Azure Databricks foi atualizado para a versão mais recente do código do repositório de código aberto, Snowflake Data Source for Apache Spark. Agora é totalmente compatível com o Databricks Runtime 11.3 LTS, incluindo pushdown de predicados e pushdown de plano de consulta interno, mantendo todos os recursos da versão de código aberto.

O cache do Hadoop para S3A agora está desativado

O cache Hadoop (FileSystem Apache Hadoop Main 3.3.4 API) para S3A agora está desativado. Isso é para alinhar com outros conectores de armazenamento em nuvem. Para cargas de trabalho que dependem do cache do sistema de arquivos, verifique se os sistemas de arquivos recém-criados são fornecidos com as configurações corretas do Hadoop, incluindo credenciais providers.

A coleta de estatísticas do Delta Lake schema agora corresponde à ordem de column na definição de tableschema.

Essa alteração resolve um bug no protocolo Delta Lake where estatísticas não foram coletadas para columns devido a uma incompatibilidade no DataFrame e na ordem tablecolumn. Em alguns casos, você pode encontrar degradação do desempenho de gravação devido à coleta de estatísticas em campos não rastreados anteriormente. Consulte Pulo de dados para Delta Lake.

applyInPandasWithState lança um erro se a consulta tiver um shuffle após o operador

O operador applyInPandasWithState lança um erro se a consulta tiver shuffle depois do operador. Isso acontece quando o usuário adiciona shuffle após a operação, ou o otimizador ou coletor adiciona shuffle implicitamente.

Atualizações da biblioteca

• Bibliotecas Python atualizadas:
  • distlib de 0.3.5 a 0.3.6
• Bibliotecas R atualizadas:
  • Vassoura de 1.0.0 a 1.0.1
  • chamador de 3.7.1 a 3.7.2
  • dplyr de 1.0.9 a 1.0.10
  • dtplyr de 1.2.1 a 1.2.2
  • forcats de 0.5.1 a 0.5.2
  • futuro de 1.27.0 a 1.28.0
  • future.apply de 1.9.0 a 1.9.1
  • Gert de 1.7.0 a 1.8.0
  • globais de 0.16.0 a 0.16.1
  • gtable de 0.3.0 a 0.3.1
  • refúgio de 2.5.0 a 2.5.1
  • HMS de 1.1.1 a 1.1.2
  • httr de 1.4.3 a 1.4.4
  • knitr de 1,39 a 1,40
  • Modelador de 0.1.8 a 0.1.9
  • pilar de 1.8.0 a 1.8.1
  • progredir de 0.10.1 a 0.11.0
  • readxl de 1.4.0 a 1.4.1
  • reprex de 2.0.1 a 2.0.2
  • RLANG de 1.0.4 a 1.0.5
  • Rmarkdown de 2,14 para 2,16
  • RSQLite de 2.2.15 a 2.2.16
  • rstudioapi de 0.13 a 0.14
  • Rversões de 2.1.1 para 2.1.2
  • rvest de 1.0.2 a 1.0.3
  • escalas de 1.2.0 a 1.2.1
  • Sparklyr de 1.7.7 a 1.7.8
  • stringr de 1.4.0 a 1.4.1
  • sobrevida de 3,2-13 a 3,4-0
  • tinytex de 0,40 a 0,41
  • viridisLite de 0.4.0 a 0.4.1
• Bibliotecas Java atualizadas:
  • com.fasterxml.jackson.core.jackson-anotações de 2.13.3 a 2.13.4
  • com.fasterxml.jackson.core.jackson-core de 2.13.3 a 2.13.4
  • com.fasterxml.jackson.core.jackson-databind de 2.13.3 a 2.13.4
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor de 2.13.3 a 2.13.4
  • com.fasterxml.jackson.datatype.jackson-datatype-joda de 2.13.3 a 2.13.4
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 de 2.13.3 a 2.13.4
  • com.fasterxml.jackson.module.jackson-module-paranamer de 2.13.3 a 2.13.4
  • com.fasterxml.jackson.module.jackson-module-scala_2.12 de 2.13.3 a 2.13.4
  • org.apache.hadoop.hadoop-client-api de 3.3.2-databricks para 3.3.4-databricks
  • org.apache.hadoop.hadoop-client-runtime de 3.3.2 a 3.3.4
  • org.apache.orc.orc-core de 1.7.5 a 1.7.6
  • org.apache.orc.orc-mapreduce de 1.7.5 para 1.7.6
  • org.apache.orc.orc-shims de 1.7.5 a 1.7.6
  • org.apache.parquet.parquet-column de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
  • org.apache.parquet.parquet-comum de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
  • org.apache.parquet.parquet-codificação de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
  • org.apache.parquet.parquet-format-structures de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
  • org.apache.parquet.parquet-hadoop de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
  • org.apache.parquet.parquet-jackson de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
  • org.glassfish.jersey.containers.jersey-container-servlet de 2,34 a 2,36
  • org.glassfish.jersey.containers.jersey-container-servlet-core de 2,34 a 2,36
  • org.glassfish.jersey.core.jersey-client de 2.34 a 2.36
  • org.glassfish.jersey.core.jersey-comum de 2,34 a 2,36
  • org.glassfish.jersey.core.jersey-server de 2.34 a 2.36
  • org.glassfish.jersey.inject.jersey-hk2 de 2,34 a 2,36

Faísca Apache

O Databricks Runtime 11.3 LTS inclui o Apache Spark 3.3.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 11.2 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• [FAÍSCA-39957] [WARMFIX][SC-111425][CORE] Delay onDesconectado para habilitar Driver recebe ExecutorExitCode
• [FAÍSCA-39955] [WARMFIX][SC-111424][CORE] Melhore o processo LaunchTask para evitar falhas no Stage causadas por mensagens LaunchTask com falha no envio
• [SPARK-40474] [SC-106248][Cherry-Pick] Corrija o comportamento de inferência CSV schema para columns datetime e introduza a deteção automática para campos Date
• [FAÍSCA-40535] [SC-111243][SQL] Corrigir bug: o buffer de AggregatingAccumulator não será criado se as linhas de entrada estiverem vazias
• [FAÍSCA-40434] [SC-111125][SC-111144][SC-111138][FAÍSCA-40435][11.3][SS][PYTHON] Implementar applyInPandasWithState no PySpark
• [FAÍSCA-40460] [SC-110832][SS] Corrigir métricas de streaming ao selecionar _metadata
• [FAÍSCA-40324] [SC-109943][SQL] Fornecer um contexto de consulta de ParseException
• [FAÍSCA-40466] [SC-110899][SS] Melhorar a mensagem de erro quando o DSv2 está desativado enquanto o DSv1 não está disponível
• [FAÍSCA-40456] [SC-110848][SQL] PartitionIterator.hasNext deve ser barato para chamar repetidamente
• [SPARK-40169] [SC-110772][SQL] Não aplicar filtros Parquet sem referência aos dados schema
• [FAÍSCA-40467] [SC-110759][SS] Dividir FlatMapGroupsWithState em vários pacotes de teste
• [SPARK-40468] [SC-110813][SQL] Corrigir column filtragem em CSV quando _corrupt_record é selecionada
• [SPARK-40291] [SC-110085][SQL] Melhorar a mensagem para column não estão no grupo por erro de cláusula
• [FAÍSCA-40398] [SC-110762][CORE][SQL] Use Loop em vez da api Arrays.stream
• [FAÍSCA-40433] [SC-110684][SS][PYTHON] Adicione toJVMRow em PythonSQLUtils para converter PySpark Row em pickled para JVM Row
• [FAÍSCA-40414] [SC-110568][SQL][PYTHON] Tipo mais genérico em PythonArrowInput e PythonArrowOutput
• [FAÍSCA-40352] [SC-109945][SQL] Adicionar aliases de função: len, datepart, dateadd, date_diff e curdate
• [FAÍSCA-40470] [SC-110761][SQL] Manipule GetArrayStructFields e GetMapValue na função "arrays_zip"
• [FAÍSCA-40387] [SC-110685][SQL] Melhorar a implementação do Spark Decimal
• [SPARK-40429] [SC-110675][SQL] Somente set KeyGroupedPartitioning quando o column referenciado estiver na saída
• [FAÍSCA-40432] [SC-110716][SS][PYTHON] Introduza GroupStateImpl e GroupStateTimeout no PySpark
• [FAÍSCA-39915] [SC-110496][SQL] Verifique se o particionamento de saída é especificado pelo usuário no AQE
• [FAÍSCA-29260] [SQL] Suporte ALTER DATABASE SET LOCATION se HMS suporta
• [SPARK-40185] [SC-110056][SQL] Removecolumn sugestão quando o list candidato estiver vazio
• [FAÍSCA-40362] [SC-110401][SQL] Corrigir canonicalização BinaryComparison
• [FAÍSCA-40411] [SC-110381][SS] Refatore FlatMapGroupsWithStateExec para ter uma característica pai
• [SPARK-40293] [SC-110084][SQL] Tornar a mensagem de erro V2 table mais significativa
• [SPARK-38734] [SC-110383][SQL] Remove a classe de erro INDEX_OUT_OF_BOUNDS
• [SPARK-40292] [SC-110300][SQL] Corrigir nomes de column na função "arrays_zip" quando vetores são referenciados em estruturas aninhadas.
• [FAÍSCA-40276] [SC-109674][CORE] Reduza o tamanho do resultado de RDD.takeOrdered
• [FAÍSCA-40197] [SC-109176][SQL] Substitua o plano de consulta pelo contexto para MULTI_VALUE_SUBQUERY_ERROR
• [FAÍSCA-40300] [SC-109942][SQL] Migrar para a classe de DATATYPE_MISMATCH erro
• [SPARK-40149] [SC-110055][SQL] Propagar metadados columns através do Project
• [FAÍSCA-40280] [SC-110146][SQL] Adicione suporte para pressão de parquet para baixo para anotado int e long
• [SPARK-40220] [SC-110143][SC-109175][SQL] Não produza o mapa vazio da mensagem de erro parameters
• [FAÍSCA-40295] [SC-110070][SQL] Permitir funções v2 com args literais na distribuição/ordenação de escrita
• [FAÍSCA-40156] [SC-109264][SQL] url_decode() se o retornar uma classe de erro
• [FAÍSCA-39195] [SQL] Spark OutputCommitCoordinator deve abortar o estágio quando o arquivo confirmado não é consistente com o status da tarefa
• [SPARK-40260] [SC-109424][SQL] Usar classes de erro nos erros de compilação de GROUP BY uma posição
• [FAÍSCA-40205] [SC-110144][SC-109082][SQL] Fornecer um contexto de consulta de ELEMENT_AT_BY_INDEX_ZERO
• [FAÍSCA-40112] [SC-109676][SQL] Melhorar a função TO_BINARY()
• [FAÍSCA-40209] [SC-109081][SQL] Não altere o valor do intervalo decimal em changePrecision() erros
• [SPARK-40319] [SC-109873][SQL] Remove método de erro de execução de consulta duplicado para PARSE_DATETIME_BY_NEW_PARSER
• [FAÍSCA-40222] [SC-109209][SQL] Numéricos try_add/try_divide/try_subtract/try_multiply devem lançar erro de seus filhos
• [FAÍSCA-40183] [SC-108907][SQL] Usar NUMERIC_VALUE_OUT_OF_RANGE de classe de erro para estouro na conversão decimal
• [FAÍSCA-40180] [SC-109069][SQL] Formatar mensagens de erro por spark-sql
• [SPARK-40153] [SC-109165][SQL] Unifique funções de resolução e funções com valor table
• [FAÍSCA-40308] [SC-109880][SQL] Permitir que argumentos de delimitador não dobráveis funcionem str_to_map
• [SPARK-40219] [SC-110052][SC-109663][SQL] O plano lógico de exibição resolvido deve conter o schema para evitar pesquisas redundantes
• [FAÍSCA-40098] [SC-109939][SC-108693][SQL] Formatar mensagens de erro no Thrift Server
• [FAÍSCA-39917] [SC-109038][SQL] Usar classes de erro diferentes para estouro aritmético numérico/intervalar
• [SPARK-40033] [SC-109875][SQL] Suporte de poda aninhada de schema através de element_at
• [FAÍSCA-40194] [SC-109660][SQL] A função SPLIT no regex vazio deve truncar a cadeia de caracteres vazia à direita.
• [FAÍSCA-40228] [SC-109835][SQL] Não simplifique multiLike se criança não é uma expressão barata
• [FAÍSCA-40039] [SC-109896][SC-109260][SS] Apresentando um gerenciador de arquivos de ponto de verificação de streaming baseado na interface Abortable do Hadoop
• [FAÍSCA-40285] [SC-109679][SQL] Simplifique o roundTo[Numeric] para o Spark Decimal
• [FAÍSCA-39896] [SC-109658][SQL] UnwrapCastInBinaryComparison deve funcionar quando o literal de In/InSet downcast falhou
• [SPARK-40040] [SC-109662][SQL] Envie limit locais para ambos os lados se a condição join estiver vazia
• [FAÍSCA-40055] [SC-109075][SQL] listCatalogs também deve retornar spark_catalog mesmo quando spark_catalog implementação é defaultSessionCatalog
• [FAÍSCA-39915] [SC-109391][SQL] Dataset.repartition(N) não pode criar partições N parte não-AQE
• [SPARK-40207] [SC-109401][SQL] Especifique o nome do column quando o tipo de dados não for suportado pela fonte de dados
• [SPARK-40245] [SC-109295][SQL] Corrigir a verificação de igualdade do FileScan quando partition ou o filtro de dados columns não são lidos
• [FAÍSCA-40113] [SC-109405][SQL] Implementações de interface DataSourceV2 do Reator ParquetScanBuilder
• [FAÍSCA-40211] [SC-109226][CORE][SQL] Permitir personalizar o número de partições iniciais no comportamento take()
• [FAÍSCA-40252] [SC-109379][SQL] Substituir Stream.collect(Collectors.joining) por StringJoiner Api
• [FAÍSCA-40247] [SC-109272][SQL] Corrigir verificação de igualdade BitSet
• [SPARK-40067] [SQL] Use Table#name() em vez de Scan#name() para preencher o nome do table no nó BatchScan no SparkUI
• [FAÍSCA-39966] [SQL] Usar filtro V2 em SupportsDelete
• [FAÍSCA-39607] [SC-109268][SQL][DSV2] Suporte de distribuição e encomenda V2 função por escrito
• [FAÍSCA-40224] [SC-109271][SQL] Faça com que o ObjectHashAggregateExec libere memória ansiosamente quando o fallback for baseado em classificação
• [FAÍSCA-40013] [SQL] As expressões DS V2 devem ter o padrão toString
• [SPARK-40214] [SC-109079][PYTHON][SQL] adicionar 'get' às funções
• [SPARK-40192] [SC-109089][SQL][ML] Remove agrupamento redundante
• [FAÍSCA-40146] [SC-108694][SQL] Simplesmente o codegen de obter valor de mapa
• [SPARK-40109] [SQL] Nova função SQL: get()
• [FAÍSCA-39929] [SQL] DS V2 suporta funções push down string (não ANSI)
• [FAÍSCA-39819] [SQL] DS V2 aggregate push down pode funcionar com Top N ou Paging (Classificar com expressões)
• [FAÍSCA-40213] [SC-109077][SQL] Suporta conversão de valor ASCII para caracteres latino-1
• [FAÍSCA-39887] [SQL] RemoveRedundantAliases deve manter aliases que tornam a saída dos nós de projeção exclusiva
• [FAÍSCA-39764] [SQL] Torne o PhysicalOperation igual ao ScanOperation
• [FAÍSCA-39964] [SQL] O pushdown DS V2 deve unificar o caminho de tradução
• [FAÍSCA-39528] [SQL] Usar filtro V2 em SupportsRuntimeFiltering
• [SPARK-40066] [SQL] Modo ANSI: sempre retorne null no acesso inválido ao column do mapa
• [FAÍSCA-39912] [FAÍSCA-39828][SQL] Refinar CatalogImpl
• [SPARK-39833] [SC-108736][SQL] Desative o índice de column do Parquet no DSv1 para corrigir um problema de correção no caso de sobreposição de partition e columns de dados
• comando [SPARK-39880] [SQL] V2 SHOW FUNCTIONS deve imprimir o nome da função qualificada como v1
• [SPARK-39767] [SQL] Remove UnresolvedDBObjectName e adicione UnresolvedIdentifier
• [FAÍSCA-40163] [SC-108740][SQL] feat: SparkSession.config(Mapa)
• [FAÍSCA-40136] [SQL] Corrigir o fragmento de contextos de consulta SQL
• [FAÍSCA-40107] [SC-108689][SQL] Retirar a conversão empty2null de FileFormatWriter
• [FAÍSCA-40121] [PYTHON][SQL] Inicializar projeção usada para Python UDF
• [SPARK-40128] [SQL] Faça com que o VectorizedColumnReader reconheça DELTA_LENGTH_BYTE_ARRAY como uma codificação column autônoma
• [SPARK-40132] [ML] Restore rawPredictionCol em MultilayerPerceptronClassifier.setParams
• [FAÍSCA-40050] [SC-108696][SQL] Melhorar EliminateSorts para suportar a remoção de ordenações através de LocalLimit
• [SPARK-39629] Suporte [SQL] v2 SHOW FUNCTIONS
• [SPARK-39925] [SC-108734][SQL] Adicionar sobrecarga array_sort(column, comparador) às operações do DataFrame
• [FAÍSCA-40117] [PYTHON][SQL] Converter condição em java em DataFrameWriterV2.overwrite
• [FAÍSCA-40105] [SQL] Melhorar a repartição em ReplaceCTERefWithRepartition
• [SPARK-39503] [SQL] Adicionar nome de catalog de sessão para table e função do banco de dados v1
• [FAÍSCA-39889] [SQL] Use classes de erro diferentes para numérico/intervalo dividido por 0
• [FAÍSCA-39741] [SQL] Suporte url encode/decode como função integrada e arrumar funções relacionadas a url
• [FAÍSCA-40102] [SQL] Use SparkException em vez de IllegalStateException no SparkPlan
• [FAÍSCA-40014] [SQL] Suporte a conversão de decimais para intervalos ANSI
• [SPARK-39776] [SQL][FOLLOW] Update Testes Unitários do PlanStabilitySuite no modo ANSI
• [FAÍSCA-39963] [SQL] Simplifique SimplifyCasts.isWiderCast

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 11.3.

Ambiente do sistema

• Sistema Operacional: Ubuntu 20.04.5 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Escala: 2.12.14
• Píton: 3.9.19
• R: 4.1.3
• Lago Delta: 2.1.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo da CRAN da Microsoft em 2022-09-08.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)