Tempo de execução do Databricks 11.2 (EoS)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 11.2, alimentado pelo Apache Spark 3.3.0. A Databricks lançou esta versão em setembro de 2022.

Novos recursos e melhorias

• Alterar para permissões ALTER TABLE em controles de acesso à tabela (ACLs de tabela)
• Poda dinâmica para MERGE INTO
• Deteção de conflitos aprimorada no Delta com remoção dinâmica de arquivos
• Novo cartão Open Source Integrations nas homepages DSE/SQL
• Melhorias na deteção de partições CONVERT TO DELTA
• Os esquemas de tabela agora suportam valores padrão para colunas
• Novas funções geoespaciais H3
• Nova dependência do Databricks Runtime
• Traga sua própria chave: criptografia de credenciais Git
• SQL: Nova função agregada any_value
• Comandos do sistema de arquivos Databricks Utilities permitidos em mais tipos de cluster
• Os privilégios CREATE agora podem ser concedidos em metastores para o Unity Catalog
• Gravações otimizadas para tabelas não particionadas em clusters habilitados para Photon
• Suporte a fótons para mais fontes de dados
• SQL: ALTER SHARE agora suporta START VERSION

Alterar para permissões ALTER TABLE em controles de acesso à tabela (ACLs de tabela)

Agora, os usuários só precisam de MODIFY permissões para alterar o esquema ou as propriedades de uma tabela com ALTER TABLEo . A propriedade ainda é necessária para conceder permissões em uma tabela, alterar seu proprietário e local ou renomeá-la. Essa alteração torna o modelo de permissão para ACLs de tabela consistente com o Catálogo Unity. Ver ALTER TABLE.

Poda dinâmica para MERGE INTO

Ao usar a computação habilitada para Photon, MERGE INTO agora usa a remoção dinâmica de arquivos e partições quando apropriado para melhorar o desempenho, por exemplo, quando uma pequena tabela de origem é mesclada em uma tabela de destino maior.

Deteção de conflitos aprimorada no Delta com remoção dinâmica de arquivos

Ao verificar possíveis conflitos durante confirmações, a deteção de conflitos agora considera arquivos que são removidos pela remoção dinâmica de arquivos, mas não teriam sido removidos por filtros estáticos. Isso resulta em uma diminuição do número de transações com falha.

Novo cartão Open Source Integrations nas homepages DSE/SQL

Apresentando o novo cartão 'Open Source Integrations' nas páginas iniciais do DSE/SQL que exibe opções de integração de código aberto, como Delta Live Tables e dbt core.

Melhorias na deteção de partições CONVERT TO DELTA

CONVERT TO DELTA infere automaticamente o esquema de partição para tabelas Parquet registradas no metastore do Hive ou no Unity Catalog, eliminando a necessidade de fornecer a PARTITIONED BY cláusula.

CONVERT TO DELTA aproveita as informações de partição do metastore para descobrir arquivos para uma tabela Parquet em vez de listar todo o caminho base, garantindo que partições descartadas não sejam adicionadas à tabela Delta.

Consulte Converter para Delta Lake.

Os esquemas de tabela agora suportam valores padrão para colunas

Os esquemas de tabela agora suportam a configuração de valores padrão para colunas. INSERT, UPDATEe DELETE os comandos para essas colunas podem se referir a esses valores com a DEFAULT palavra-chave. Por exemplo, CREATE TABLE t (id INT, data INT DEFAULT 42) USING PARQUET seguido por INSERT INTO t VALUES (1, DEFAULT) irá acrescentar a linha (1, 42). Esse comportamento é suportado para fontes de dados CSV, JSON, Orc e Parquet.

Novas funções geoespaciais H3

Agora você pode usar 28 novas expressões H3 integradas para processamento geoespacial em clusters habilitados para Photon, disponíveis em SQL, Scala e Python. Ver funções geoespaciais H3.

Nova dependência do Databricks Runtime

O Databricks Runtime agora depende da biblioteca Java H3 versão 3.7.0.

Traga sua própria chave: criptografia de credenciais Git

Você pode usar o Azure Key Vault para criptografar um token de acesso pessoal (PAT) do Git ou outra credencial do Git.

Consulte Configurar pastas Git do Databricks (Repos).

SQL: Nova função agregada any_value

A nova any_value função de agregação retorna qualquer valor aleatório de expr para um grupo de linhas. Veja o any_value função de agregação.

Comandos do sistema de arquivos Databricks Utilities permitidos em mais tipos de cluster

dbutils.fs comandos (exceto comandos relacionados à montagem) agora são permitidos em clusters de isolamento de usuário com o Unity Catalog, bem como clusters ACL de tabela herdados quando o usuário tem ANY FILE permissões.

Os privilégios CREATE agora podem ser concedidos em metastores para o Unity Catalog

Os privilégios CREATE CATALOG, CREATE EXTERNAL LOCATION, CREATE SHARE, CREATE RECIPIENT e CREATE PROVIDER agora podem ser concedidos nos metastores do Unity Catalog.

Gravações otimizadas para tabelas não particionadas em clusters habilitados para Photon

As tabelas gerenciadas pelo Unity Catalog agora persistem automaticamente arquivos de um tamanho bem ajustado de tabelas não particionadas para melhorar a velocidade de consulta e otimizar o desempenho.

Suporte a fótons para mais fontes de dados

O Photon agora suporta mais fontes de dados, incluindo CSV e Avro, e também é compatível com quadros de dados armazenados em cache. Anteriormente, a verificação dessas fontes de dados significava que toda a consulta não podia ser fotonizada, independentemente dos operadores ou expressões da consulta. Agora, as consultas que examinam essas fontes de dados podem ser fotonizadas, desbloqueando melhorias significativas de latência e TCO.

Esse recurso é habilitado por padrão pela spark.databricks.photon.photonRowToColumnar.enabled configuração.

Limitações:

• Não há suporte para esquemas com tipos aninhados (ou seja, matrizes, mapas e estruturas) nesta versão.
• As fontes ORC, RDD, Kinesis, Kafka e EventHub não são suportadas nesta versão.

SQL: ALTER SHARE agora suporta START VERSION

O ALTER SHARE comando agora suporta START VERSION, que permite que os provedores compartilhem dados a partir de uma versão específica da tabela. Ver ALTER SHARE.

Atualizações da biblioteca

• Bibliotecas Python atualizadas:
  • distlib de 0.3.4 a 0.3.5
  • filelock de 3.7.1 a 3.8.0
  • plotly de 5.8.2 a 5.9.0
  • Protobuf de 4.21.2 a 4.21.5
• Bibliotecas R atualizadas:
  • Vassoura de 0.8.0 a 1.0.0
  • BSLIB de 0.3.1 a 0.4.0
  • chamador de 3.7.0 a 3.7.1
  • Cursor de 6,0-92 a 6,0-93
  • DBPLYR de 2.2.0 a 2.2.1
  • devtools de 2.4.3 a 2.4.4
  • avaliar de 0,15 a 0,16
  • Farver de 2.1.0 a 2.1.1
  • fontawesome de 0.2.2 a 0.3.0
  • futuro de 1.26.1 a 1.27.0
  • Genéricos de 0.1.2 a 0.1.3
  • Gert de 1.6.0 a 1.7.0
  • globais de 0.15.1 a 0.16.0
  • googlesheets4 de 1.0.0 a 1.0.1
  • Hardhat de 1.1.0 a 1.2.0
  • htmltools de 0.5.2 a 0.5.3
  • paralelamente de 1.32.0 a 1.32.1
  • pilar de 1.7.0 a 1.8.0
  • pkgload de 1.2.4 a 1.3.0
  • processx de 3.6.1 a 3.7.0
  • Rcpp de 1.0.8.3 a 1.0.9
  • receitas de 0.2.0 a 1.0.1
  • RLANG de 1.0.2 a 1.0.4
  • roxigen2 de 7.2.0 a 7.2.1
  • RSQLite de 2.2.14 a 2.2.15
  • sass de 0.4.1 a 0.4.2
  • brilhante de 1.7.1 a 1.7.2
  • stringi de 1.7.6 a 1.7.8
  • Tibble de 3.1.7 a 3.1.8
  • Tidyverse de 1.3.1 a 1.3.2
  • horaData de 3043.102 a 4021.104
  • xfun de 0,31 a 0,32
• Bibliotecas Java atualizadas:
  • org.apache.orc.orc-core de 1.7.4 a 1.7.5
  • org.apache.orc.orc-mapreduce de 1.7.4 para 1.7.5
  • org.apache.orc.orc-shims de 1.7.4 a 1.7.5

Faísca Apache

O Databricks Runtime 11.2 inclui o Apache Spark 3.3.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 11.1 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• [FAÍSCA-40151] [WARMFIX][SC-109002][SC-108809][SQL] Retornar tipos de intervalo ANSI mais amplos das funções de percentil
• [FAÍSCA-40054] [SQL] Restaurar a sintaxe de tratamento de erros de try_cast()
• [FAÍSCA-39489] [CORE] Melhore o desempenho do JsonProtocol no log de eventos usando Jackson em vez de Json4s
• [FAÍSCA-39319] [CORE][SQL] Tornar contextos de consulta como parte de SparkThrowable
• [FAÍSCA-40085] [SQL] Use INTERNAL_ERROR classe de erro em vez de IllegalStateException para indicar bugs
• [FAÍSCA-40001] [SQL] Fazer gravações NULL em colunas JSON DEFAULT gravar 'null' no armazenamento
• [FAÍSCA-39635] [SQL] Suporta métricas de driver na API de métrica personalizada do DS v2
• [FAÍSCA-39184] [SQL] Manipular matriz de resultados subdimensionada em sequências de carimbo de data e hora
• [FAÍSCA-40019] [SQL] Refatore o comentário de ArrayType continsNull e refatore as lógicas de mal-entendido na expressão de collectionOperator sobre containsNull
• [FAÍSCA-39989] [SQL] Ofereça suporte a estatísticas de coluna de estimativa se for uma expressão dobrável
• [FAÍSCA-39926] [SQL] Corrigir bug na coluna Suporte PADRÃO para varreduras de Parquet não vetorizadas
• [FAÍSCA-40052] [SQL] Manipular buffers diretos de bytes em VectorizedDeltaBinaryPackedReader
• [FAÍSCA-40044] [SQL] Corrigir o tipo de intervalo de destino em erros de estouro de elenco
• [FAÍSCA-39835] [SQL] Fix EliminateSorts remove a classificação global abaixo da classificação local
• [FAÍSCA-40002] [SQL] Não empurre o limite para baixo através da janela usando ntile
• [FAÍSCA-39976] [SQL] ArrayIntersect deve manipular null na expressão esquerda corretamente
• [FAÍSCA-39985] [SQL] Habilitar valores de coluna DEFAULT implícitos em inserções de DataFrames
• [FAÍSCA-39776] [SQL] JOIN string detalhada deve adicionar o tipo Join
• [FAÍSCA-38901] [SQL] DS V2 suporta funções push down misc
• [FAÍSCA-40028] [SQL][Seguimento] Melhorar exemplos de funções de cadeia de caracteres
• [FAÍSCA-39983] [CORE][SQL] Não armazenar em cache relações de difusão não serializadas no driver
• [FAÍSCA-39812] [SQL] Simplifique o código que constrói AggregateExpression com toAggregateExpression
• [FAÍSCA-40028] [SQL] Adicionar exemplos binários para expressões de cadeia de caracteres
• [FAÍSCA-39981] [SQL] Lance a exceção QueryExecutionErrors.castingCauseOverflowErrorInTableInsert no Cast
• [FAÍSCA-40007] [PYTHON][SQL] Adicionar 'modo' às funções
• [FAÍSCA-40008] [SQL] Suporte de fundição de integrais para intervalos ANSI
• [FAÍSCA-40003] [PYTHON][SQL] Adicionar 'mediana' às funções
• [FAÍSCA-39952] [SQL] SaveIntoDataSourceCommand deve rearmazenar em cache a relação de resultados
• [FAÍSCA-39951] [SQL] Atualizar verificação colunar do Parquet V2 para campos aninhados
• [FAÍSCA-33236] [baralhar] Backport para DBR 11.x: habilite o serviço de shuffle baseado em push para armazenar o estado no banco de dados de nível NM para preservando a reinicialização do trabalho
• [FAÍSCA-39836] [SQL] Simplifique o V2ExpressionBuilder extraindo o método comum.
• [FAÍSCA-39873] [SQL] Remova OptimizeLimitZero e mescle-o em EliminateLimits
• [FAÍSCA-39961] [SQL] DS V2 push-down traduzir Cast se o elenco é seguro
• [FAÍSCA-39872] [SQL] Alterar para usar BytePackerForLong#unpack8Values com a api de entrada de matriz em VectorizedDeltaBinaryPackedReader
• [FAÍSCA-39858] [SQL] Remover regras desnecessárias AliasHelper ou PredicateHelper para algumas
• [FAÍSCA-39900] [SQL] Condição parcial ou negada de endereço no pushdown de predicado do formato binário
• [FAÍSCA-39904] [SQL] Renomeie inferDate para prefersDate e esclareça a semântica da opção na fonte de dados CSV
• [FAÍSCA-39958] [SQL] Adicionar log de aviso quando não for possível carregar o objeto de métrica personalizado
• [FAÍSCA-39932] [SQL] WindowExec deve limpar o buffer de partição final
• [FAÍSCA-37194] [SQL] Evite a classificação desnecessária na gravação v1 se não for uma partição dinâmica
• [FAÍSCA-39902] [SQL] Adicionar detalhes do Scan ao nó de verificação do plano de faísca no SparkUI
• [FAÍSCA-39865] [SQL] Mostrar mensagens de erro adequadas nos erros de estouro da inserção da tabela
• [FAÍSCA-39940] [SS] Atualizar tabela de catálogo na consulta de streaming com o coletor DSv1
• [FAÍSCA-39827] [SQL] Use a classe ARITHMETIC_OVERFLOW de erro no estouro int em add_months()
• [FAÍSCA-39914] [SQL] Adicionar Filtro DS V2 à conversão de Filtro V1
• [FAÍSCA-39857] [SQL] Backport manual DBR 11.x; V2ExpressionBuilder usa o tipo de dados LiteralValue errado para No predicado #43454
• [FAÍSCA-39840] [SQL][PYTHON] Fator PythonArrowInput como uma simetria para PythonArrowOutput
• [FAÍSCA-39651] [SQL] A condição do filtro Prune se comparada com rand é determinística
• [FAÍSCA-39877] [PYTHON] Adicionar unpivot à API do PySpark DataFrame
• [FAÍSCA-39909] [SQL] Organizar a verificação de informações de push down para JDBCV2Suite
• [FAÍSCA-39834] [SQL][SS] Inclua as estatísticas de origem e restrições para LogicalRDD se ele vier de DataFrame
• [FAÍSCA-39849] [SQL] Dataset.as(StructType) preenche novas colunas ausentes com valor nulo
• [FAÍSCA-39860] [SQL] Mais expressões devem estender Predicado
• [FAÍSCA-39823] [SQL][PYTHON] Renomeie Dataset.as como Dataset.to e adicione DataFrame.to no PySpark
• [FAÍSCA-39918] [SQL][MENOR] Substitua a expressão "não comparável" por "incomparável" na mensagem de erro
• [FAÍSCA-39857] [SQL][3.3] V2ExpressionBuilder usa o tipo de dados LiteralValue errado para o predicado In
• [FAÍSCA-39862] [SQL] Backport manual para PR 43654 visando DBR 11.x: Atualização SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS para permitir/negar ALTER TABLE ... Comandos ADD COLUMN separadamente.
• [FAÍSCA-39844] [SQL] Backport manual para PR 43652 visando DBR 11.x
• [FAÍSCA-39899] [SQL] Corrigir a passagem de parâmetros de mensagem para InvalidUDFClassException
• [FAÍSCA-39890] [SQL] Fazer TakeOrderedAndProjectExec herdar AliasAwareOutputOrdering
• [FAÍSCA-39809] [PYTHON] Suporte CharType no PySpark
• [FAÍSCA-38864] [SQL] Adicionar unpivot / melt ao Dataset
• [FAÍSCA-39864] [SQL] Registre preguiçosamente ExecutionListenerBus
• [FAÍSCA-39808] [SQL] Suporta o modo de função agregada
• [FAÍSCA-39875] [SQL] Alterar protected o método na classe final para private ou package-visible
• [FAÍSCA-39731] [SQL] Corrigir problema em fontes de dados CSV e JSON ao analisar datas no formato "yyyyMMdd" com a política do analisador de tempo CORRIGIDO
• [FAÍSCA-39805] [SS] Deprecate Trigger.Once e Promote Trigger.AvailableNow
• [FAÍSCA-39784] [SQL] Coloque valores literais no lado direito do filtro da fonte de dados depois de traduzir o Catalyst Expression para o filtro da fonte de dados
• [FAÍSCA-39672] [SQL][3.1] Corrigir a remoção do projeto antes do filtro com a subconsulta correlacionada
• [FAÍSCA-39552] [SQL] Unificar v1 e v2 DESCRIBE TABLE
• [FAÍSCA-39810] [SQL] Catalog.tableExists deve manipular namespace aninhado
• [FAÍSCA-37287] [SQL] Extraia a partição dinâmica e a classificação de bucket de FileFormatWriter
• [FAÍSCA-39469] [SQL] Inferir tipo de data para inferência de esquema CSV
• [FAÍSCA-39148] [SQL] DS V2 agregado push down pode trabalhar com OFFSET ou LIMIT
• [FAÍSCA-39818] [SQL] Corrigir bug nos tipos ARRAY, STRUCT, MAP com valores DEFAULT com campo(s) NULL
• [FAÍSCA-39792] [SQL] Adicionar DecimalDivideWithOverflowCheck para média decimal
• [FAÍSCA-39798] [SQL] Replcace toSeq.toArray com .toArray[Any] no construtor de GenericArrayData
• [FAÍSCA-39759] [SQL] Implementar listIndexes em JDBC (dialeto H2)
• [FAÍSCA-39385] [SQL] Suporta push down REGR_AVGX e REGR_AVGY
• [FAÍSCA-39787] [SQL] Use a classe de erro no erro de análise da função to_timestamp
• [FAÍSCA-39760] [PYTHON] Suporte Varchar no PySpark
• [FAÍSCA-39557] [SQL] Backport manual para DBR 11.x: suporta tipos ARRAY, STRUCT, MAP como valores DEFAULT
• [FAÍSCA-39758] [SQL][3.3] Corrigir NPE das funções regexp em padrões inválidos
• [FAÍSCA-39749] [SQL] Modo ANSI SQL: Use a representação de cadeia de caracteres simples na conversão de decimal para string
• [FAÍSCA-39704] [SQL] Implementar createIndex & dropIndex & indexExists em JDBC (dialeto H2)
• [FAÍSCA-39803] [SQL] Utilizar LevenshteinDistance em vez de StringUtils.getLevenshteinDistance
• [FAÍSCA-39339] [SQL] Suporte ao tipo TimestampNTZ na fonte de dados JDBC
• [FAÍSCA-39781] [SS] Adicionar suporte para fornecer max_open_files ao provedor de armazenamento de estado rocksdb
• [FAÍSCA-39719] [R] Implementar databaseExists/getDatabase no namespace 3L de suporte ao SparkR
• [FAÍSCA-39751] [SQL] Renomear métrica de testes de chave de agregação de hash
• [FAÍSCA-39772] [SQL] namespace deve ser null quando o banco de dados é nulo nos construtores antigos
• [FAÍSCA-39625] [FAÍSCA-38904][SQL] Adicionar Dataset.as(StructType)
• [FAÍSCA-39384] [SQL] Compilar funções de agregação de regressão linear integradas para o dialeto JDBC
• [FAÍSCA-39720] [R] Implementar tableExists/getTable no namespace SparkR for 3L
• [FAÍSCA-39744] [SQL] Adicionar a REGEXP_INSTR função
• [FAÍSCA-39716] [R] Faça com que currentDatabase/setCurrentDatabase/listCatalogs no SparkR suporte 3L namespace
• [FAÍSCA-39788] [SQL] Renomear catalogName para dialectName for JdbcUtils
• [FAÍSCA-39647] [CORE] Registre o executor no ESS antes de registrar o BlockManager
• [FAÍSCA-39754] [CORE][SQL] Remover não utilizados import ou desnecessários {}
• [FAÍSCA-39706] [SQL] Definir coluna ausente com defaultValue como constante em ParquetColumnVector
• [FAÍSCA-39699] [SQL] Tornar o CollapseProject mais inteligente sobre expressões de criação de coleção
• [FAÍSCA-39737] [SQL] PERCENTILE_CONT e PERCENTILE_DISC deve suportar filtro agregado
• [FAÍSCA-39579] [SQL][PYTHON][R] Tornar ListFunctions/getFunction/functionExists compatível com namespace de 3 camadas
• [FAÍSCA-39627] [SQL] O pushdown JDBC V2 deve unificar a API de compilação
• [FAÍSCA-39748] [SQL][SS] Inclua o plano lógico de origem para LogicalRDD se ele vier de DataFrame
• [FAÍSCA-39385] [SQL] Definição da palavra linear regression aggregate functions for pushdown
• [FAÍSCA-39695] [SQL] Adicionar a REGEXP_SUBSTR função
• [FAÍSCA-39667] [SQL] Adicione outra solução alternativa quando não houver memória suficiente para criar e transmitir a tabela
• [FAÍSCA-39666] [ES-337834][SQL] Use UnsafeProjection.create para respeitar spark.sql.codegen.factoryMode em ExpressionEncoder
• [FAÍSCA-39643] [SQL] Proibir expressões de subconsulta em valores DEFAULT
• [FAÍSCA-38647] [SQL] Adicionar SupportsReportOrdering mix na interface para Scan (DataSourceV2)
• [FAÍSCA-39497] [SQL] Melhorar a exceção de análise da coluna de chave de mapa ausente
• [FAÍSCA-39661] [SQL] Evite criar SLF4J Logger desnecessário
• [FAÍSCA-39713] [SQL] Modo ANSI: adicionar sugestão de uso de try_element_at para erro INVALID_ARRAY_INDEX
• [FAÍSCA-38899] [SQL]O DS V2 suporta funções push down datetime
• [FAÍSCA-39638] [SQL] Alterar para usar ConstantColumnVector para armazenar colunas de partição em OrcColumnarBatchReader
• [FAÍSCA-39653] [SQL] Limpar de ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int)ColumnVectorUtils
• [FAÍSCA-39231] [SQL] Use ConstantColumnVector em vez de armazenar colunas de On/OffHeapColumnVector partição em VectorizedParquetRecordReader
• [FAÍSCA-39547] [SQL] V2SessionCatalog não deve lançar NoSuchDatabaseException em loadNamspaceMetadata
• [FAÍSCA-39447] [SQL] Evite AssertionError em AdaptiveSparkPlanExec.doExecuteBroadcast
• [FAÍSCA-39492] [SQL] Retrabalho MISSING_COLUMN
• [FAÍSCA-39679] [SQL] TakeOrderedAndProjectExec deve respeitar a ordem de saída filho
• [FAÍSCA-39606] [SQL] Usar estatísticas filho para estimar o operador de ordem
• [FAÍSCA-39611] [PYTHON][PS] Corrigir aliases errados no array_ufunc
• [FAÍSCA-39656] [SQL][3.3] Corrigir namespace errado em DescribeNamespaceExec
• [FAÍSCA-39675] [SQL] Alternar a configuração 'spark.sql.codegen.factoryMode' da finalidade de teste para a finalidade interna
• [FAÍSCA-39139] [SQL] DS V2 suporta push down DS V2 UDF
• [FAÍSCA-39434] [SQL] Fornecer contexto de consulta de erro de tempo de execução quando o índice de matriz estiver fora dos limites
• [FAÍSCA-39479] [SQL] DS V2 suporta funções matemáticas push down (não ANSI)
• [FAÍSCA-39618] [SQL] Adicionar a REGEXP_COUNT função
• [FAÍSCA-39553] [CORE] O shuffle de cancelamento de registro multithread não deve lançar NPE ao usar o Scala 2.13
• [FAÍSCA-38755] [PYTHON][3.3] Adicionar ficheiro para resolver funções gerais de pandas em falta
• [FAÍSCA-39444] [SQL] Adicionar OptimizeSubqueries à lista nonExcludableRules
• [FAÍSCA-39316] [SQL] Mesclar PromotePrecision e CheckOverflow em aritmética binária decimal
• [FAÍSCA-39505] [UI] Conteúdo do log de escape renderizado na interface do usuário
• [FAÍSCA-39448] [SQL] Adicionar ReplaceCTERefWithRepartition à nonExcludableRules lista
• [FAÍSCA-37961] [SQL] Substituir maxRows/maxRowsPerPartition para alguns operadores lógicos
• [FAÍSCA-35223] Reverter Adicionar ProblemaNavegaçãoLink
• [FAÍSCA-39633] [SQL] Suporte a carimbo de data/hora em segundos para TimeTravel usando opções de Dataframe
• [FAÍSCA-38796] [SQL] Atualizar a documentação para cadeias de caracteres de formato de número com as funções {try_}to_number
• [FAÍSCA-39650] [SS] Corrigir esquema de valor incorreto na desduplicação de streaming com compatibilidade com versões anteriores
• [FAÍSCA-39636] [CORE][UI] Corrija vários bugs no JsonProtocol, afetando o heap StorageLevels e o Task/Executor ResourceRequests
• [FAÍSCA-39432] [SQL] Retorno ELEMENT_AT_BY_INDEX_ZERO de element_at(*, 0)
• [FAÍSCA-39349] Adicionar um método CheckError centralizado para QA do caminho de erro
• [FAÍSCA-39453] [SQL] DS V2 suporta push down misc funções não-agregadas (não ANSI)
• [FAÍSCA-38978] [SQL] DS V2 suporta operador OFFSET push down
• [FAÍSCA-39567] [SQL] Suporte a intervalos ANSI nas funções de percentil
• [FAÍSCA-39383] [SQL] Suporte a colunas DEFAULT em fontes de dados ALTER TABLE ALTER COLUMNS para V2
• [FAÍSCA-39396] [SQL] Corrigir exceção de login LDAP 'código de erro 49 - credenciais inválidas'
• [FAÍSCA-39548] [SQL] Comando CreateView com uma consulta de cláusula de janela atingiu uma definição de janela errada não encontrado problema
• [FAÍSCA-39575] [AVRO] adicionar ByteBuffer#rewind após ByteBuffer#get in Avr...
• [FAÍSCA-39543] A opção de DataFrameWriterV2 deve ser passada para propriedades de armazenamento se fallback para v1
• [FAÍSCA-39564] [SS] Expor as informações da tabela de catálogo ao plano lógico na consulta de streaming
• [FAÍSCA-39582] [SQL] Corrigir marcador "Desde" para array_agg
• [FAÍSCA-39388] [SQL] Reutilizar orcSchema quando empurrar predicados Orc para baixo
• [FAÍSCA-39511] [SQL] Melhore o limite local 1 para o lado direito da semi/antijunção esquerda se a condição de junção estiver vazia
• [FAÍSCA-38614] [SQL] Não empurre o limite para baixo através da janela que está usando percent_rank
• [FAÍSCA-39551] [SQL] Adicionar verificação de plano inválido do AQE
• [FAÍSCA-39383] [SQL] Suporte a colunas PADRÃO em ALTER TABLE ADD COLUMNS para fontes de dados V2
• [FAÍSCA-39538] [SQL] Evite criar SLF4J Logger desnecessário
• [FAÍSCA-39383] [SQL] Backport manual para DBR 11.x: refatore o suporte à coluna DEFAULT para ignorar a passagem do analisador principal
• [FAÍSCA-39397] [SQL] Relaxe AliasAwareOutputExpression para suportar alias com expressão
• [FAÍSCA-39496] [SQL] Manipular struct null em Inline.eval
• [FAÍSCA-39545] [SQL] Método de substituição concat para ExpressionSet no Scala 2.13 para melhorar o desempenho
• [FAÍSCA-39340] [SQL] DS v2 agg pushdown deve permitir pontos no nome de colunas de nível superior
• [FAÍSCA-39488] [SQL] Simplifique o tratamento de erros de TempResolvedColumn
• [FAÍSCA-38846] [SQL] Adicionar mapeamento de dados explícito entre Teradata Numeric Type e Spark DecimalType
• [FAÍSCA-39520] [SQL] Método de substituição -- para ExpressionSet no Scala 2.13
• [FAÍSCA-39470] [SQL] Suporte a conversão de intervalos ANSI para decimais
• [FAÍSCA-39477] [SQL] Remova as informações de "Número de consultas" dos arquivos dourados do SQLQueryTestSuite
• [FAÍSCA-39419] [SQL] Corrija ArraySort para lançar uma exceção quando o comparador retornar null
• [FAÍSCA-39061] [SQL] Definir anulável corretamente para Inline atributos de saída
• [FAÍSCA-39320] [SQL] Função de agregação de suporte MEDIAN
• [FAÍSCA-39261] [CORE] Melhorar a formatação de novas linhas para mensagens de erro
• [FAÍSCA-39355] [SQL] Uma única coluna usa aspas para construir UnresolvedAttribute
• [FAÍSCA-39351] [SQL] SHOW CREATE TABLE deve redigir propriedades
• [FAÍSCA-37623] [SQL] Suporte ANSI Aggregate Função: regr_intercept
• [FAÍSCA-39374] [SQL] Melhorar a mensagem de erro para a lista de colunas especificada pelo usuário
• [FAÍSCA-39255] [SQL][3.3] Melhorar as mensagens de erro
• [FAÍSCA-39321] [SQL] Refatore TryCast para usar RuntimeReplaceable
• [FAÍSCA-39406] [PYTHON] Aceitar matriz NumPy em createDataFrame
• [FAÍSCA-39267] [SQL] Limpar símbolo dsl desnecessário
• [FAÍSCA-39171] [SQL] Unificar a expressão Cast
• [FAÍSCA-28330] [SQL] Suporte ANSI SQL: cláusula de deslocamento de resultado na expressão de consulta
• [FAÍSCA-39203] [SQL] Reescrever o local da tabela para URI absoluto com base no URI do banco de dados
• [FAÍSCA-39313] [SQL] toCatalystOrdering deve falhar se V2Expression não puder ser traduzido
• [FAÍSCA-39301] [SQL][PYTHON] Aproveite LocalRelation e respeite o tamanho do lote de seta em createDataFrame com otimização de seta
• [FAÍSCA-39400] [SQL] spark-sql deve remover hive resource dir em todos os casos

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 11.2.

Ambiente do sistema

• Sistema Operacional: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Escala: 2.12.14
• Píton: 3.9.5
• R: 4.1.3
• Lago Delta: 2.1.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo do Microsoft CRAN em 2022-08-15.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)