Tempo de execução do Databricks 11.1 (EoS)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 11.1, desenvolvido pelo Apache Spark 3.3.0. A Databricks lançou esta versão em julho de 2022.

Novos recursos e melhorias

• Fóton é GA
• Photon: Tipos de instância suportados
• O feed de dados de alteração agora pode lidar automaticamente com carimbos de data/hora fora do intervalo
• Descrever e mostrar funções SQL agora mostram nomes do Catálogo Unity em sua saída (Visualização pública)
• Inferência de esquema e evolução para arquivos Parquet no Auto Loader (Visualização pública)
• Auto Loader agora suporta evolução de esquema para Avro (GA)
• Suporte Delta Lake para substituições de partição dinâmica
• Suporte de esquema de informações para objetos criados no Unity Catalog
• Restrições informativas em tabelas Delta Lake com Unity Catalog (Visualização pública)
• Unity Catalog é GA
• Delta Sharing é GA

Fóton é GA

O Photon agora está disponível para o público em geral, começando com o Databricks Runtime 11.1. O Photon é o motor de consulta vetorizado nativo no Azure Databricks, escrito para ser diretamente compatível com as APIs do Apache Spark para que funcione com o código existente. O Photon é desenvolvido em C++ para tirar proveito do hardware moderno e usa as técnicas mais recentes em processamento vetorizado de consultas para capitalizar o paralelismo de dados e instruções em CPUs, melhorando o desempenho em dados e aplicativos do mundo real — tudo nativamente em seu data lake.

O Photon faz parte de um runtime de alto desempenho que executa as chamadas à API do SQL e DataFrame existentes mais rapidamente e reduz o custo total por carga de trabalho. O Photon é utilizado por predefinição nos armazéns SQL do Databricks.

Os novos recursos e melhorias incluem:

• Novo operador de classificação vetorizado
• Novas funções vetorizadas de janela
• Novos tipos e tamanhos de instância em todas as nuvens

Limitações:

• UDFs Scala/Python não são suportados pelo Photon
• RDD não é suportado pelo Photon
• O Streaming estruturado não é suportado pelo Photon

Para obter mais informações, consulte os seguintes anúncios do Photon.

Photon: Novo operador de classificação vetorizado

O Photon agora suporta uma classificação vetorizada para quando uma consulta contém SORT_BY, CLUSTER_BYou uma função de janela com um ORDER BYarquivo .

Limitações: Photon não suporta uma cláusula global ORDER BY . As classificações para avaliação de janela serão fotonizadas, mas a classificação global continuará a ser executada no Spark.

Photon: Novas funções vetorizadas da janela

Photon agora suporta avaliação de função de janela vetorizada para muitos tipos de quadros e funções. As novas funções da janela incluem: row_number, rank, dense_rank, lag, lead, percent_rank, ntilee nth_value. Tipos de moldura de janela suportados: executando (UNBOUNDED PRECEDING AND CURRENT ROW), sem limites (UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING), crescendo (UNBOUNDED PRECEDING AND <OFFSET> FOLLOWING) e encolhendo (<OFFSET> PRECEDING AND UNBOUNDED FOLLOWING).

Limitações:

• Photon suporta apenas ROWS versões de todos os tipos de quadros.
• O fóton ainda não suporta o tipo de quadro deslizante (<OFFSET> PRECEDING AND <OFFSET> FOLLOWING).

Photon: Tipos de instância suportados

• dds_v5
• ds_v5
• eas_v4
• eds_v4
• eds_v5
• es_v5
• las_v3
• ls_v3

O feed de dados de alteração agora pode lidar automaticamente com carimbos de data/hora fora do intervalo

O feed de dados de alteração (CDF) agora tem um novo modo para fornecer carimbos de data/hora ou versões após a versão de confirmação mais recente sem lançar erros. Este modo está desativado por padrão. Você pode habilitá-lo definindo a configuração spark.databricks.delta.changeDataFeed.timestampOutOfRange.enabled como true.

Descrever e mostrar funções SQL agora mostram nomes do Catálogo Unity em sua saída (Visualização pública)

Os comandos DESC TABLE, DESC DATABASE, , DESC SCHEMA, DESC FUNCTIONDESC NAMESPACE, , EXPLAINe SHOW CREATE TABLE agora sempre mostram o nome do catálogo em sua saída.

Inferência de esquema e evolução para arquivos Parquet no Auto Loader (Visualização pública)

O Auto Loader agora suporta inferência de esquema e evolução para arquivos Parquet. Assim como os formatos JSON, CSV e Avro, agora você pode usar a coluna de dados resgatados para resgatar dados inesperados que podem aparecer em seus arquivos Parquet. Isso inclui dados que não podem ser analisados no tipo de dados esperado, colunas que têm um invólucro diferente ou colunas adicionais que não fazem parte do esquema esperado. Você pode configurar o Auto Loader para evoluir o esquema automaticamente ao encontrar a adição de novas colunas nos dados recebidos. Consulte Configurar inferência e evolução de esquema no Auto Loader.

Auto Loader agora suporta evolução de esquema para Avro (GA)

Consulte Configurar inferência e evolução de esquema no Auto Loader.

Suporte Delta Lake para substituições de partição dinâmica

O Delta Lake agora permite que o modo de substituição de partição dinâmica substitua todos os dados existentes em cada partição lógica para a qual a gravação confirmará novos dados. Consulte Substituir dados seletivamente com o Delta Lake.

Suporte de esquema de informações para objetos criados no Unity Catalog

O esquema de informações fornece uma API autodescritiva baseada em SQL para os metadados de vários objetos de banco de dados, incluindo tabelas e exibições, restrições e rotinas. Dentro do esquema de informações, você encontra um conjunto de modos de exibição que descrevem os objetos conhecidos no catálogo do esquema que você tem o privilégio de ver. O esquema de informações do SYSTEM catálogo retorna informações sobre objetos em todos os catálogos dentro do metastore. Consulte Esquema de informações.

Restrições informativas em tabelas Delta Lake com Unity Catalog (Visualização pública)

Agora você pode definir restrições de chave primária informacional e chave estrangeira em tabelas Delta Lake com o Unity Catalog. As restrições informacionais não são impostas. Consulte a cláusula CONSTRAINT.

Unity Catalog é GA

O Unity Catalog agora está disponível para o público em geral a partir do Databricks Runtime 11.1. Veja O que é o Unity Catalog?.

Delta Sharing é GA

O Delta Sharing agora está disponível para o público em geral a partir do Databricks Runtime 11.1.

O Databricks to Databricks Delta Sharing é totalmente gerenciado sem a necessidade de troca de tokens. Você pode criar e gerenciar provedores, destinatários e compartilhamentos na interface do usuário ou com APIs SQL e REST.

Alguns recursos incluem restringir o acesso de destinatários, consultar dados com listas de acesso IP e restrições de região e delegar o gerenciamento do Delta Sharing a não-administradores. Você também pode consultar alterações em dados ou compartilhar versões incrementais com o Change Data Feeds. Consulte O que é Delta Sharing?.

Alterações de comportamento

Redação de propriedades sensíveis para DESCRIBE TABLE e SHOW TABLE PROPERTIES

As propriedades confidenciais são editadas em DataFrames e na saída dos DESCRIBE TABLE comandos and SHOW TABLE PROPERTIES .

Clusters de tarefas padrão para o modo de acesso de usuário único com Databricks Runtime 11.1 e superior

Para serem capazes do Unity Catalog, os clusters de tarefas que usam o Databricks Runtime 11.1 e superior criados por meio da interface do usuário de trabalhos ou da API de trabalhos usarão como padrão o modo de acesso de usuário único. O modo de acesso de usuário único suporta a maioria das linguagens de programação, recursos de cluster e recursos de governança de dados. Você ainda pode configurar o modo de acesso compartilhado por meio da interface do usuário ou da API, mas os idiomas ou recursos podem ser limitados.

Atualizações da biblioteca

• Bibliotecas Python atualizadas:
  • filelock de 3.6.0 a 3.7.1
  • plotly de 5.6.0 a 5.8.2
  • Protobuf de 3.20.1 a 4.21.2
• Bibliotecas R atualizadas:
  • chron de 2.3-56 a 2.3-57
  • DBI de 1.1.2 a 1.1.3
  • DBPlyr de 2.1.1 a 2.2.0
  • e1071 de 1.7-9 a 1.7-11
  • futuro de 1.25.0 a 1.26.1
  • globais de 0.14.0 a 0.15.1
  • Hardhat de 0.2.0 a 1.1.0
  • ipred de 0,9-12 a 0,9-13
  • openssl de 2.0.0 a 2.0.2
  • paralelamente de 1.31.1 a 1.32.0
  • processx de 3.5.3 a 3.6.1
  • progressor de 0.10.0 a 0.10.1
  • proxy de 0.4-26 a 0.4-27
  • ps de 1.7.0 a 1.7.1
  • randomFloresta de 4,7-1 a 4,7-1,1
  • roxygen2 de 7.1.2 a 7.2.0
  • Rserve de 1.8-10 a 1.8-11
  • RSQLite de 2.2.13 a 2.2.14
  • Sparklyr de 1.7.5 a 1.7.7
  • tinytex de 0,38 a 0,40
  • usethis de 2.1.5 a 2.1.6
  • xfun de 0.30 a 0.31
• Bibliotecas Java atualizadas:
  • io.delta.delta-sharing-spark_2.12 de 0.4.0 a 0.5.0

Faísca Apache

O Databricks Runtime 11.2 inclui o Apache Spark 3.3.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 11.1 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• [FAÍSCA-40054] [SQL] Restaurar a sintaxe de tratamento de erros de try_cast()
• [FAÍSCA-39489] [CORE] Melhore o desempenho do JsonProtocol no log de eventos usando Jackson em vez de Json4s
• [FAÍSCA-39319] [CORE][SQL] Tornar contextos de consulta como parte de SparkThrowable
• [FAÍSCA-40085] [SQL] Use INTERNAL_ERROR classe de erro em vez de IllegalStateException para indicar bugs
• [FAÍSCA-40001] [SQL] Fazer gravações NULL em colunas JSON DEFAULT gravar 'null' no armazenamento
• [FAÍSCA-39635] [SQL] Suporta métricas de driver na API de métrica personalizada do DS v2
• [FAÍSCA-39184] [SQL] Manipular matriz de resultados subdimensionada em sequências de carimbo de data e hora
• [FAÍSCA-40019] [SQL] Refatore o comentário de ArrayType continsNull e refatore as lógicas de mal-entendido na expressão de collectionOperator sobre containsNull
• [FAÍSCA-39989] [SQL] Ofereça suporte a estatísticas de coluna de estimativa se for uma expressão dobrável
• [FAÍSCA-39926] [SQL] Corrigir bug na coluna Suporte PADRÃO para varreduras de Parquet não vetorizadas
• [FAÍSCA-40052] [SQL] Manipular buffers diretos de bytes em VectorizedDeltaBinaryPackedReader
• [FAÍSCA-40044] [SQL] Corrigir o tipo de intervalo de destino em erros de estouro de elenco
• [FAÍSCA-39835] [SQL] Fix EliminateSorts remove a classificação global abaixo da classificação local
• [FAÍSCA-40002] [SQL] Não empurre o limite para baixo através da janela usando ntile
• [FAÍSCA-39976] [SQL] ArrayIntersect deve manipular null na expressão esquerda corretamente
• [FAÍSCA-39985] [SQL] Habilitar valores de coluna DEFAULT implícitos em inserções de DataFrames
• [FAÍSCA-39776] [SQL] JOIN string detalhada deve adicionar o tipo Join
• [FAÍSCA-38901] [SQL] DS V2 suporta funções push down misc
• [FAÍSCA-40028] [SQL][Seguimento] Melhorar exemplos de funções de cadeia de caracteres
• [FAÍSCA-39983] [CORE][SQL] Não armazenar em cache relações de difusão não serializadas no driver
• [FAÍSCA-39812] [SQL] Simplifique o código que constrói AggregateExpression com toAggregateExpression
• [FAÍSCA-40028] [SQL] Adicionar exemplos binários para expressões de cadeia de caracteres
• [FAÍSCA-39981] [SQL] Lance a exceção QueryExecutionErrors.castingCauseOverflowErrorInTableInsert no Cast
• [FAÍSCA-40007] [PYTHON][SQL] Adicionar 'modo' às funções
• [FAÍSCA-40008] [SQL] Suporte de fundição de integrais para intervalos ANSI
• [FAÍSCA-40003] [PYTHON][SQL] Adicionar 'mediana' às funções
• [FAÍSCA-39952] [SQL] SaveIntoDataSourceCommand deve rearmazenar em cache a relação de resultados
• [FAÍSCA-39951] [SQL] Atualizar verificação colunar do Parquet V2 para campos aninhados
• [FAÍSCA-39775] [CORE][AVRO] Desabilitar a validação de valores padrão ao analisar esquemas Avro
• [FAÍSCA-33236] [baralhar] Backport para DBR 11.x: habilite o serviço de shuffle baseado em push para armazenar o estado no banco de dados de nível NM para preservando a reinicialização do trabalho
• [FAÍSCA-39836] [SQL] Simplifique o V2ExpressionBuilder extraindo o método comum.
• [FAÍSCA-39867] [SQL] O limite global não deve herdar OrderPreservingUnaryNode
• [FAÍSCA-39873] [SQL] Remova OptimizeLimitZero e mescle-o em EliminateLimits
• [FAÍSCA-39961] [SQL] DS V2 push-down traduzir Cast se o elenco é seguro
• [FAÍSCA-39872] [SQL] Alterar para usar BytePackerForLong#unpack8Values com a api de entrada de matriz em VectorizedDeltaBinaryPackedReader
• [FAÍSCA-39858] [SQL] Remover regras desnecessárias AliasHelper ou PredicateHelper para algumas
• [FAÍSCA-39962] [WARMFIX][ES-393486][PYTHON][SQL] Aplicar projeção quando os atributos de grupo estiverem vazios
• [FAÍSCA-39900] [SQL] Condição parcial ou negada de endereço no pushdown de predicado do formato binário
• [FAÍSCA-39904] [SQL] Renomeie inferDate para prefersDate e esclareça a semântica da opção na fonte de dados CSV
• [FAÍSCA-39958] [SQL] Adicionar log de aviso quando não for possível carregar o objeto de métrica personalizado
• [FAÍSCA-39936] [SQL] Armazenar esquema em propriedades para Spark Views
• [FAÍSCA-39932] [SQL] WindowExec deve limpar o buffer de partição final
• [FAÍSCA-37194] [SQL] Evite a classificação desnecessária na gravação v1 se não for uma partição dinâmica
• [FAÍSCA-39902] [SQL] Adicionar detalhes do Scan ao nó de verificação do plano de faísca no SparkUI
• [FAÍSCA-39865] [SQL] Mostrar mensagens de erro adequadas nos erros de estouro da inserção da tabela
• [FAÍSCA-39940] [SS] Atualizar tabela de catálogo na consulta de streaming com o coletor DSv1
• [FAÍSCA-39827] [SQL] Use a classe ARITHMETIC_OVERFLOW de erro no estouro int em add_months()
• [FAÍSCA-39914] [SQL] Adicionar Filtro DS V2 à conversão de Filtro V1
• [FAÍSCA-39857] [SQL] Backport manual DBR 11.x; V2ExpressionBuilder usa o tipo de dados LiteralValue errado para No predicado #43454
• [FAÍSCA-39840] [SQL][PYTHON] Fator PythonArrowInput como uma simetria para PythonArrowOutput
• [FAÍSCA-39651] [SQL] A condição do filtro Prune se comparada com rand é determinística
• [FAÍSCA-39877] [PYTHON] Adicionar unpivot à API do PySpark DataFrame
• [FAÍSCA-39847] [WARMFIX][SS] Corrija a condição de corrida em RocksDBLoader.loadLibrary() se o thread do chamador for interrompido
• [FAÍSCA-39909] [SQL] Organizar a verificação de informações de push down para JDBCV2Suite
• [FAÍSCA-39834] [SQL][SS] Inclua as estatísticas de origem e restrições para LogicalRDD se ele vier de DataFrame
• [FAÍSCA-39849] [SQL] Dataset.as(StructType) preenche novas colunas ausentes com valor nulo
• [FAÍSCA-39860] [SQL] Mais expressões devem estender Predicado
• [FAÍSCA-39823] [SQL][PYTHON] Renomeie Dataset.as como Dataset.to e adicione DataFrame.to no PySpark
• [FAÍSCA-39918] [SQL][MENOR] Substitua a expressão "não comparável" por "incomparável" na mensagem de erro
• [FAÍSCA-39857] [SQL][3.3] V2ExpressionBuilder usa o tipo de dados LiteralValue errado para o predicado In
• [FAÍSCA-39862] [SQL] Backport manual para PR 43654 visando DBR 11.x: Atualização SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS para permitir/negar ALTER TABLE ... Comandos ADD COLUMN separadamente.
• [FAÍSCA-39844] [SQL] Backport manual para PR 43652 visando DBR 11.x
• [FAÍSCA-39899] [SQL] Corrigir a passagem de parâmetros de mensagem para InvalidUDFClassException
• [FAÍSCA-39890] [SQL] Fazer TakeOrderedAndProjectExec herdar AliasAwareOutputOrdering
• [FAÍSCA-39809] [PYTHON] Suporte CharType no PySpark
• [FAÍSCA-38864] [SQL] Adicionar unpivot / melt ao Dataset
• [FAÍSCA-39864] [SQL] Registre preguiçosamente ExecutionListenerBus
• [FAÍSCA-39808] [SQL] Suporta o modo de função agregada
• [FAÍSCA-39839] [SQL] Lidar com maiúsculas e minúsculas de comprimento variável nulo Decimal com deslocamento diferente de zeroAndSize na verificação de integridade estrutural UnsafeRow
• [FAÍSCA-39875] [SQL] Alterar protected o método na classe final para private ou package-visible
• [FAÍSCA-39731] [SQL] Corrigir problema em fontes de dados CSV e JSON ao analisar datas no formato "yyyyMMdd" com a política do analisador de tempo CORRIGIDO
• [FAÍSCA-39805] [SS] Deprecate Trigger.Once e Promote Trigger.AvailableNow
• [FAÍSCA-39784] [SQL] Coloque valores literais no lado direito do filtro da fonte de dados depois de traduzir o Catalyst Expression para o filtro da fonte de dados
• [FAÍSCA-39672] [SQL][3.1] Corrigir a remoção do projeto antes do filtro com a subconsulta correlacionada
• [FAÍSCA-39552] [SQL] Unificar v1 e v2 DESCRIBE TABLE
• [FAÍSCA-39806] [SQL] O acesso _metadata em uma tabela particionada pode travar uma consulta
• [FAÍSCA-39810] [SQL] Catalog.tableExists deve manipular namespace aninhado
• [FAÍSCA-37287] [SQL] Extraia a partição dinâmica e a classificação de bucket de FileFormatWriter
• [FAÍSCA-39469] [SQL] Inferir tipo de data para inferência de esquema CSV
• [FAÍSCA-39148] [SQL] DS V2 agregado push down pode trabalhar com OFFSET ou LIMIT
• [FAÍSCA-39818] [SQL] Corrigir bug nos tipos ARRAY, STRUCT, MAP com valores DEFAULT com campo(s) NULL
• [FAÍSCA-39792] [SQL] Adicionar DecimalDivideWithOverflowCheck para média decimal
• [FAÍSCA-39798] [SQL] Replcace toSeq.toArray com .toArray[Any] no construtor de GenericArrayData
• [FAÍSCA-39759] [SQL] Implementar listIndexes em JDBC (dialeto H2)
• [FAÍSCA-39385] [SQL] Suporta push down REGR_AVGX e REGR_AVGY
• [FAÍSCA-39787] [SQL] Use a classe de erro no erro de análise da função to_timestamp
• [FAÍSCA-39760] [PYTHON] Suporte Varchar no PySpark
• [FAÍSCA-39557] [SQL] Backport manual para DBR 11.x: suporta tipos ARRAY, STRUCT, MAP como valores DEFAULT
• [FAÍSCA-39758] [SQL][3.3] Corrigir NPE das funções regexp em padrões inválidos
• [FAÍSCA-39749] [SQL] Modo ANSI SQL: Use a representação de cadeia de caracteres simples na conversão de decimal para string
• [FAÍSCA-39704] [SQL] Implementar createIndex & dropIndex & indexExists em JDBC (dialeto H2)
• [FAÍSCA-39803] [SQL] Utilizar LevenshteinDistance em vez de StringUtils.getLevenshteinDistance
• [FAÍSCA-39339] [SQL] Suporte ao tipo TimestampNTZ na fonte de dados JDBC
• [FAÍSCA-39781] [SS] Adicionar suporte para fornecer max_open_files ao provedor de armazenamento de estado rocksdb
• [FAÍSCA-39719] [R] Implementar databaseExists/getDatabase no namespace 3L de suporte ao SparkR
• [FAÍSCA-39751] [SQL] Renomear métrica de testes de chave de agregação de hash
• [FAÍSCA-39772] [SQL] namespace deve ser null quando o banco de dados é nulo nos construtores antigos
• [FAÍSCA-39625] [FAÍSCA-38904][SQL] Adicionar Dataset.as(StructType)
• [FAÍSCA-39384] [SQL] Compilar funções de agregação de regressão linear integradas para o dialeto JDBC
• [FAÍSCA-39720] [R] Implementar tableExists/getTable no namespace SparkR for 3L
• [FAÍSCA-39744] [SQL] Adicionar a REGEXP_INSTR função
• [FAÍSCA-39716] [R] Faça com que currentDatabase/setCurrentDatabase/listCatalogs no SparkR suporte 3L namespace
• [FAÍSCA-39788] [SQL] Renomear catalogName para dialectName for JdbcUtils
• [FAÍSCA-39647] [CORE] Registre o executor no ESS antes de registrar o BlockManager
• [FAÍSCA-39754] [CORE][SQL] Remover não utilizados import ou desnecessários {}
• [FAÍSCA-39706] [SQL] Definir coluna ausente com defaultValue como constante em ParquetColumnVector
• [FAÍSCA-39699] [SQL] Tornar o CollapseProject mais inteligente sobre expressões de criação de coleção
• [FAÍSCA-39737] [SQL] PERCENTILE_CONT e PERCENTILE_DISC deve suportar filtro agregado
• [FAÍSCA-39579] [SQL][PYTHON][R] Tornar ListFunctions/getFunction/functionExists compatível com namespace de 3 camadas
• [FAÍSCA-39627] [SQL] O pushdown JDBC V2 deve unificar a API de compilação
• [FAÍSCA-39748] [SQL][SS] Inclua o plano lógico de origem para LogicalRDD se ele vier de DataFrame
• [FAÍSCA-39385] [SQL] Definição da palavra linear regression aggregate functions for pushdown
• [FAÍSCA-39695] [SQL] Adicionar a REGEXP_SUBSTR função
• [FAÍSCA-39667] [SQL] Adicione outra solução alternativa quando não houver memória suficiente para criar e transmitir a tabela
• [FAÍSCA-39666] [ES-337834][SQL] Use UnsafeProjection.create para respeitar spark.sql.codegen.factoryMode em ExpressionEncoder
• [FAÍSCA-39643] [SQL] Proibir expressões de subconsulta em valores DEFAULT
• [FAÍSCA-38647] [SQL] Adicionar SupportsReportOrdering mix na interface para Scan (DataSourceV2)
• [FAÍSCA-39497] [SQL] Melhorar a exceção de análise da coluna de chave de mapa ausente
• [FAÍSCA-39661] [SQL] Evite criar SLF4J Logger desnecessário
• [FAÍSCA-39713] [SQL] Modo ANSI: adicionar sugestão de uso de try_element_at para erro INVALID_ARRAY_INDEX
• [FAÍSCA-38899] [SQL]O DS V2 suporta funções push down datetime
• [FAÍSCA-39638] [SQL] Alterar para usar ConstantColumnVector para armazenar colunas de partição em OrcColumnarBatchReader
• [FAÍSCA-39653] [SQL] Limpar de ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int)ColumnVectorUtils
• [FAÍSCA-39231] [SQL] Use ConstantColumnVector em vez de armazenar colunas de On/OffHeapColumnVector partição em VectorizedParquetRecordReader
• [FAÍSCA-39547] [SQL] V2SessionCatalog não deve lançar NoSuchDatabaseException em loadNamspaceMetadata
• [FAÍSCA-39447] [SQL] Evite AssertionError em AdaptiveSparkPlanExec.doExecuteBroadcast
• [FAÍSCA-39492] [SQL] Retrabalho MISSING_COLUMN
• [FAÍSCA-39679] [SQL] TakeOrderedAndProjectExec deve respeitar a ordem de saída filho
• [FAÍSCA-39606] [SQL] Usar estatísticas filho para estimar o operador de ordem
• [FAÍSCA-39611] [PYTHON][PS] Corrigir aliases errados no array_ufunc
• [FAÍSCA-39656] [SQL][3.3] Corrigir namespace errado em DescribeNamespaceExec
• [FAÍSCA-39675] [SQL] Alternar a configuração 'spark.sql.codegen.factoryMode' da finalidade de teste para a finalidade interna
• [FAÍSCA-39139] [SQL] DS V2 suporta push down DS V2 UDF
• [FAÍSCA-39434] [SQL] Fornecer contexto de consulta de erro de tempo de execução quando o índice de matriz estiver fora dos limites
• [FAÍSCA-39479] [SQL] DS V2 suporta funções matemáticas push down (não ANSI)
• [FAÍSCA-39618] [SQL] Adicionar a REGEXP_COUNT função
• [FAÍSCA-39553] [CORE] O shuffle de cancelamento de registro multithread não deve lançar NPE ao usar o Scala 2.13
• [FAÍSCA-38755] [PYTHON][3.3] Adicionar ficheiro para resolver funções gerais de pandas em falta
• [FAÍSCA-39444] [SQL] Adicionar OptimizeSubqueries à lista nonExcludableRules
• [FAÍSCA-39316] [SQL] Mesclar PromotePrecision e CheckOverflow em aritmética binária decimal
• [FAÍSCA-39505] [UI] Conteúdo do log de escape renderizado na interface do usuário
• [FAÍSCA-39448] [SQL] Adicionar ReplaceCTERefWithRepartition à nonExcludableRules lista
• [FAÍSCA-37961] [SQL] Substituir maxRows/maxRowsPerPartition para alguns operadores lógicos
• [FAÍSCA-35223] Reverter Adicionar ProblemaNavegaçãoLink
• [FAÍSCA-39633] [SQL] Suporte a carimbo de data/hora em segundos para TimeTravel usando opções de Dataframe
• [FAÍSCA-38796] [SQL] Atualizar a documentação para cadeias de caracteres de formato de número com as funções {try_}to_number
• [FAÍSCA-39650] [SS] Corrigir esquema de valor incorreto na desduplicação de streaming com compatibilidade com versões anteriores
• [FAÍSCA-39636] [CORE][UI] Corrija vários bugs no JsonProtocol, afetando o heap StorageLevels e o Task/Executor ResourceRequests
• [FAÍSCA-39432] [SQL] Retorno ELEMENT_AT_BY_INDEX_ZERO de element_at(*, 0)
• [FAÍSCA-39349] Adicionar um método CheckError centralizado para QA do caminho de erro
• [FAÍSCA-39453] [SQL] DS V2 suporta push down misc funções não-agregadas (não ANSI)
• [FAÍSCA-38978] [SQL] DS V2 suporta operador OFFSET push down
• [FAÍSCA-39567] [SQL] Suporte a intervalos ANSI nas funções de percentil
• [FAÍSCA-39383] [SQL] Suporte a colunas DEFAULT em fontes de dados ALTER TABLE ALTER COLUMNS para V2
• [FAÍSCA-39396] [SQL] Corrigir exceção de login LDAP 'código de erro 49 - credenciais inválidas'
• [FAÍSCA-39548] [SQL] Comando CreateView com uma consulta de cláusula de janela atingiu uma definição de janela errada não encontrado problema
• [FAÍSCA-39575] [AVRO] adicionar ByteBuffer#rewind após ByteBuffer#get in Avr...
• [FAÍSCA-39543] A opção de DataFrameWriterV2 deve ser passada para propriedades de armazenamento se fallback para v1
• [FAÍSCA-39564] [SS] Expor as informações da tabela de catálogo ao plano lógico na consulta de streaming
• [FAÍSCA-39582] [SQL] Corrigir marcador "Desde" para array_agg
• [FAÍSCA-39388] [SQL] Reutilizar orcSchema quando empurrar predicados Orc para baixo
• [FAÍSCA-39511] [SQL] Melhore o limite local 1 para o lado direito da semi/antijunção esquerda se a condição de junção estiver vazia
• [FAÍSCA-38614] [SQL] Não empurre o limite para baixo através da janela que está usando percent_rank
• [FAÍSCA-39551] [SQL] Adicionar verificação de plano inválido do AQE
• [FAÍSCA-39383] [SQL] Suporte a colunas PADRÃO em ALTER TABLE ADD COLUMNS para fontes de dados V2
• [FAÍSCA-39538] [SQL] Evite criar SLF4J Logger desnecessário
• [FAÍSCA-39383] [SQL] Backport manual para DBR 11.x: refatore o suporte à coluna DEFAULT para ignorar a passagem do analisador principal
• [FAÍSCA-39397] [SQL] Relaxe AliasAwareOutputExpression para suportar alias com expressão
• [FAÍSCA-39496] [SQL] Manipular struct null em Inline.eval
• [FAÍSCA-39545] [SQL] Método de substituição concat para ExpressionSet no Scala 2.13 para melhorar o desempenho
• [FAÍSCA-39340] [SQL] DS v2 agg pushdown deve permitir pontos no nome de colunas de nível superior
• [FAÍSCA-39488] [SQL] Simplifique o tratamento de erros de TempResolvedColumn
• [FAÍSCA-38846] [SQL] Adicionar mapeamento de dados explícito entre Teradata Numeric Type e Spark DecimalType
• [FAÍSCA-39520] [SQL] Método de substituição -- para ExpressionSet no Scala 2.13
• [FAÍSCA-39470] [SQL] Suporte a conversão de intervalos ANSI para decimais
• [FAÍSCA-39477] [SQL] Remova as informações de "Número de consultas" dos arquivos dourados do SQLQueryTestSuite
• [FAÍSCA-39419] [SQL] Corrija ArraySort para lançar uma exceção quando o comparador retornar null
• [FAÍSCA-39061] [SQL] Definir anulável corretamente para Inline atributos de saída
• [FAÍSCA-39320] [SQL] Função de agregação de suporte MEDIAN
• [FAÍSCA-39261] [CORE] Melhorar a formatação de novas linhas para mensagens de erro
• [FAÍSCA-39355] [SQL] Uma única coluna usa aspas para construir UnresolvedAttribute
• [FAÍSCA-39351] [SQL] SHOW CREATE TABLE deve redigir propriedades
• [FAÍSCA-37623] [SQL] Suporte ANSI Aggregate Função: regr_intercept
• [FAÍSCA-39374] [SQL] Melhorar a mensagem de erro para a lista de colunas especificada pelo usuário
• [FAÍSCA-39255] [SQL][3.3] Melhorar as mensagens de erro
• [FAÍSCA-39321] [SQL] Refatore TryCast para usar RuntimeReplaceable
• [FAÍSCA-39406] [PYTHON] Aceitar matriz NumPy em createDataFrame
• [FAÍSCA-39267] [SQL] Limpar símbolo dsl desnecessário
• [FAÍSCA-39171] [SQL] Unificar a expressão Cast
• [FAÍSCA-28330] [SQL] Suporte ANSI SQL: cláusula de deslocamento de resultado na expressão de consulta
• [FAÍSCA-39203] [SQL] Reescrever o local da tabela para URI absoluto com base no URI do banco de dados
• [FAÍSCA-39313] [SQL] toCatalystOrdering deve falhar se V2Expression não puder ser traduzido
• [FAÍSCA-39301] [SQL][PYTHON] Aproveite LocalRelation e respeite o tamanho do lote de seta em createDataFrame com otimização de seta
• [FAÍSCA-39400] [SQL] spark-sql deve remover hive resource dir em todos os casos

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 11.1.

Ambiente do sistema

• Sistema Operacional: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Escala: 2.12.14
• Píton: 3.9.5
• R: 4.1.3
• Lago Delta: 1.2.1

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo do Microsoft CRAN em 2022-08-15.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)