Tempo de execução do Databricks 9.0 (EoS)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 9.0 e o Databricks Runtime 9.0 Photon, com tecnologia Apache Spark 3.1.2. A Databricks lançou esta versão em agosto de 2021. Photon está em Visualização Pública.

Correção

Uma versão anterior dessas notas de versão afirmou incorretamente que as dependências do Apache Parquet foram atualizadas de 1.10 para 1.12. Na verdade, as dependências do Parquet permanecem na versão 1.10. A nota de lançamento incorreta foi removida.

Novos recursos e melhorias

• Nova API para estatísticas resumidas de conjuntos de dados (Visualização pública)
• Configuração de fonte de dados externa mais fácil para o conector Synapse do Azure
• Opcionalmente, limite a sessão a uma duração especificada para o conector do Amazon Redshift
• Carregador Automático
• SQL
• Suporte R
• Evite refazer especificando o estado inicial para o processamento com estado de Streaming Estruturado
• Uma implementação de baixa embaralhação do comando Delta MERGE INTO já está disponível (Visualização pública)

Nova API para estatísticas resumidas de conjuntos de dados (Visualização pública)

O novo dbutils.data.summarize comando no Databricks Utilities permite iniciar um trabalho do Spark que calcula automaticamente estatísticas resumidas nas colunas de um DataFrame do Spark e, em seguida, exibe os resultados interativamente. Esta função está disponível em Scala e Python. Consulte Utilitário de dados (dbutils.data).

Configuração de fonte de dados externa mais fácil para o conector Synapse do Azure

A nova externalDataSource opção no conector Consultar dados no Azure Synapse Analytics permite que você use uma fonte de dados externa pré-provisionada para ler de um banco de dados do Azure Synapse. A externalDataSource opção elimina a necessidade da CONTROL permissão anteriormente necessária.

Ao definir externalDataSourceo , a fonte de dados externa e a opção usada para configurar o tempDir armazenamento temporário devem fazer referência ao mesmo contêiner na conta de armazenamento.

Opcionalmente, limite a sessão a uma duração especificada para o conector do Amazon Redshift

A nova fs.s3a.assumed.role.session.duration opção no Query Amazon Redshift usando o conector Azure Databricks permite que você defina opcionalmente uma duração para a sessão quando o Redshift estiver acessando o bucket temporário do S3 com uma função assumida.

Carregador Automático

• Listagem de arquivos otimizada
• Armazenamento otimizado de dados de imagem
• Miniaturas de imagens para arquivos binários (Visualização pública)
• DirectoryRename eventos permitem o processamento atômico de vários arquivos

Listagem de arquivos otimizada

As otimizações do Auto Loader oferecem melhorias de desempenho e economia de custos ao listar diretórios aninhados no armazenamento em nuvem, incluindo AWS S3, Azure Data Lake Storage Gen2 (ADLS Gen2) e Google Cloud Storage (GCS).

Por exemplo, se você tinha arquivos sendo carregados como /some/path/YYYY/MM/DD/HH/fileName, para encontrar todos os arquivos nesses diretórios, o Auto Loader costumava fazer uma listagem paralela de todos os subdiretórios, causando 365 (por dia) * 24 (por hora) = 8760 chamadas de diretório LIST API para o armazenamento subjacente para cada diretório anual. Ao receber uma resposta nivelada desses sistemas de armazenamento, o Auto Loader reduz o número de chamadas de API para o número de arquivos no sistema de armazenamento dividido pelo número de resultados retornados por cada chamada de API (1000 para S3, 5000 para ADLS Gen2 e 1024 para GCS), reduzindo consideravelmente seus custos de nuvem.

Armazenamento otimizado de dados de imagem

O Auto Loader agora pode detetar automaticamente os dados de imagem que estão sendo ingeridos e otimizar seu armazenamento em tabelas Delta para melhorar o desempenho de leitura e gravação. Consulte Ingerir imagem ou dados binários para Delta Lake para ML.

Miniaturas de imagens para arquivos binários (Visualização pública)

As imagens em binaryFile formato carregado ou salvo como tabelas Delta usando o Carregador Automático têm anotações anexadas para que as miniaturas de imagem apareçam quando você exibir a tabela em um bloco de anotações do Azure Databricks. Para obter mais informações, consulte Imagens.

DirectoryRename eventos permitem o processamento atômico de vários arquivos

Os fluxos do Auto Loader criados no Databricks Runtime 9.0 e superior no Azure Data Lake Storage Gen2 configuram notificações de eventos de arquivo para incluir renomeações de RenameDirectory diretório e ouvir eventos. Você pode usar renomeações de diretório para fazer com que vários arquivos apareçam atomicamente no Auto Loader.

SQL

• Excluir colunas em SELECT * (Pré-visualização Pública)
• Funções escalares SQL (Visualização pública)
• Referência a aliases e colunas anteriores em FROM subconsultas (Visualização pública)

Excluir colunas em SELECT * (Pré-visualização Pública)

SELECT * agora suporta uma EXCEPT palavra-chave, que permite excluir colunas de nível superior especificadas da expansão. Por exemplo, SELECT * EXCEPT (b) FROM tbl de uma tabela com esquema (a, b, c) se expande para (a, c).

Funções escalares SQL (Visualização pública)

CREATE FUNCTION agora suporta funções escalares SQL. Você pode criar funções escalares que usam um conjunto de argumentos e retornam um único valor de tipo escalar. O corpo da função SQL pode ser qualquer expressão. Por exemplo:

CREATE FUNCTION square(x DOUBLE) RETURNS DOUBLE RETURN x * x;
SELECT square(2);

Para obter detalhes, consulte CREATE FUNCTION (SQL e Python).

Referência a aliases e colunas anteriores em FROM subconsultas (Visualização pública)

As subconsultas na FROM cláusula de uma consulta agora podem ser precedidas pela LATERAL palavra-chave que lhes permite fazer referência a aliases e colunas nos itens anteriores FROM . Por exemplo:

SELECT * FROM t1, LATERAL (SELECT * FROM t2 WHERE t1.c1 = t2.c1)

A LATERAL palavra-chave suporta INNER, CROSSe LEFT (OUTER) JOIN.

Consulte Parâmetros e parâmetros.

Suporte R

Bibliotecas R com escopo de bloco de anotações (Visualização pública)

As bibliotecas com escopo de bloco de anotações permitem instalar bibliotecas e criar um ambiente com escopo para uma sessão de bloco de anotações. Essas bibliotecas não afetam outros blocos de anotações executados no mesmo cluster. As bibliotecas estão disponíveis nos nós de driver e de trabalho, para que você possa consultá-las em funções definidas pelo usuário. Consulte Bibliotecas R com escopo de bloco de anotações.

Mensagens de aviso em blocos de notas R

O valor padrão da warn opção agora está definido como 1 dentro de blocos de anotações R. Como resultado, todos os avisos agora são expostos como parte do resultado do comando. Para saber mais sobre a opção, consulte Configurações de warnopções.

Evite refazer especificando o estado inicial para o processamento com estado de Streaming Estruturado

Agora você pode especificar um estado inicial definido pelo usuário para processamento de streaming estruturado com estado usando [flat]MapGroupsWithState o operador.

Consulte Especificar estado inicial para mapGroupsWithState.

Uma implementação de baixa embaralhação do comando Delta MERGE INTO já está disponível (Visualização pública)

O comando Delta MERGE INTO tem uma nova implementação disponível que reduz o embaralhamento de linhas não modificadas. Isso melhora o desempenho do comando e ajuda a preservar o clustering existente na tabela, como a ordem Z. Para habilitar a mesclagem de baixa shuffle, defina spark.databricks.delta.merge.enableLowShuffle como true. Consulte Mesclagem de baixa shuffle no Azure Databricks.

Correções de erros

• Não é mais possível substituir um modo de exibição criando um modo de exibição com o mesmo nome.

Atualizações da biblioteca

• Bibliotecas Python atualizadas:
  • certifi de 2021.5.30 a 2020.12.5
  • chardet de 3.0.4 a 4.0.0
  • Cython de 0.29.21 a 0.29.23
  • decorador de 4.4.2 a 5.0.6
  • ipython de 7.19.0 a 7.22.0
  • joblib de 0.17.0 a 1.0.1
  • jupyter-client de 6.1.7 a 6.1.12
  • jupyter-core de 4.6.3 a 4.7.1
  • kiwisolver de 1.3.0 a 1.3.1
  • matplotlib de 3.2.2 a 3.4.2
  • pandas de 1.1.5 a 1.2.4
  • pip de 20.2.4 a 21.0.1
  • prompt-toolkit de 3.0.8 a 3.0.17
  • Protobuf de 3.17.3 a 3.17.2
  • ptyprocess de 0.6.0 a 0.7.0
  • Pyarrow de 1.0.1 a 4.0.0
  • Pygments de 2.7.2 a 2.8.1
  • pyzmq de 19.0.2 a 20.0.0
  • Pedidos de 2.24.0 a 2.25.1
  • s3transfer de 0.3.6 a 0.3.7
  • scikit-learn de 0.23.2 a 0.24.1
  • Scipy de 1.5.2 a 1.6.2
  • Seaborn de 0.10.0 a 0.11.1
  • setuptools de 50.3.1 a 52.0.0
  • statsmodels de 0.12.0 a 0.12.2
  • Tornado de 6.0.4 a 6.1
  • virtualenv de 20.2.1 a 20.4.1
  • roda de 0.35.1 a 0.36.2
• Bibliotecas R atualizadas:
  • Matriz de 1,3-3 a 1,3-4

Faísca Apache

O Databricks Runtime 9.0 inclui o Apache Spark 3.1.2. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 8.4 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• [FAÍSCA-35886] [SQL][3.1] PromotePrecision não deve substituir genCodePromotePrecision não deve substituir genCode
• [FAÍSCA-35879] [CORE][BARALHAR] Corrigir regressão de desempenho causada por collectFetchRequests
• [FAÍSCA-35817] [SQL][3.1] Restaurar o desempenho de consultas em tabelas Avro amplas
• [FAÍSCA-35841] [SQL] A conversão de cadeia de caracteres para o tipo decimal não funciona se...
• [FAÍSCA-35783] [SQL] Definir a lista de colunas de leitura na configuração da tarefa para reduzir a leitura de dados ORC
• [FAÍSCA-35576] [SQL][3.1] Redigir as informações confidenciais no resultado do comando set
• [FAÍSCA-35449] [SQL][3.1] Extrair apenas expressões comuns de valores CaseWhen se elseValue estiver definido
• [FAÍSCA-35288] [SQL] StaticInvoke deve encontrar o método sem correspondência exata de classes de argumento
• [FAÍSCA-34794] [SQL] Corrigir problemas de nome de variável lambda em funções DataFrame aninhadas
• [FAÍSCA-35278] [SQL] Invoke deve encontrar o método com o número correto de parâmetros
• [FAÍSCA-35226] [SQL] Suporta a opção refreshKrb5Config em fontes de dados JDBC
• [FAÍSCA-35244] [SQL] Invoke deve lançar a exceção original
• [FAÍSCA-35213] [SQL] Mantenha a ordem correta das estruturas aninhadas em operações encadeadas withField
• [FAÍSCA-35087] [UI] Algumas colunas na tabela Métricas agregadas por executor da página de detalhes do estágio são exibidas incorretamente.
• [FAÍSCA-35168] [SQL] mapred.reduce.tasks deve ser shuffle.partitions not adaptive.coalescePartitions.initialPartitionNum
• [FAÍSCA-35127] [UI] Quando alternamos entre diferentes páginas de detalhes do estágio, o item de entrada na página recém-aberta pode estar em branco
• [FAÍSCA-35142] [PYTHON][ML] Corrigir o tipo de retorno incorreto para rawPredictionUDF in OneVsRestModel
• [FAÍSCA-35096] [SQL] O SchemaPruning deve aderir à configuração spark.sql.caseSensitive
• [FAÍSCA-34639] [SQL][3.1] RelationalGroupedDataset.alias não deve criar UnresolvedAlias
• [FAÍSCA-35080] [SQL] Permitir apenas um subconjunto de predicados de igualdade correlacionados quando uma subconsulta é agregada
• [FAÍSCA-35117] [UI] Alterar a barra de progresso de volta para realçar a proporção de tarefas em andamento
• [FAÍSCA-35136] Remova o valor nulo inicial de LiveStage.info
• [FAÍSCA-34834] [REDES] Corrigir um possível vazamento de memória Netty no TransportResponseHandler
• [FAÍSCA-35045] [SQL] Adicionar uma opção interna para controlar o buffer de entrada na univocity
• [FAÍSCA-35014] Corrigir o padrão PhysicalAggregation para não reescrever expressões dobráveis
• [FAÍSCA-35019] [PYTHON][SQL] Corrigir incompatibilidades de dicas de tipo no pyspark.sql.*
• [FAÍSCA-34926] [SQL][3.1] PartitioningUtils.getPathFragment() deve respeitar o valor da partição é null
• [FAÍSCA-34630] [PYTHON] Adicione typehint para pyspark.Versão
• [FAÍSCA-34963] [SQL] Corrigir a remoção de coluna aninhada para extrair o campo struct que não diferencia maiúsculas de minúsculas da matriz de struct
• [FAÍSCA-34988] [CORE][3.1] Atualizar píer para CVE-2021-28165
• [FAÍSCA-34922] [SQL][3.1] Utilizar uma função de comparação de custos relativos na OCB
• [FAÍSCA-34970] [SQL][SEGURANÇA][3.1] Opções do tipo mapa Redact na saída de explain()
• [FAÍSCA-34923] [SQL] A saída de metadados deve estar vazia para mais planos
• [FAÍSCA-34949] [CORE] Impedir que o BlockManager se registre novamente quando o Executor estiver sendo desligado
• [FAÍSCA-34939] [CORE] Exceção de falha de busca de lançamento quando não é possível desserializar os status do mapa transmitido
• [FAÍSCA-34909] [SQL] Corrigir a conversão de negativo para não assinado em conv()
• [FAÍSCA-34845] [CORE] ProcfsMetricsGetter não deve retornar métricas procfs parciais
• [FAÍSCA-34814] [SQL] LikeSimplification deve manipular NULL
• [FAÍSCA-34876] [SQL] Preencher defaultResultado de agregações não anuláveis
• [FAÍSCA-34829] [SQL] Corrigir resultados da função de ordem superior
• [FAÍSCA-34840] [BARALHAR] Corrige casos de corrupção em shuffle mesclado ...
• [FAÍSCA-34833] [SQL] Aplicar preenchimento à direita corretamente para subconsultas correlacionadas
• [FAÍSCA-34630] [PYTHON][SQL] Adicionada dica de tipo para pyspark.sql.Column.contains
• [FAÍSCA-34763] [SQL] col(), $"name" e df("name") devem lidar com nomes de colunas entre aspas corretamente
• [FAÍSCA-33482] [SPARK-34756] [SQL] Corrigir verificação de igualdade do FileScan
• [FAÍSCA-34790] [CORE] Desativar a busca de blocos aleatórios em lote quando a criptografia de io estiver ativada
• [FAÍSCA-34803] [PYSPARK] Passe o ImportError gerado se pandas ou pyarrow falharem na importação
• [FAÍSCA-34225] [CORE] Não codifice mais quando uma cadeia de caracteres de formulário URI é passada para addFile ou addJar
• [FAÍSCA-34811] [CORE] Redact fs.s3a.access.key como segredo e token
• [FAÍSCA-34796] [SQL][3.1] Inicializar variável de contador para code-gen LIMIT em doProduce()
• [FAÍSCA-34128] [SQL] Suprimir avisos indesejáveis TTransportException envolvidos no THRIFT-4805
• [FAÍSCA-34776] [SQL] A poda de coluna aninhada não deve podar atributos produzidos pela janela
• [FAÍSCA-34087] [3.1][SQL] Corrigir vazamento de memória de ExecutionListenerBus
• [FAÍSCA-34772] [SQL] RebaseDateTime loadRebaseRecords deve usar o carregador de classes Spark em vez do contexto
• [FAÍSCA-34719] [SQL][3.1] Resolver corretamente a consulta de visualização com nomes de colunas duplicados
• [FAÍSCA-34766] [SQL][3.1] Não capture maven config para visualizações
• [FAÍSCA-34731] [CORE] Evite ConcurrentModificationException ao editar propriedades em EventLoggingListener
• [FAÍSCA-34737] [SQL][3.1] Flutuação de entrada fundida para duplicar TIMESTAMP_SECONDS
• [FAÍSCA-34749] [SQL][3.1] Simplificar ResolveCreateNamedStruct
• [FAÍSCA-34768] [SQL] Respeite o tamanho do buffer de entrada padrão no Univocity
• [FAÍSCA-34770] [SQL] InMemoryCatalog.tableExists não deve falhar se o banco de dados não existir
• [FAÍSCA-34504] [SQL] Evite a resolução desnecessária de exibições temp do SQL para comandos DDL
• [FAÍSCA-34727] [SQL] Corrigir discrepância na flutuação de fundição para carimbo de data/hora
• [FAÍSCA-34723] [SQL] Tipo de parâmetro correto para eliminação de subexpressão em estágio inteiro
• [FAÍSCA-34724] [SQL] Corrigir avaliação interpretada usando getMethod em vez de getDeclaredMethod
• [FAÍSCA-34713] [SQL] Corrigir grupo por CreateStruct com ExtractValue
• [FAÍSCA-34697] [SQL] Permitir DESCREVER FUNÇÃO e MOSTRAR FUNÇÕES explicar sobre || (operador de concatenação de cadeia de caracteres)
• [FAÍSCA-34682] [SQL] Use PrivateMethodTester em vez de reflexão
• [FAÍSCA-34682] [SQL] Corrigir regressão na verificação de erro de canonicalização em CustomShuffleReaderExec
• [SPARK-34681] [SQL] Corrigir o erro da associação externa completa de hash aleatório ao compilar o lado esquerdo com condição não igual
• [FAÍSCA-34545] [SQL] Corrigir problemas com o recurso valueCompare da pirolite
• [FAÍSCA-34607] [SQL][3.1] Adicionar Utils.isMemberClass para corrigir um erro de nome de classe malformado em jdk8u
• [FAÍSCA-34596] [SQL] Use Utils.getSimpleName para evitar pressionar o nome da classe malformada em NewInstance.doGenCode
• [FAÍSCA-34613] [SQL] A visualização de correção não captura a configuração de dica de desativação
• [FAÍSCA-32924] [WEBUI] Ordenar a coluna de duração na interface do usuário mestre na ordem correta
• [FAÍSCA-34482] [SS] Corrija o SparkSession ativo para StreamExecution.logicalPlan
• [FAÍSCA-34567] [SQL] CreateTableAsSelect também deve atualizar as métricas
• [FAÍSCA-34599] [SQL] Corrija o problema de que INSERT INTO OVERWRITE não suporta colunas de partição contendo pontos para DSv2
• [FAÍSCA-34577] [SQL] Corrigir soltar/adicionar colunas a um conjunto de dados de DESCRIBE NAMESPACE
• [FAÍSCA-34584] [SQL] A partição estática também deve seguir StoreAssignmentPolicy quando inserida em tabelas v2
• [FAÍSCA-34555] [SQL] Resolver saída de metadados do DataFrame
• [FAÍSCA-34534] Corrigir ordem blockIds ao usar FetchShuffleBlocks para buscar blocos
• [FAÍSCA-34547] [SQL] Use colunas de metadados para resolução apenas como último recurso
• [FAÍSCA-34417] [SQL] org.apache.spark.sql.DataFrameNaFunctions.fillMap falha para o nome da coluna com um ponto
• [FAÍSCA-34561] [SQL] Corrigir soltar/adicionar colunas de/para um conjunto de dados de v2 DESCRIBE TABLE
• [FAÍSCA-34556] [SQL] A verificação de colunas de partição estática duplicadas deve respeitar conf que diferencia maiúsculas de minúsculas
• [FAÍSCA-34392] [SQL] Suporte ZoneOffset +h:mm em DateTimeUtils. getZoneId
• [FAÍSCA-34550] [SQL] Ignorar valor nulo InSet durante o filtro push para o metastore do Hive
• [FAÍSCA-34543] [SQL] Respeite a configuração ao resolver especificações de spark.sql.caseSensitive partição na v1 SET LOCATION
• [FAÍSCA-34436] [SQL] Suporte DPP LIKE ANY/ALL expressão
• [FAÍSCA-34531] [CORE] Remover tag API experimental no PrometheusServlet
• [FAÍSCA-34497] [SQL] Corrija provedores de conexão JDBC integrados para restaurar as alterações de contexto de segurança da JVM
• [FAÍSCA-34515] [SQL] Corrija o NPE se InSet contiver valor nulo durante getPartitionsByFilter
• [FAÍSCA-34490] [SQL] A análise deve falhar se a exibição se referir a uma tabela descartada
• [FAÍSCA-34473] [SQL] Evite NPE em DataFrameReader.schema(StructType)
• [FAÍSCA-34384] [CORE] Adicionar documentos ausentes para APIs ResourceProfile
• [FAÍSCA-34373] [SQL] HiveThriftServer2 startWithContext pode travar com um problema de corrida
• [FAÍSCA-20977] [CORE] Usar um campo não final para o estado de CollectionAccumulator
• [FAÍSCA-34421] [SQL] Resolva funções e exibições temporárias em exibições com CTEs
• [FAÍSCA-34431] [CORE] Carregue hive-site.xml apenas uma vez
• [FAÍSCA-34405] [CORE] Corrigir o valor médio de timersLabels na classe PrometheusServlet
• [FAÍSCA-33438] [SQL] Inicie ansiosamente objetos com SQL Confs definidos para comando set -v
• [FAÍSCA-34158] URL incorreta do único desenvolvedor Matei no pom.xml
• [FAÍSCA-34346] [CORE][SQL][3.1] io.file.buffer.size definido por spark.buffer.size substituirá carregando hive-site.xml acidentalmente pode causar regressão perf
• [FAÍSCA-34359] [SQL][3.1] Adicione uma configuração herdada para restaurar o esquema de saída de SHOW DATABASES
• [FAÍSCA-34331] [SQL] Acelere a resolução de metadados do DS v2
• [FAÍSCA-34318] [SQL][3.1] Dataset.colRegex deve trabalhar com nomes de colunas e qualificadores que contenham novas linhas
• [FAÍSCA-34326] [CORE][SQL] Corrigir UTs adicionadas no SPARK-31793 dependendo do comprimento do caminho temporário
• [FAÍSCA-34319] [SQL] Resolver atributos duplicados para FlatMapCoGroupsInPandas/MapInPandas
• [FAÍSCA-34310] [CORE][SQL] Substitui mapa e nivelamento por flatMap
• [FAÍSCA-34083] [SQL][3.1] Usando definições originais de TPCDS para colums char/varchar
• [FAÍSCA-34233] [SQL][3.1] FIX NPE para preenchimento de caracteres em comparação binária
• [FAÍSCA-34270] [SS] Combine StateStoreMetrics não deve substituir StateStoreCustomMetric
• [FAÍSCA-34144] [SQL] Exceção lançada ao tentar gravar valores LocalDate e Instant em uma relação JDBC
• [FAÍSCA-34273] [CORE] Não registre novamente o BlockManager quando o SparkContext for interrompido
• [FAÍSCA-34262] [SQL][3.1] Atualizar dados armazenados em cache da tabela v1 em ALTER TABLE .. SET LOCATION
• [FAÍSCA-34275] [CORE][SQL][MLLIB] Substitui o filtro e o tamanho pela contagem
• [FAÍSCA-34260] [SQL] Corrigir UnresolvedException ao criar o modo de exibição temporário duas vezes
• [FAÍSCA-33867] [SQL] Os valores Instant e LocalDate não são manipulados ao gerar consultas SQL
• [FAÍSCA-34193] [CORE] TorrentBroadcast gerenciador de blocos de descomissionamento correção de corrida
• [FAÍSCA-34221] [WEBUI] Verifique se um estágio falhar na página da interface do usuário, a mensagem de erro correspondente pode ser exibida corretamente
• [FAÍSCA-34236] [SQL] Fix v2 Overwrite w / null static partition raise Não é possível traduzir expressão para filtro de origem: null
• [FAÍSCA-34212] [SQL] Corrigir leitura decimal incorreta de arquivos Parquet
• [FAÍSCA-34244] [SQL] Remova a versão da função Scala do regexp_extract_all
• [FAÍSCA-34235] [SS] Faça spark.sql.hive como um pacote privado
• [FAÍSCA-34232] [CORE] Redact SparkListenerEnvironmentUpdate evento no log
• [FAÍSCA-34229] [SQL] Avro deve ler valores decimais com o esquema de arquivo
• [FAÍSCA-34223] [SQL] FIX NPE para partição estática com null em InsertIntoHadoopFsRelationCommand
• [FAÍSCA-34192] [SQL] Mova o preenchimento de caracteres para o lado de gravação e remova a verificação de comprimento no lado de leitura também
• [FAÍSCA-34203] [SQL] Converter null valores de partição no __HIVE_DEFAULT_PARTITION__ catálogo v1 In-Memory
• [FAÍSCA-33726] [SQL] Correção para nomes de campo duplicados durante a agregação
• [FAÍSCA-34133] [AVRO] Respeite a sensibilidade a maiúsculas e minúsculas ao executar a correspondência de campo Catalyst-to-Avro
• [FAÍSCA-34187] [SS] Use o intervalo de deslocamento disponível obtido durante a sondagem ao verificar a validação de deslocamento
• [FAÍSCA-34052] [SQL][3.1] armazene texto SQL para uma vista temporária criada utilizando "CACHE TABLE .. COMO SELECIONAR ..."
• [FAÍSCA-34213] [SQL] Atualizar dados armazenados em cache da tabela v1 em LOAD DATA
• [FAÍSCA-34191] [PYTHON][SQL] Adicionar digitação para sobrecarga udf
• [FAÍSCA-34200] [SQL] A referência de coluna ambígua deve considerar a disponibilidade de atributos
• [FAÍSCA-33813] [SQL][3.1] Corrija o problema de que a origem JDBC não pode tratar os tipos espaciais do MS SQL Server
• [FAÍSCA-34178] [SQL] Copiar tags para o novo nó criado por MultiInstanceRelation.newInstance
• [FAÍSCA-34005] [CORE][3.1] Atualizar métricas de pico de memória para cada Executor no final da tarefa
• [FAÍSCA-34115] [CORE] Verifique SPARK_TESTING como preguiçoso val para evitar a lentidão
• [FAÍSCA-34153] [SQL][3.1][3.0] Remover não utilizado getRawTable() de HiveExternalCatalog.alterPartitions()
• [FAÍSCA-34130] [SQL] Impove preformace para preenchimento char varchar e verificação de comprimento com StaticInvoke
• [FAÍSCA-34027] [SQL][3.1] Atualizar cache em ALTER TABLE .. RECOVER PARTITIONS
• [FAÍSCA-34151] [SQL] Substitui java.io.File.toURL por java.io.File.toURI.toURL
• [FAÍSCA-34140] [SQL][3.1] Mover QueryCompilationErrors.scala para org/apache/spark/sql/errors
• [FAÍSCA-34080] [ML][PYTHON] Adicionar UnivariateFeatureSelector
• [FAÍSCA-33790] [CORE][3.1] Reduzir a chamada rpc de getFileStatus em SingleFileEventLogFileReader
• [FAÍSCA-34118] [CORE][SQL][3.1] Substitui o filtro e a verificação de vazio por existe ou para todos
• [FAÍSCA-34114] [SQL] não deve ser cortado corretamente para verificação e preenchimento do comprimento do char do lado da leitura
• [FAÍSCA-34086] [SQL][3.1] RaiseError gera muito código e pode falhar codegen na verificação de comprimento para char varchar
• [FAÍSCA-34075] [SQL][CORE] Diretórios ocultos estão sendo listados para inferência de partição
• [FAÍSCA-34076] [SQL] SQLContext.dropTempTable falhará se o cache não estiver vazio
• [FAÍSCA-34084] [SQL][3.1] Corrigir a atualização automática das estatísticas da tabela em ALTER TABLE .. ADD PARTITION
• [FAÍSCA-34090] [SS] Cache HadoopDelegationTokenManager.isServiceEnabled resultado usado em KafkaTokenUtil.needTokenUpdate
• [FAÍSCA-34069] [CORE] As tarefas de barreira de eliminação devem respeitar SPARK_JOB_INTERRUPT_ON_CANCEL
• [FAÍSCA-34091] [SQL] A busca em lote aleatório deve ser capaz de desativar depois de ter sido ativada
• [FAÍSCA-34059] [SQL][CORE][3.1] Use for/foreach em vez de map para garantir que seja executado ansiosamente
• [FAÍSCA-34002] [SQL] Corrigir o uso do codificador no ScalaUDF
• [FAÍSCA-34060] [SQL][3.1] Corrija o cache de tabelas do Hive ao atualizar estatísticas por ALTER TABLE .. DROP PARTITION
• [FAÍSCA-31952] [SQL] Corrigir métrica de derramamento de memória incorreta ao fazer o Aggregate
• [FAÍSCA-33591] [SQL][3.1] Reconhecer null valores de especificação de partição
• [FAÍSCA-34055] [SQL][3.1] Atualizar cache em ALTER TABLE .. ADD PARTITION
• [FAÍSCA-34039] [SQL][3.1] ReplaceTable deve invalidar o cache
• [FAÍSCA-34003] [SQL] Corrigir conflitos de regra entre PaddingAndLengthCheckForCharVarchar e ResolveAggregateFunctions
• [FAÍSCA-33938] [SQL][3.1] Otimize como qualquer/tudo por LikeSimplification
• [FAÍSCA-34021] [R] Corrigir hiperlinks na documentação do SparkR para envio de CRAN
• [FAÍSCA-34011] [SQL][3.1][3.0] Atualizar cache em ALTER TABLE .. RENAME TO PARTITION
• [FAÍSCA-33948] [SQL] Corrigir erro CodeGen do método MapObjects.doGenCode no Scala 2.13
• [FAÍSCA-33635] [SS] Ajuste a ordem de check-in KafkaTokenUtil.needTokenUpdate para corrigir a regressão perf
• [FAÍSCA-33029] [CORE][WEBUI] Corrigir a página do executor da interface do usuário marcando incorretamente o driver como excluído
• [FAÍSCA-34015] [R] Fixação do tempo de entrada no gapply
• [FAÍSCA-34012] [SQL] Mantenha o comportamento consistente quando conf spark.sql.legacy.parser.havingWithoutGroupByAsWhere for verdadeiro com o guia de migração
• [FAÍSCA-33844] [SQL][3.1] O comando InsertIntoHiveDir também deve verificar o nome col
• [FAÍSCA-33935] [SQL] Corrigir função de custo CBO
• [FAÍSCA-33100] [SQL] Ignorar um ponto-e-vírgula dentro de um comentário entre colchetes no spark-sql
• [FAÍSCA-34000] [CORE] Corrigir stageAttemptToNumSpeculativeTasks java.util.NoSuchElementException
• [FAÍSCA-33992] [SQL] substituir transformUpWithNewOutput para adicionar allowInvokingTransformsInAnalyzer
• [FAÍSCA-33894] [SQL] Altere a visibilidade de classes de caso particulares no mllib para evitar erros de compilação de tempo de execução com o Scala 2.13
• [FAÍSCA-33950] [SQL][3.1][3.0] Atualizar cache na v1 ALTER TABLE .. DROP PARTITION
• [FAÍSCA-33980] [SS] Invalidar char/varchar em spark.readStream.schema
• [FAÍSCA-33945] [SQL][3.1] Manuseia uma semente aleatória que consiste numa árvore expr
• [FAÍSCA-33398] Corrigir modelos de árvore de carregamento anteriores ao Spark 3.0
• [FAÍSCA-33963] [SQL] Canonicalize HiveTableRelation w / o estatísticas da tabela
• [FAÍSCA-33906] [WEBUI] Corrigir o bug da página UI Executor preso devido a peakMemoryMetrics indefinido
• [FAÍSCA-33944] [SQL] Registro incorreto para chaves de depósito nas opções SharedState
• [FAÍSCA-33936] [SQL][3.1] Adicionar a versão em que as interfaces do conector foram adicionadas
• [FAÍSCA-33916] [CORE] Corrija o deslocamento do armazenamento de fallback e melhore a cobertura do teste de codec de compressão
• [FAÍSCA-33899] [SQL][3.1] Corrigir falha de declaração na v1 MOSTRAR TABELAS/VISUALIZAÇÕES em spark_catalog
• [FAÍSCA-33901] [SQL] Corrigir erro de exibição Char e Varchar após DDLs
• [FAÍSCA-33897] [SQL] Não é possível definir a opção 'cross' no método join
• [FAÍSCA-33907] [SQL][3.1] Somente remover colunas de JsonToStructs se as opções de análise estiverem vazias
• [FAÍSCA-33621] [SPARK-33784] [SQL][3.1] Adicionar uma maneira de injetar regras de reconfiguração da fonte de dados
• [FAÍSCA-33900] [WEBUI] Mostrar tamanho de leitura aleatório / registros corretamente quando apenas remotebytesread está disponível
• [FAÍSCA-33892] [SQL] Exibir char/varchar em DESC e SHOW CREATE TABLE
• [FAÍSCA-33895] [SQL] Char e Varchar falham no MetaOperation do ThriftServer
• [FAÍSCA-33659] [SS] Documentar o comportamento atual da API DataStreamWriter.toTable
• [FAÍSCA-33893] [CORE] Excluir o gerenciador de blocos de fallback do executorList
• [FAÍSCA-33277] [PYSPARK][SQL] Use ContextAwareIterator para parar de consumir após o término da tarefa
• [FAÍSCA-33889] [SQL][3.1] Corrigir NPE a partir de SHOW PARTITIONS tabelas V2
• [FAÍSCA-33879] [SQL] Os valores de Char Varchar falham com erro de correspondência como colunas de partição
• [FAÍSCA-33877] [SQL] Documentos de referência SQL para INSERT com uma lista de colunas
• [FAÍSCA-33876] [SQL] Adicionar verificação de comprimento para ler char/varchar de tabelas com um local externo
• [FAÍSCA-33846] [SQL] Incluir comentários para um esquema aninhado em StructType.toDDL
• [FAÍSCA-33860] [SQL] Faça com que CatalystTypeConverters.convertToCatalyst corresponda ao valor especial do Array
• [FAÍSCA-33834] [SQL] Verificar ALTER TABLE CHANGE COLUMN com Char e Varchar
• [FAÍSCA-33853] [SQL] EXPLAIN CODEGEN e BenchmarkQueryTest não mostram código de subconsulta
• [FAÍSCA-33836] [SS][PYTHON] Expor DataStreamReader.table e DataStreamWriter.toTable
• [FAÍSCA-33829] [SQL][3.1] Renomear tabelas v2 deve recriar o cache
• [FAÍSCA-33756] [SQL] Tornar o MapIterator idempotente do BytesToBytesMap
• [FAÍSCA-33850] [SQL] EXPLICAR FORMATADO não mostra o plano para subconsultas se o AQE estiver ativado
• [FAÍSCA-33841] [CORE][3.1] Corrigir problema com trabalhos que desaparecem intermitentemente do SHS sob carga elevada
• [FAÍSCA-33593] [SQL] Leitor de vetores tem dados incorretos com valor de partição binária
• [FAÍSCA-26341] [WEBUI] Exponha as métricas de memória do executor no nível do estágio, na guia Estágios
• [FAÍSCA-33831] [UI] Atualização para o píer 9.4.34
• [FAÍSCA-33822] [SQL] Use o CastSupport.cast método em HashJoin
• [FAÍSCA-33774] [UI][CORE] Back to Master" retorna erro 500 no cluster autônomo
• [FAÍSCA-26199] [SPARK-31517] [R] Corrigir estratégia para manipulação ... nomes em mutação
• [FAÍSCA-33819] [CORE][3.1] SingleFileEventLogFileReader/RollingEventLogFilesFileReader deve ser package private
• [FAÍSCA-33697] [SQL] RemoveRedundantProjects deve exigir ordenação de coluna por padrão
• [FAÍSCA-33752] [SQL][3.1] Evite que a getSimpleMessage de AnalysisException adicione ponto-e-vírgula repetidamente
• [FAÍSCA-33788] [SQL][3.1][3.0][2.4] Lançar NoSuchPartitionsException de HiveExternalCatalog.dropPartitions()
• [FAÍSCA-33803] [SQL] Ordenar as propriedades da tabela por chave no comando DESCRIBE TABLE
• [FAÍSCA-33786] [SQL] O nível de armazenamento de um cache deve ser respeitado quando um nome de tabela é alterado
• [FAÍSCA-33273] [SQL] Corrigir uma condição de corrida na execução de subconsultas
• [FAÍSCA-33653] [SQL][3.1] DSv2: REFRESH TABLE deve armazenar novamente em cache a própria tabela
• [FAÍSCA-33777] [SQL] Ordenar saída de partições V2 SHOW
• [FAÍSCA-33733] [SQL] PullOutNondeterministic deve verificar e coletar campo determinístico
• [FAÍSCA-33764] [SS] Tornar o intervalo de manutenção do armazenamento de estado como configuração SQL
• [FAÍSCA-33729] [SQL] Ao atualizar o cache, o Spark não deve usar o plano armazenado em cache ao rearmazenar dados em cache
• [FAÍSCA-33742] [SQL][3.1] Lançar partiçõesAlreadyExistException de HiveExternalCatalog.createPartitions()
• [FAÍSCA-33706] [SQL] Exigir identificador de partição totalmente especificado em partitionExists()
• [FAÍSCA-33740] As configurações do hadoop [SQL] no hive-site.xml podem substituir as configurações do hadoop pré-existentes
• [FAÍSCA-33692] [SQL] A exibição deve usar o catálogo capturado e o namespace para a função de pesquisa
• [FAÍSCA-33669] Mensagem de erro errada do monitor de estado do aplicativo YARN quando sc.stop no modo de cliente yarn
• [FAÍSCA-32110] [SQL] normalizar números flutuantes especiais no HyperLogLog++
• [FAÍSCA-33677] [SQL] Ignorar regra LikeSimplification se o padrão contiver qualquer escapeChar
• [FAÍSCA-33693] [SQL] depreciar spark.sql.hive.convertCTAS
• [FAÍSCA-33641] [SQL] Invalidar novos tipos char/varchar em APIs públicas que produzem resultados incorretos
• [FAÍSCA-32680] [SQL] Não pré-processe CTAS V2 com consulta não resolvida
• [FAÍSCA-33676] [SQL] Exigir correspondência exata das especificações de partição com o esquema na V2 ALTER TABLE .. ADD/DROP PARTITION
• [FAÍSCA-33670] [SQL] Verifique se o provedor de partição é Hive na v1 MOSTRAR TABELA ESTENDIDA
• [FAÍSCA-33663] [SQL] O desarmazenamento de cache não deve ser chamado em visualizações temporárias inexistentes
• [FAÍSCA-33667] [SQL] Respeite a configuração ao resolver especificações de spark.sql.caseSensitive partição na v1 SHOW PARTITIONS
• [FAÍSCA-33652] [SQL] DSv2: DeleteFrom deve atualizar o cache

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 9.0.

Ambiente do sistema

• Sistema Operacional: Ubuntu 20.04.2 LTS
• Java: Zulu 8.54.0.21-CA-linux64
• Escala: 2.12.10
• Píton: 3.8.10
• R: 4.1.0 (18/05/2021)
• Lago Delta 1.0.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo da CRAN da Microsoft em 2021-07-28.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)