O que são vectores de eliminação?

Os vetores de exclusão são um recurso de otimização de armazenamento que você pode habilitar nas tabelas Delta Lake. Por predefinição, quando uma única linha num ficheiro de dados é eliminada, todo o ficheiro Parquet que contém o registo tem de ser reescrito. Com vetores de exclusão habilitados para a tabela, DELETE, UPDATEe MERGE operações usam vetores de exclusão para marcar linhas existentes como removidas ou alteradas sem reescrever o arquivo Parquet. As leituras subsequentes na tabela resolvem o estado atual da tabela aplicando as exclusões indicadas pelos vetores de exclusão à versão mais recente da tabela.

O Databricks recomenda o uso do Databricks Runtime 14.3 LTS e superior para escrever tabelas com vetores de exclusão para usar todas as otimizações. Você pode ler tabelas com vetores de exclusão habilitados no Databricks Runtime 12.2 LTS e superior.

No Databricks Runtime 14.2 e superior, tabelas com vetores de exclusão suportam simultaneidade em nível de linha. Consulte Conflitos de gravação com simultaneidade em nível de linha.

Habilitar vetores de exclusão

Se a configuração do espaço de trabalho para controlar a habilitação automática de vetores de exclusão for usada, então, com base na opção selecionada para tipos de tabela, os vetores de exclusão serão habilitados por padrão quando você criar uma nova tabela usando um SQL warehouse ou Databricks Runtime 14.1 ou superior. Os vetores de exclusão não são habilitados por padrão quando você cria exibições materializadas ou tabelas de Streaming e devem ser habilitados manualmente quando você cria uma exibição materializada ou uma tabela de Streaming.

Para habilitar manualmente o suporte para vetores de exclusão em uma tabela ou exibição, use a delta.enableDeletionVectors propriedade table. Você pode habilitar manualmente vetores de exclusão em uma tabela delta ao criar ou alterar a tabela. Você pode habilitar manualmente vetores de exclusão em uma exibição materializada ou tabela Streaming somente quando criar a exibição materializada ou a tabela Streaming. Não é possível usar uma ALTER instrução para habilitar vetores de exclusão em uma exibição materializada ou tabela de streaming.

CREATE TABLE <table-name> [options] TBLPROPERTIES ('delta.enableDeletionVectors' = true);

ALTER TABLE <table-name> SET TBLPROPERTIES ('delta.enableDeletionVectors' = true);

Aplicar alterações aos arquivos de dados do Parquet

Os vetores de exclusão indicam alterações nas linhas como exclusões suaves que modificam logicamente os arquivos de dados existentes do Parquet na tabela Delta Lake. Essas alterações são aplicadas fisicamente quando um dos seguintes eventos faz com que os arquivos de dados sejam reescritos:

• Um OPTIMIZE comando é executado na mesa.
• A compactação automática aciona uma regravação de um arquivo de dados com um vetor de exclusão.
• REORG TABLE ... APPLY (PURGE) é executado contra a mesa.

Os eventos relacionados à compactação de arquivos não têm garantias estritas para resolver alterações registradas em vetores de exclusão, e algumas alterações registradas em vetores de exclusão podem não ser aplicadas se os arquivos de dados de destino não forem candidatos à compactação de arquivos. REORG TABLE ... APPLY (PURGE) Reescreve todos os arquivos de dados contendo registros com modificações gravadas usando vetores de exclusão. Ver REORG TABLE.

Compatibilidade com clientes Delta

O Azure Databricks usa vetores de exclusão para alimentar a E/S preditiva para atualizações na computação habilitada para Photon. Consulte Usar E/S preditiva para acelerar as atualizações.

O suporte para o uso de vetores de exclusão para leituras e gravações varia de acordo com o cliente.

A tabela a seguir indica as versões de cliente necessárias para ler e gravar tabelas Delta com vetores de exclusão habilitados e especifica quais operações de gravação usam vetores de exclusão:

Limitações

• O UniForm não suporta vetores de exclusão.
• Não é possível usar uma instrução GENERATE para gerar um arquivo de manifesto para uma tabela que tenha arquivos usando vetores de exclusão. Para gerar um manifesto, primeiro execute uma REORG TABLE ... APPLY (PURGE) e , em seguida, execute a GENERATE instrução. Você deve garantir que nenhuma operação de gravação simultânea esteja em execução quando você enviar a REORG instrução.
• Não é possível gerar incrementalmente arquivos de manifesto para uma tabela com vetores de exclusão habilitados (por exemplo, definindo a propriedade delta.compatibility.symlinkFormatManifest.enabled=truetable).
• Se você habilitar vetores de exclusão em uma exibição materializada ou tabela de streaming e, posteriormente, desabilitar vetores de exclusão, gravações futuras na exibição ou tabela serão impedidas de usar vetores de exclusão, mas os vetores de exclusão existentes não serão removidos.
• Não é possível fazer downgrade do protocolo de tabela depois de habilitar vetores de exclusão em uma exibição materializada ou tabela de streaming. Depois de ativar, o recurso de tabela para vetores de exclusão não pode ser removido, mesmo se você desativar posteriormente vetores de exclusão na exibição ou tabela.
• Não é possível executar REORG em visualizações materializadas ou tabelas de streaming para confirmar alterações gravadas em vetores de exclusão em arquivos de dados do Parquet que dão suporte a esses objetos. Devido a essa limitação, não habilite vetores de exclusão em visualizações materializadas ou tabelas de streaming se precisar garantir a exclusão completa de registros (por exemplo, para conformidade com GDPR ou CCPA).