Che cosa sono i vettori di eliminazione?

I vettori di eliminazione sono una funzionalità di ottimizzazione dell'archiviazione che è possibile abilitare nelle tabelle Delta Lake. Per impostazione predefinita, quando viene eliminata una singola riga in un file di dati, è necessario riscrivere l'intero file Parquet contenente il record. Con i vettori di eliminazione abilitati per la tabella, DELETE, UPDATE, e MERGE le operazioni usano vettori di eliminazione per contrassegnare le righe esistenti come rimosse o modificate senza riscrivere il file Parquet. Le letture successive nella tabella risolvono lo stato della tabella corrente applicando le eliminazioni indicate dai vettori di eliminazione alla versione più recente della tabella.

Databricks consiglia di usare Databricks Runtime 14.3 LTS e versioni successive per scrivere tabelle con vettori di eliminazione per usare tutte le ottimizzazioni. È possibile leggere le tabelle con vettori di eliminazione abilitati in Databricks Runtime 12.2 LTS e versioni successive.

In Databricks Runtime 14.2 e versioni successive le tabelle con vettori di eliminazione supportano la concorrenza a livello di riga. Vedere Conflitti di scrittura con concorrenza a livello di riga.

Abilitare i vettori di eliminazione

Se viene usata l'impostazione dell'area di lavoro per controllare l'abilitazione automatica dei vettori di eliminazione, in base all'opzione selezionata per i tipi di tabella, i vettori di eliminazione vengono abilitati per impostazione predefinita quando si crea una nuova tabella usando sql warehouse o Databricks Runtime 14.1 o versione successiva. I vettori di eliminazione non sono abilitati per impostazione predefinita quando si creano viste materializzate o tabelle di streaming e devono essere abilitati manualmente quando si crea una vista materializzata o una tabella di streaming.

Per abilitare manualmente il supporto per i vettori di eliminazione in una tabella o vista, utilizzare la delta.enableDeletionVectors proprietà table. È possibile abilitare manualmente i vettori di eliminazione in una tabella delta quando si crea o si modifica la tabella. È possibile abilitare manualmente i vettori di eliminazione in una vista materializzata o in una tabella di streaming solo quando si crea la vista materializzata o la tabella di streaming. Non è possibile usare un'istruzione ALTER per abilitare i vettori di eliminazione in una vista materializzata o in una tabella di streaming.

CREATE TABLE <table-name> [options] TBLPROPERTIES ('delta.enableDeletionVectors' = true);

ALTER TABLE <table-name> SET TBLPROPERTIES ('delta.enableDeletionVectors' = true);

Applicare modifiche ai file di dati Parquet

I vettori di eliminazione indicano modifiche alle righe come eliminazioni temporaneamente che modificano logicamente i file di dati Parquet esistenti nella tabella Delta Lake. Queste modifiche vengono applicate fisicamente quando uno degli eventi seguenti causa la riscrittura dei file di dati:

• Nella tabella viene eseguito un OPTIMIZE comando.
• La compattazione automatica attiva una riscrittura di un file di dati con un vettore di eliminazione.
• REORG TABLE ... APPLY (PURGE) viene eseguito sulla tabella.

Gli eventi correlati alla compattazione dei file non hanno garanzie rigorose per la risoluzione delle modifiche registrate nei vettori di eliminazione e alcune modifiche registrate nei vettori di eliminazione potrebbero non essere applicate se i file di dati di destinazione non sarebbero altrimenti candidati per la compattazione dei file. REORG TABLE ... APPLY (PURGE) riscrive tutti i file di dati contenenti record con modifiche registrate usando vettori di eliminazione. Vedere TABELLA REORG.

Compatibilità con i client Delta

Azure Databricks usa vettori di eliminazione per alimentare le operazioni di I/O predittive per gli aggiornamenti nel calcolo abilitato per Photon. Vedere Usare l'I/O predittiva per accelerare gli aggiornamenti.

Il supporto per l'uso di vettori di eliminazione per letture e scritture varia in base al client.

La tabella seguente indica le versioni client necessarie per la lettura e la scrittura di tabelle Delta con vettori di eliminazione abilitati e specifica quali operazioni di scrittura usano vettori di eliminazione:

Limiti

• UniForm non supporta i vettori di eliminazione.
• Non è possibile utilizzare un'istruzione GENERATE per generare un file manifesto per una tabella con file che usano vettori di eliminazione. Per generare un manifesto, eseguire prima di tutto UNA TABELLA REORG ... Istruzione APPLY (PURGE) e quindi eseguire l'istruzione GENERATE . Quando si invia l'istruzione REORG , è necessario assicurarsi che non siano in esecuzione operazioni di scrittura simultanee.
• Non è possibile generare in modo incrementale i file manifesto per una tabella con vettori di eliminazione abilitati, ad esempio impostando la proprietà delta.compatibility.symlinkFormatManifest.enabled=truetable .
• Se si abilitano vettori di eliminazione in una vista materializzata o in una tabella di streaming e successivamente si disabilitano i vettori di eliminazione, le scritture future nella vista o nella tabella non vengono rimosse, ma i vettori di eliminazione esistenti non vengono rimossi.
• Non è possibile effettuare il downgrade del protocollo di tabella dopo aver abilitato i vettori di eliminazione in una vista materializzata o in una tabella di streaming. Dopo l'abilitazione, la funzionalità di tabella per i vettori di eliminazione non può essere rimossa, anche se successivamente si disabilitano i vettori di eliminazione nella vista o nella tabella.
• Non è possibile eseguire REORG su viste materializzate o tabelle di streaming per eseguire il commit delle modifiche registrate nei vettori di eliminazione nei file di dati Parquet che supportano questi oggetti. A causa di questa limitazione, non abilitare i vettori di eliminazione nelle viste materializzate o nelle tabelle di streaming se è necessario garantire l'eliminazione completa dei record (ad esempio, per la conformità al GDPR o al CCPA).