Condividi tramite

FSCK REPAIR TABLE

  • Articolo

Si applica a:segno di spunta sì Databricks SQL segno di spunta sì Databricks Runtime

Rimuove le voci di file dal log delle transazioni di un table Delta che non è più possibile trovare nel file system sottostante. Ciò può verificarsi quando questi file sono stati eliminati manualmente.

Sintassi

FSCK REPAIR TABLE table_name [DRY RUN]

Parameters

  • table_name

    Identifica un Delta tableesistente. Il nome non deve includere una specifica temporale o una specifica delle opzioni.

  • DRY RUN

    Mostra informazioni sugli elementi del file che verrebbero rimossi dal log delle transazioni di Delta table da FSCK REPAIR TABLE, perché non possono più essere trovati nel file system sottostante. Ciò può verificarsi quando questi file sono stati eliminati manualmente. Le voci di file sono un percorso di file di dati o una combinazione di percorso di file di dati e percorso del file vettoriale di eliminazione. Le voci di file vengono incluse nell'output quando manca il file di dati, quando manca il file vettoriale di eliminazione o quando mancano entrambi.

    Per impostazione predefinita, DRY RUN restituisce solo i primi 1000 file. È possibile aumentare questa soglia impostando la variabile spark.databricks.delta.fsck.maxNumEntriesInResult SparkSession su un valore superiore prima di eseguire il comando in un notebook.

Valori restituiti

Per DRY RUN Un report del modulo:

  • dataFilePath STRING NOT NULL
  • dataFileMissing BOOLEAN NOT NULL
  • deletionVectorPath STRING
  • deletionVectorFileMissing BOOLEAN NOT NULL

Esempi

— Assume file1.parquet is missing and no DV is expected.
> FSCK REPAIR TABLE t DRY RUN;
  dataFilePath dataFileMissing deletionVectorPath deletionVectorFileMissing
 ------------- --------------- ------------------ -------------------------
 file1.parquet            true               null                     false

— Assume dv1.bin is missing.
> FSCK REPAIR TABLE t DRY RUN;
  dataFilePath dataFileMissing deletionVectorPath deletionVectorFileMissing
 ------------- --------------- ------------------ -------------------------
 file1.parquet           false            dv1.bin                      true