Freigeben über


Referenz zu Delta-Tabelleneigenschaften

Delta Lake reserviert Delta-Tabelleneigenschaften beginnend mit delta.. Diese Eigenschaften können bestimmte Bedeutungen haben und sich auf das Verhalten auswirken, wenn diese Eigenschaften festgelegt sind.

Hinweis

Alle Vorgänge, die Tabelleneigenschaften festlegen oder aktualisieren, führen zu einem Konflikt mit anderen gleichzeitigen Schreibvorgängen, wodurch sie fehlschlagen. Für Databricks wird empfohlen, eine Tabelleneigenschaft nur dann zu ändern, wenn keine gleichzeitigen Schreibvorgänge in der Tabelle erfolgen.

Wie interagieren Tabelleneigenschaften und SparkSession-Eigenschaften?

Delta-Tabelleneigenschaften werden pro Tabelle festgelegt. Wenn eine Eigenschaft für eine Tabelle festgelegt ist, dann ist dies die Eigenschaft, die standardmäßig befolgt wird.

Einige Tabelleneigenschaften verfügen über zugeordnete SparkSession-Konfigurationen, die immer Vorrang vor Tabelleneigenschaften haben. Einige Beispiele sind die spark.databricks.delta.autoCompact.enabled- und spark.databricks.delta.optimizeWrite.enabled-Konfigurationen, welche die automatische Verdichtung und optimierte Schreibvorgänge auf SparkSession-Ebene aktivieren statt auf der Tabellenebene. Databricks empfiehlt die Verwendung von tabellenbezogenen Konfigurationen für die meisten Workloads.

Für jede Delta-Tabelleneigenschaft können Sie mithilfe einer SparkSession-Konfiguration einen Standardwert für neue Tabellen festlegen, wodurch die integrierte Standardeinstellung überschrieben wird. Diese Einstellung wirkt sich nur auf neue Tabellen aus und überschreibt oder ersetzt keine Eigenschaften, die für vorhandene Tabellen festgelegt sind. Das in SparkSession verwendete Präfix unterscheidet sich von den Konfigurationen, die in den Tabelleneigenschaften verwendet werden, wie in der folgenden Tabelle gezeigt:

Delta Lake-Konfiguration Spark-Sitzungskonfiguration
delta.<conf> spark.databricks.delta.properties.defaults.<conf>

Wenn Sie beispielsweise die Eigenschaft delta.appendOnly = true für alle neuen Delta Lake-Tabellen festlegen möchten, die in einer Sitzung erstellt werden, können Sie Folgendes festlegen:

SET spark.databricks.delta.properties.defaults.appendOnly = true

Verwenden Sie SET TBLPROPERTIES, um Tabelleneigenschaften vorhandener Tabellen zu ändern.

Delta-Tabelleneigenschaften

Verfügbare Delta-Tabelleneigenschaften umfassen Folgendes:

Eigenschaft
delta.appendOnly

true für diese Delta-Tabelle, damit sie nur Anfügevorgänge unterstützt. Wenn Sie nur Anfügevorgänge unterstützt, können vorhandene Datensätze nicht gelöscht und vorhandene Werte nicht aktualisiert werden.

Weitere Informationen finden Sie unter Referenz zu Delta-Tabelleneigenschaften.

Datentyp: Boolean

Standard: false
delta.autoOptimize.autoCompact

auto, damit Delta Lake das Layout der Dateien für diese Delta-Tabelle automatisch optimiert.

Weitere Informationen finden Sie unter Automatische Verdichtung für Delta Lake in Azure Databricks.

Datentyp: Boolean

Standardwert: (None)
delta.autoOptimize.optimizeWrite

true, damit Delta Lake das Layout der Dateien für diese Delta-Tabelle bei Schreibvorgängen automatisch optimiert.

Weitere Informationen finden Sie unter Optimierte Schreibvorgänge für Delta Lake in Azure Databricks.

Datentyp: Boolean

Standardwert: (None)
delta.checkpoint.writeStatsAsJson

true, damit Delta Lake Dateistatistiken in Prüfpunkten im JSON-Format für die stats-Spalte schreibt.

Weitere Informationen finden Sie unter Verwalten von Statistiken auf Spaltenebene in Prüfpunkten.

Datentyp: Boolean

Standard: true
delta.checkpoint.writeStatsAsStruct

true, damit Delta Lake Dateistatistiken in Prüfpunkten im Strukturformat für die stats_parsed-Spalte und Partitionswerte als Struktur für partitionValues_parsed schreibt.

Weitere Informationen finden Sie unter Verwalten von Statistiken auf Spaltenebene in Prüfpunkten.

Datentyp: Boolean

Standardwert: (None)
delta.checkpointPolicy

classic für klassische Delta Lake-Prüfpunkte. v2 für v2-Prüfpunkte.

Siehe Kompatibilität für Tabellen mit Liquid Clustering.

Datentyp: String

Standard: classic
delta.columnMapping.mode

Ob die Spaltenzuordnung für Delta-Tabellenspalten und die entsprechenden Parquet-Spalten, die unterschiedliche Namen verwenden, aktiviert ist.

Weitere Informationen finden Sie unter Rename and drop columns with Delta Lake column mapping (Umbenennen und Löschen von Spalten mit Delta Lake-Spaltenzuordnung).

Hinweis: Das Aktivieren von delta.columnMapping.mode aktiviert automatisch
delta.randomizeFilePrefixes.

Datentyp: DeltaColumnMappingMode

Standard: none
delta.dataSkippingNumIndexedCols

Die Anzahl der Spalten für Delta Lake, über die Statistiken für das Überspringen von Daten gesammelt werden. Ein Wert von -1 bedeutet, dass Statistiken für alle Spalten gesammelt werden.

Siehe Überspringen von Daten für Delta Lake.

Datentyp: Int

Standard: 32
delta.dataSkippingStatsColumns

Eine durch Trennzeichen getrennte Liste von Spaltennamen, für die Delta Lake Statistiken sammelt, um die Funktionalität zum Überspringen von Daten zu verbessern. Diese Eigenschaft hat Vorrang vor delta.dataSkippingNumIndexedCols.

Siehe Überspringen von Daten für Delta Lake.

Datentyp: String

Standardwert: (None)
delta.deletedFileRetentionDuration

Die kürzeste Zeitspanne, die Delta Lake logisch gelöschte Dateien aufbewahrt, bevor sie physisch gelöscht werden. Dies dient dazu, Fehler in veralteten Readern nach Komprimierungen oder dem Überschreiben von Partitionen zu verhindern.

Dieser Wert sollte groß genug sein, um Folgendes sicherzustellen:

– Er ist größer als die längste mögliche Dauer eines Auftrags, falls Sie VACUUM ausführen, wenn gleichzeitig Reader oder Writer auf die Delta-Tabelle zugreifen.
– Wenn Sie eine Streamingabfrage ausführen, die aus der Tabelle liest, wird diese Abfrage nicht länger als bis zu diesem Wert angehalten. Andernfalls kann die Abfrage möglicherweise nicht neu gestartet werden, da sie noch alte Dateien lesen muss.

Weitere Informationen finden Sie unter Konfigurieren der Datenaufbewahrung für Zeitreiseabfragen.

Datentyp: CalendarInterval

Standard: interval 1 week
delta.enableChangeDataFeed

true, zum Aktivieren des Änderungsdatenfeeds.

Weitere Informationen finden Sie unter Aktivieren des Änderungsdatenfeeds.

Datentyp: Boolean

Standard: false
delta.enableDeletionVectors

true, um Löschvektoren und prädiktive E/A für Updates zu aktivieren.

Weitere Informationen finden Sie unter Was sind Löschvektoren?.

Datentyp: Boolean

Standard: Hängt von den Administratoreinstellungen des Arbeitsbereichs und der Databricks Runtime-Version ab. Weitere Informationen finden Sie unter Automatische Aktivierung von Löschvektoren.
delta.isolationLevel

Das Ausmaß, inwieweit eine Transaktion von Änderungen durch gleichzeitige Transaktionen isoliert sein muss.

Gültige Werte sind Serializable und WriteSerializable.

Siehe Isolationsstufen und Schreibkonflikte in Azure Databricks.

Datentyp: String

Standard: WriteSerializable
delta.logRetentionDuration

Dauer der Aufbewahrung für den Verlauf einer Tabelle. VACUUM Vorgänge überschreiben diesen Aufbewahrungsschwellenwert.

Jedes Mal, wenn ein Prüfpunkt geschrieben wird, bereinigt Delta Lake automatisch Protokolleinträge, die älter als das Aufbewahrungsintervall sind. Wenn Sie diese Eigenschaft auf einen ausreichend großen Wert festlegen, werden viele Protokolleinträge beibehalten. Dies sollte sich nicht auf die Leistung auswirken, da Vorgänge für das Protokoll in einem konstanten Zeitraum durchgeführt werden. Vorgänge im Verlauf sind parallel, werden jedoch mit zunehmender Protokollgröße teurer.

Weitere Informationen finden Sie unter Konfigurieren der Datenaufbewahrung für Zeitreiseabfragen.

Datentyp: CalendarInterval

Standard: interval 30 days
delta.minReaderVersion

Die minimal erforderliche Version des Protokollreaders für einen Reader, der das Lesen aus dieser Delta-Tabelle zulässt.

Databricks empfiehlt nicht, diese Eigenschaft manuell zu konfigurieren.

Weitere Informationen finden Sie unter Wie verwaltet Azure Databricks die Kompatibilität von Delta Lake-Features?.

Datentyp: Int

Standard: 1
delta.minWriterVersion

Die minimal erforderliche Version des Protokollwriters für einen Writer, der in diese Delta-Tabelle schreiben kann.

Databricks empfiehlt nicht, diese Eigenschaft manuell zu konfigurieren.

Weitere Informationen finden Sie unter Wie verwaltet Azure Databricks die Kompatibilität von Delta Lake-Features?.

Datentyp: Int

Standard: 2
delta.randomizeFilePrefixes

true, damit Delta Lake anstelle von Partitionsinformationen ein zufälliges Präfix für einen Dateipfad generiert.

Datentyp: Boolean

Standard: false
delta.randomPrefixLength

Wenn delta.randomizeFilePrefixes auf true festgelegt ist, die Anzahl der Zeichen, die Delta Lake für zufällige Präfixe generiert.

Datentyp: Int

Standard: 2
delta.setTransactionRetentionDuration

Der kürzeste Zeitraum, in dem neue Momentaufnahmen Transaktionsbezeichner beibehalten (z. B. SetTransactions). Wenn eine neue Momentaufnahme einen Transaktionsbezeichner ermittelt, der älter oder gleich dem Zeitraum ist, der durch diese Eigenschaft angegeben wird, betrachtet die Momentaufnahme ihn als abgelaufen und ignoriert ihn. Mit dem Bezeichner SetTransaction werden Schreibvorgänge idempotent geschrieben. Weitere Informationen finden Sie unter Idempotente Schreibvorgänge in Tabellen in foreachBatch.

Datentyp: CalendarInterval

Standardwert: (None)
delta.targetFileSize

Die Zieldateigröße in Bytes oder höheren Einheiten für die Dateioptimierung. Ein auf ein Objekt angewendeter
104857600 (Bytes) oder 100mb.

Weitere Informationen finden Sie unter Konfigurieren von Delta Lake zum Steuern der Datendateigröße.

Datentyp: String

Standardwert: (None)
delta.tuneFileSizesForRewrites

true, um immer kleinere Dateigrößen für alle Datenlayout-Optimierungsvorgänge für die Delta-Tabelle zu verwenden.

false, um nie kleinere Dateigrößen zu verwenden, d. h. die automatische Erkennung nicht zu aktivieren.

Weitere Informationen finden Sie unter Konfigurieren von Delta Lake zum Steuern der Datendateigröße.

Datentyp: Boolean

Standardwert: (None)