Partager via

Enrichir des tables Delta Lake avec des métadonnées personnalisées

  • Article

Databricks recommande toujours d’ajouter des commentaires aux tables et aux colonnes des tables. Vous pouvez générer ces commentaires en utilisant l’IA. Consultez Ajouter des commentaires générés par l’IA aux objets Unity Catalog.

Unity Catalog offre également la possibilité d’étiqueter les données. Consultez Appliquer des étiquettes aux objets sécurisables Unity Catalog.

Vous pouvez aussi consigner des messages concernant les commits individuels sur des tables dans un champ du journal des transactions Delta Lake.

Définition des métadonnées de validation définies par l’utilisateur

Vous pouvez spécifier des chaînes définies par l’utilisateur en tant que métadonnées dans les commits à l’aide de l’option DataFrameWriter userMetadata ou de la configuration SparkSession spark.databricks.delta.commitInfo.userMetadata. Si les deux ont été spécifiés, l’option prend la préférence. Ces métadonnées définies par l’utilisateur sont lisibles dans l’opération DESCRIBE HISTORY. Consultez Utiliser l’historique des tables Delta Lake.

SQL


SET spark.databricks.delta.commitInfo.userMetadata=some-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

Python

df.write \
  .mode("overwrite") \
  .option("userMetadata", "some-comment") \
  .table("target_table")

Scala

df.write
  .mode("overwrite")
  .option("userMetadata", "some-comment")
  .table("target_table")