譜系系統 tables 參考資料

本文提供了針對兩個譜系系統 tables的概述。 這些系統 tables 是建立在 Unity Catalog的 數據譜系功能上，讓您能以程式方式查詢譜系數據，用於決策制定和報告生成。

Table 譜系 table

table 譜系系統 table 包含 Unity Catalogtable 或路徑上每個讀取或寫入事件的記錄。 這包括但不限於作業執行、筆記本執行，以及使用讀取或寫入事件更新的儀表板。

Table 路徑：此系統 table 位於 system.access.table_lineage。

Table 譜系 schema

table 系譜系統 table 使用以下 schema。

Column 譜系 table

column 譜系 table 不包含沒有來源的事件。 例如，如果您使用明確的 values將 insert 轉換為 column，則不會被擷取。 如果您讀取 column，無論您是否將輸出寫入，系統都會擷取。 Delta Live Tables不支援 Column 譜系。

Table 路徑：此系統 table 位於 system.access.column_lineage。

Column 譜系 schema

column 譜系系統 table 使用下列的 schema：

譜系讀取系統 tables

在分析譜系系統 tables時，請注意下列考慮：

• 針對 entity_type，Azure Databricks 支援 Delta Live Tables、筆記本、作業、Databricks SQL 查詢和儀錶板。 不支援來自其他實體的事件。
• 如果您將 entity_type 視為 null，表示事件中未涉及任何 Azure Databricks 實體。 例如，可能是 JDBC 查詢的結果，或使用者按下 Azure Databricks UI 中的 [範例資料] 索引標籤。
• 若要判斷事件是讀取還是寫入，可檢視來源類型和目標類型。
  • 唯讀：來源類型並非 Null，但目標類型為 Null。
  • 唯寫：目標類型並非 Null，但來源類型為 Null。
  • 讀取和寫入：來源類型和目標類型都不是 Null。

譜系系統 table 範例

在系統 tables中記錄譜系的一個範例中，這是一個範例查詢，後面接著查詢所建立的譜系記錄：

CREATE OR REPLACE TABLE car_features
AS SELECT *,  in1+in2 as premium_feature_set
FROM car_features_exterior
JOIN car_features_interior
USING(id, model);

system.access.table_lineage 中的記錄看起來就像：

system.access.column_lineage 中的記錄看起來就像：

針對外部 table 查詢進行疑難解答

當您以雲端儲存路徑作為外部 table 的參考時，相關的譜系記錄只會包含路徑名稱，而不包含 table 名稱。 例如，此查詢的歷程記錄會包含路徑名稱，而不是 table 名稱：

SELECT * FROM delta.`abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1`;

如果您試著查詢路徑所參考的外部 table 歷程記錄，則必須使用 source_path 或 target_path 來篩選查詢，而不是使用 source_table_full_name 或 target_table_full_name。 例如，下列查詢會提取外部 table的所有歷程記錄：

SELECT *
FROM system.access.table_lineage
WHERE
  source_path = "abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1" OR
  target_path = "abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1";

範例：根據外部 table 名稱擷取歷程記錄

如果您不想手動獲取雲端儲存路徑以尋找譜系，您可以使用下列函式，以 table 名稱來 get 譜系數據。 如果您想要查詢 column 譜系，也可以使用 函式中的 system.access.column_lineage 取代 system.access.table_lineage。

def getLineageForTable(table_name):
  table_path = spark.sql(f"describe detail {table_name}").select("location").head()[0]

  df = spark.read.table("system.access.table_lineage")
  return df.where(
    (df.source_table_full_name == table_name)
    | (df.target_table_full_name == table_name)
    | (df.source_path == table_path)
    | (df.target_path == table_path)
  )

然後使用下列命令來呼叫函數，並顯示 table的外部歷程記錄：

display(getLineageForTable("table_name"))