계보 시스템 테이블 참조

해당 문서는 두 계보 시스템 테이블을 소개합니다. 이러한 시스템 테이블은 Unity 카탈로그의 데이터 계보 기능을 기반으로 하므로 계보 데이터를 프로그래밍 방식으로 쿼리하여 의사 결정 및 보고서에 활용할 수 있습니다.

표 계보 테이블

표 계보 시스템 테이블은 Unity Catalog 테이블 또는 경로에서 각 읽기 또는 쓰기 이벤트에 대한 레코드를 포함합니다. 여기에는 읽기 또는 쓰기 이벤트로 업데이트된 작업 실행, Notebook 실행 및 대시보드가 포함되나 이에 국한되지 않습니다.

테이블 경로: 이 시스템 테이블은 .에 있습니다 system.access.table_lineage.

열 계보 테이블

열 계보 테이블에는 소스가 없는 이벤트가 포함되지 않습니다. 예를 들어 명시적 값을 사용하여 열에 삽입하는 경우 캡처되지 않습니다. 열을 읽는 경우 출력을 작성할지 여부에 관계없이 캡처됩니다. Delta Live Tables에는 열 계보가 지원되지 않습니다.

테이블 경로: 이 시스템 테이블은 .에 있습니다 system.access.column_lineage.

계보 시스템 테이블 스키마

계보 시스템 테이블은 다음 스키마를 사용합니다. 테이블 계보 스키마에는 source_column_name 및 target_column_name가 포함되지 않습니다.

계보 시스템 테이블 읽기

계보 시스템 테이블을 분석할 때 다음 사항을 고려해야 합니다.

• entity_type의 경우 Azure Databricks는 Delta Live Tables, Notebook, 작업, Databricks SQL 쿼리 및 대시보드를 지원합니다. 다른 엔터티의 이벤트는 지원되지 않습니다.
• entity_type이 null로 표시되는 경우는 Azure Databricks 엔터티가 이벤트에 관여하지 않음을 의미합니다. 예를 들어 JDBC 쿼리 또는 사용자가 Azure Databricks UI의 샘플 데이터 탭을 클릭한 결과일 수 있습니다.
• 이벤트가 읽기인지 쓰기인지 확인하기 위해 소스 유형과 대상 유형을 볼 수 있습니다.
  • 읽기 전용: 소스 유형이 null이 아니지만 대상 유형은 null입니다.
  • 쓰기 전용: 대상 유형은 null이 아니지만 소스 유형은 null입니다.
  • 읽기 및 쓰기: 소스 유형 및 대상 유형이 null이 아닙니다.

계보 시스템 테이블 예제

계보가 시스템 테이블에 어떻게 기록되는지에 대한 예제로, 다음은 쿼리 예제와 그 쿼리가 생성하는 계보 레코드입니다.

CREATE OR REPLACE TABLE car_features
AS SELECT *,  in1+in2 as premium_feature_set
FROM car_features_exterior
JOIN car_features_interior
USING(id, model);

레코드 system.access.table_lineage은 다음과 같습니다.

레코드 system.access.column_lineage은 다음과 같습니다.

외부 테이블 쿼리 문제 해결

클라우드 스토리지 경로를 사용하여 외부 테이블을 참조하는 경우 연결된 계보 레코드에는 테이블 이름이 아닌 경로 이름만 포함됩니다. 예를 들어 이 쿼리의 계보 레코드에는 테이블 이름이 아닌 경로 이름이 포함됩니다.

SELECT * FROM delta.`abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1`;

경로에서 참조하는 외부 테이블에 대한 계보 레코드를 쿼리하려는 경우 source_table_full_name 또는 target_table_full_name 대신 source_path 또는 target_path를 사용하여 쿼리를 필터링해야 합니다. 예를 들어 다음 쿼리는 외부 테이블에 대한 모든 계보 레코드를 가져옵니다.

SELECT *
FROM system.access.table_lineage
WHERE
  source_path = "abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1" OR
  target_path = "abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1";

예: 외부 테이블 이름을 기반으로 계보 레코드 검색하기

계보를 찾기 위해 클라우드 스토리지 경로를 수동으로 검색하지 않으려면 다음 함수를 사용해 테이블 이름으로 계보 데이터를 가져올 수 있습니다. 열 계보를 쿼리하려는 경우 함수에서 system.access.table_lineage를 system.access.column_lineage로 바꿀 수도 있습니다.

def getLineageForTable(table_name):
  table_path = spark.sql(f"describe detail {table_name}").select("location").head()[0]

  df = spark.read.table("system.access.table_lineage")
  return df.where(
    (df.source_table_full_name == table_name)
    | (df.target_table_full_name == table_name)
    | (df.source_path == table_path)
    | (df.target_path == table_path)
  )

그 후에 다음 명령을 사용하여 함수를 호출하고 외부 테이블에 대한 계보 레코드를 표시합니다.

display(getLineageForTable("table_name"))