查詢記錄系統 table 參考編號

本文包含查詢記錄系統 table的相關信息，包括 tableschema的大綱。

Table 路徑：此系統 table 位於 system.query.history。

使用查詢記錄：table

查詢歷程記錄 table 包含使用 SQL 倉儲執行的查詢記錄，或 筆記本的無伺服器計算， 和 作業。 table 包含從您存取 table的相同區域中所有工作區的整體帳戶記錄。

根據預設，只有系統管理員可以存取系統 table。 如果您想要與使用者或群組共用 table的數據，Databricks 建議為每個使用者或群組建立動態檢視。 請參閱建立動態檢視。

查詢記錄系統 tableschema

查詢歷程記錄 table 使用下列 schema：

檢視記錄的查詢設定檔

若要根據查詢歷史table中的記錄導航至查詢的查詢設定檔，請執行以下步驟：

1. 確定感興趣的記錄，然後複製記錄的 statement_id。
2. 參考記錄的 workspace_id，以確保您已登入與記錄相同的工作區。
3. 按一下工作區側邊欄中的 [查詢歷史記錄]。
4. 在 [陳述式 ID] 欄位中，在記錄中貼上 。statement_id
5. 按一下查詢的名稱。 查詢計量的概觀隨即出現。
6. 按一下請參閱查詢設定檔。

從中繼存放區具體化查詢歷程記錄

下列程式代碼可用來建立每小時、每日或每周執行的作業，以具體化中繼存放區的查詢歷程記錄。 根據需要調整 HISTORY_TABLE_PATH 和 LOOKUP_PERIOD_DAYS 變數。

from delta.tables import *
from pyspark.sql.functions import *
from pyspark.sql.types import *

HISTORY_TABLE_PATH = "jacek.default.history"
# Adjust the lookup period according to your job schedule
LOOKUP_PERIOD_DAYS = 1

def table_exists(table_name):
    try:
        spark.sql(f"describe table {table_name}")
        return True
    except Exception:
        return False

def save_as_table(table_path, df, schema, pk_columns):
    deltaTable = (
        DeltaTable.createIfNotExists(spark)
        .tableName(table_path)
        .addColumns(schema)
        .execute()
    )

    merge_statement = " AND ".join([f"logs.{col}=newLogs.{col}" for col in pk_columns])

    result = (
        deltaTable.alias("logs")
        .merge(
            df.alias("newLogs"),
            f"{merge_statement}",
        )
        .whenNotMatchedInsertAll()
        .whenMatchedUpdateAll()
        .execute()
    )
    result.show()

def main():
    df = spark.read.table("system.query.history")
    if table_exists(HISTORY_TABLE_PATH):
        df = df.filter(f"update_time >= CURRENT_DATE() - INTERVAL {LOOKUP_PERIOD_DAYS} days")
    else:
        print(f"Table {HISTORY_TABLE_PATH} does not exist. Proceeding to copy the whole source table.")

    save_as_table(
        HISTORY_TABLE_PATH,
        df,
        df.schema,
        ["workspace_id", "statement_id"]
    )

main()