更新原則概觀

適用於： ✅Microsoft網狀架構✅Azure 數據總管

更新原則是當新數據寫入數據表時觸發的自動化機制。 其可藉由執行查詢來轉換擷取的數據，並將結果儲存至目的地數據表，藉以消除特殊協調流程的需求。 單一數據表可以定義多個更新原則，以允許不同的轉換，並將數據同時儲存至多個數據表。 目標數據表可以有不同的架構、保留原則，以及源數據表中的其他原則。

例如，高速率追蹤源資料表可以包含格式化為自由文字資料行的資料。 目標資料表可以包含特定的追蹤行，其中包含使用 parse 運算子從源資料表自由文字資料轉換所產生的結構良好架構。 如需詳細資訊， 常見案例。

下圖描述更新原則的高階檢視。 它會顯示將數據新增至第二個源數據表時觸發的兩個更新原則。 觸發之後，轉換的數據會新增至兩個目標數據表。

更新原則查詢

如果在目標數據表上定義更新原則，可以在內嵌至源數據表的數據上執行多個查詢。 如果有多個更新原則，則執行順序不一定是已知的。

查詢限制

在參考 Source 原則部分的數據表 Query 時，或在元件所參考 Query 的函式中：

更新原則物件

數據表可以有零個或多個與其相關聯的更新原則物件。 每個這類對象都會以 JSON 屬性包表示，並定義下列屬性。

管理命令

更新原則管理命令包括：

• .show table *TableName* policy update 顯示數據表的目前更新原則。
• .alter table *TableName* policy update 定義數據表的目前更新原則。
• .alter-merge table *TableName* policy update 將定義附加至數據表的目前更新原則。
• .delete table *TableName* policy update 會刪除資料表的目前更新原則。

更新原則是在擷取之後起始的

更新原則會在數據內嵌或移至源數據表時生效，或是在源數據表中建立範圍。 這些動作可以使用下列任何命令來完成：

• .ingest （pull）
• .ingest （內嵌）
• .set | .append | .set-or-append | .set-or-replace
• .move 範圍
• .replace extents
  • 命令 PropagateIngestionProperties 只會在擷取作業中生效。 當更新原則在 或 .move extents 命令中.replace extents觸發時，此選項沒有任何作用。

從源數據表移除數據

將資料擷取至目標數據表之後，您可以選擇性地從源數據表中移除它。 在源數據表的保留00:00:00虛刪除期間，並將更新原則設定為交易式。 適用於下列條件：

• 源數據無法從源數據表查詢
• 源數據不會保存在永久性記憶體中，作為擷取作業的一部分
• 作業效能會改善。 擷取后的資源會減少，以便對源數據表中的範圍進行背景清理作業。

效能影響

更新原則可能會影響效能，而數據範圍擷取會乘以目標數據表的數目。 請務必優化原則相關的查詢。 您可以在建立或變更原則之前，或在搭配查詢使用的函式上叫用原則，以測試更新原則的效能影響。

評估資源使用量

使用 .show queries，以下列參數評估資源使用量（CPU、記憶體等）：

• 將 Source 屬性、源數據表名稱設定為 MySourceTable
• Query設定 屬性以呼叫名為 的函式MyFunction()

// '_extentId' is the ID of a recently created extent, that likely hasn't been merged yet.
let _extentId = toscalar(
    MySourceTable
    | project ExtentId = extent_id(), IngestionTime = ingestion_time()
    | where IngestionTime > ago(10m)
    | top 1 by IngestionTime desc
    | project ExtentId
);
// This scopes the source table to the single recent extent.
let MySourceTable =
    MySourceTable
    | where ingestion_time() > ago(10m) and extent_id() == _extentId;
// This invokes the function in the update policy (that internally references `MySourceTable`).
MyFunction

交易式設定

更新原則設定會定義更新原則 IsTransactional 是否為交易式，而且可能會影響原則更新的行為，如下所示：

• IsTransactional:false：如果值設定為預設值 false，則更新原則不保證來源和目標數據表中的數據之間的一致性。 如果更新原則失敗，數據只會內嵌至源數據表，而不是擷取至目標數據表。 在此案例中，擷取作業成功。
• IsTransactional:true：如果值設定為 true，則此設定可保證來源數據表和目標數據表中的數據之間的一致性。 如果更新原則失敗，數據不會內嵌至來源或目標數據表。 在此案例中，擷取作業失敗。

處理失敗

當原則更新失敗時，會根據設定為 IsTransactional 或 true，以不同的方式處理這些更新false。 更新原則失敗的常見原因是：

• 查詢輸出架構與目標資料表不符。
• 任何查詢錯誤。

您可以使用 命令搭配下列命令.show ingestion failures：在任何其他情況下，您可以手動重試擷取。

.show ingestion failures
| where FailedOn > ago(1hr) and OriginatesFromUpdatePolicy == true

擷取、轉換、載入的範例

您可以使用更新原則設定來執行擷取、轉換、載入 （ETL）。

在此範例中，使用更新原則搭配簡單的函式來執行 ETL。 首先，我們會建立兩個數據表：

• 源數據表 - 包含內嵌數據的單一字串型別數據行。
• 目標數據表 - 包含所需的架構。 更新原則定義在此數據表上。

1. 讓我們建立源數據表：

   .create table MySourceTable (OriginalRecord:string)
   

2. 接下來，建立目標數據表：

   .create table MyTargetTable (Timestamp:datetime, ThreadId:int, ProcessId:int, TimeSinceStartup:timespan, Message:string)
   

3. 然後建立函式以擷取數據：

   .create function
    with (docstring = 'Parses raw records into strongly-typed columns', folder = 'UpdatePolicyFunctions')
        ExtractMyLogs()
       {
       MySourceTable
       | parse OriginalRecord with "[" Timestamp:datetime "] [ThreadId:" ThreadId:int "] [ProcessId:" ProcessId:int "] TimeSinceStartup: " TimeSinceStartup:timespan " Message: " Message:string
       | project-away OriginalRecord
   }
   

4. 現在，設定更新原則以叫用我們建立的函式：

   .alter table MyTargetTable policy update
   @'[{ "IsEnabled": true, "Source": "MySourceTable", "Query": "ExtractMyLogs()", "IsTransactional": true, "PropagateIngestionProperties": false}]'
   

5. 若要在將資料內嵌至目標數據表之後清空源數據表，請在源數據表上定義保留原則，使其具有0作為。SoftDeletePeriod

    .alter-merge table MySourceTable policy retention softdelete = 0s
   

相關內容

• 使用數據表更新原則的常見案例
• 教學課程：使用數據表更新原則路由數據