在 Azure 監視器中建立轉換

Azure 監視器中的轉換可讓您在傳入資料儲存在 Log Analytics 工作區之前對其進行篩選或修改。 其會實作為資料收集規則 (DCR) 中的 Kusto 查詢語言 (KQL) 陳述式。 本文提供建立和測試轉換查詢並將其新增至 DCR 的指引。

基本查詢結構

所有轉換查詢都會以 開頭 source，這是代表輸入數據流的虛擬數據表。 然後，您可以使用任何支援的 KQL 運算子來篩選、修改或新增資料行至數據，就像使用任何其他數據表一樣。 查詢會個別套用至數據源所傳送的每個專案。

查詢的輸出必須符合目標數據表的架構與下列考慮：

• 您可以省略任何不應填入的數據行。 目標數據表中記錄的數據行將會是空的。
• 請務必排除輸出數據表中未包含的任何數據行。 即使數據未儲存，也不會發生錯誤，但您仍需支付額外數據的擷取費用。
• 每個轉換的輸出都必須在名為 TimeGenerated 的類型 datetime 的資料行中包含有效的時間戳。 如果您的資料來源未包含這個屬性，您可以使用 或 project在轉換extend中新增它。

以下是執行數個函式的轉換範例：

• 使用 where 語句篩選傳入數據。
• 使用 extend 運算元加入新的數據行。
• 使用運算子，將輸出格式化以符合目標數據表 project 的數據行。

source  
| where severity == "Critical" 
| extend Properties = parse_json(properties)
| project
    TimeGenerated = todatetime(["time"]),
    Category = category,
    StatusDescription = StatusDescription,
    EventName = name,
    EventId = tostring(Properties.EventId)

建立轉換查詢

建立或編輯將包含轉換的 DCR 之前，您必須建立及測試轉換查詢。 您通常會對現有資料或測試資料執行測試查詢來執行此動作。 當您取得想要的結果時，您可以將資料表名稱取代為 source ，並將它貼到 DCR 中，如將轉換新增至 DCR 中所述。

例如，如果您要建立轉換來篩選 Syslog 事件，您可以從下列查詢開始，您可以在 Log Analytics 中執行。

Syslog | where SeverityLevel != 'info'

您可以將此查詢貼到 DCR 中，然後將資料表名稱變更為 source。

source | where SeverityLevel != 'info'

使用下列其中一個策略將數據用於測試查詢。

• 如果您已經收集想要轉換的數據，您可以使用Log Analytics來撰寫查詢，以視需要篩選或修改數據。 複製查詢文字，並將其貼到 DCR 中。
• 使用 Log Analytics 使用 運算符撰寫查詢 datatable ，以建立代表您傳入數據的範例數據集。 複製不含 運算子的查詢文字， datatable 並將其貼到 DCR 中。
• 使用程式在 Azure 入口網站 中建立新的數據表，並提供範例數據。 使用包含的介面來建立及測試您的轉換查詢。 複製查詢文字並貼到 DCR，或完成程式，然後編輯 DCR 以複製轉換查詢。 如果您不需要新數據表，就可以刪除新數據表。

將轉換新增至 DCR

轉換查詢之後，您可以將它新增至 DCR。 使用 Azure 監視器中建立和編輯資料收集規則 （DCR） 中的指引，使用本節中的資訊建立或編輯 DCR，以在 DCR 定義中包含轉換查詢。

轉換查詢是在 DCR 的 [資料流] 區段中的 屬性中指定transformKql。 這是將數據源與目的地配對的區段。 轉換會套用至數據流的傳入數據流，再傳送至目的地。 它只會套用至該數據流，即使在其他數據流中使用相同的數據流或目的地也一樣。

如果省略 屬性 transformKql ，或如果其值只是 source，則不會套用任何轉換，而且傳入的數據不會修改傳送至目的地。

在下列範例中，沒有 transformKql 屬性，因此傳入的數據會傳送至目的地而不修改。

"dataFlows": [ 
    { 
        "streams": [ 
        "Microsoft-Syslog" 
        ], 
        "destinations": [ 
        "centralWorkspace" 
        ] 
    } 
] 

在下列範例中， transformKql 具有的簡單查詢 source，因此傳入的數據會傳送至目的地，而不需要修改。 其功能與上一個範例相同。

"dataFlows": [ 
    { 
        "streams": [ 
        "Microsoft-Syslog" 
        ], 
        "transformKql": "source", 
        "destinations": [ 
        "centralWorkspace" 
        ] 
    } 
] 

在下列範例中， transformKql 具有篩選數據的查詢，因此只會將錯誤訊息傳送至目的地。

"dataFlows": [ 
    { 
        "streams": [ 
        "Microsoft-Syslog" 
        ], 
        "transformKql": "source | where message has 'error'", 
        "destinations": [ 
        "centralWorkspace" 
        ] 
    } 
] 

建立工作區轉換 DCR

工作區轉換資料收集規則 (DCR) 是一個直接套用至 Log Analytics 工作區的特殊 DCR。 每個工作區只能有一個工作區轉換 DCR，但它可以包含任意數目數據表的轉換。

使用下列其中一種方法，為您的工作區建立工作區轉換 DCR，並在其中新增一或多個轉換。

{
    "kind": "WorkspaceTransforms",
    "location": "eastus",
    "properties": {
        "dataSources": {},
        "destinations": {
            "logAnalytics": [
                {
                    "workspaceResourceId": "/subscriptions/71b36fb6-4fe4-4664-9a7b-245dc62f2930/resourcegroups/my-resource-group/providers/microsoft.operationalinsights/workspaces/my-workspace",
                    "name": "MyWorkspace"
                }
            ]
        },
        "dataFlows": [
            {
                "streams": [
                    "Microsoft-Table-LAQueryLogs"
                ],
                "destinations": [
                    "MyWorkspace"
                ],
                "transformKql": "source | where QueryText !contains 'LAQueryLogs'"
            },
            {
                "streams": [
                    "Microsoft-Table-Event"
                ],
                "destinations": [
                    "MyWorkspace"
                ],
                "transformKql": "source | project-away ParameterXml"
            }
        ],
        "provisioningState": "Succeeded"
    }
}

優化和監視轉換

轉換會針對使用 DCR 收集的每個記錄執行 KQL 查詢，因此請務必有效率地執行。 轉換運行時間有助於整體 數據擷取延遲，而需要長時間執行的轉換可能會影響數據收集管線的效能，並導致數據遺失。 最佳轉換應該要執行不超過 1 秒。 請參閱 將 Azure 監視器 中的記錄查詢優化，以取得在實作查詢做為轉換之前測試查詢的指引，以及優化未有效率執行的查詢的建議。

因為轉換不會以互動方式執行，因此請務必持續監視它們，以確保它們正常執行，而且不會花費太多時間來處理數據。 如需監視轉換健康情況和效能的記錄和計量詳細資料，請參閱在 Azure 監視器中監視 DCR 資料收集並進行疑難排解。 這包括識別 KQL 中發生的任何錯誤，以及識別用來追蹤其執行持續時間的計量。

系統會針對轉換自動收集下列計量，並應定期檢閱，以確認您的轉換仍如預期般執行。 建立 計量警示規則 ，以在其中一個計量超過閾值時自動收到通知。

• 每分鐘記錄轉換持續時間
• 每分鐘記錄轉換錯誤數

啟用 DCR 錯誤記錄 來追蹤轉換或其他查詢中發生的任何錯誤。 建立 記錄警示規則 ，以在寫入此數據表的專案時自動收到通知。

指引

根據資料收集方法，有多個方法可建立轉換。 下表列出建立轉換的不同方法的指導。

下一步

• 使用 Azure 監視器代理程式從虛擬機器建立資料收集規則和其關聯。