將數據從小兒串流擷取到 Azure 數據總管

Blobl Stream 是一種處理引擎，可安全地從任何來源收集、處理及串流計算機事件數據。 它可讓您剖析及處理任何目的地的數據，以安全的方式進行分析和管理。

本文說明如何使用小兒串流內嵌數據。

如需資料連接器的完整清單，請參閱資料整合概觀。

必要條件

• 克里克爾串流帳戶
• 具有預設快取和保留原則的 Azure 數據總 管叢集和資料庫 。
• 查詢環境。 如需詳細資訊，請參閱 查詢整合概觀。
• 格式叢集中 TargetURI 值的https://ingest-< Kusto 叢集> URI。<region.kusto.windows.net>。 如需詳細資訊，請參閱 新增叢集連線。

建立 Microsoft Entra 服務主體

Microsoft Entra 服務主體可以透過 Azure 入口網站 或以程序設計方式建立，如下列範例所示。

此服務主體是連接器用來將數據寫入 Kusto 中數據表的身分識別。 您可以授與此服務主體存取 Kusto 資源的許可權。

1. 透過 Azure CLI 登入您的 Azure 訂用帳戶。 然後在瀏覽器中進行身份驗證。

   az login
   

2. 選擇代管主體的訂閱。 當您有多個訂閱時，需要此步驟。

   az account set --subscription YOUR_SUBSCRIPTION_GUID
   

3. 建立服務主體。 此範例中，服務主體需符合稱為 my-service-principal。

   az ad sp create-for-rbac -n "my-service-principal" --role Contributor --scopes /subscriptions/{SubID}
   

4. 從傳回的 JSON 資料中，拷貝 appId、password 和，tenant以供將來使用。

   {
     "appId": "1234abcd-e5f6-g7h8-i9j0-1234kl5678mn",
     "displayName": "my-service-principal",
     "name": "my-service-principal",
     "password": "1234abcd-e5f6-g7h8-i9j0-1234kl5678mn",
     "tenant": "1234abcd-e5f6-g7h8-i9j0-1234kl5678mn"
   }
   

您已建立您的 Microsoft Entra 應用程式和服務主體。

建立目標資料表。

建立內送數據的目標數據表和內嵌對應，以將內嵌的數據行對應至目標數據表中的數據行。

1. 在查詢編輯器中執行下表 建立命令 ，將佔位元 TableName 取代為目標數據表的名稱：

   .create table <TableName> (_raw: string, _time: long, cribl_pipe: dynamic)
   

2. 執行下列 建立擷取對應 命令，將佔位元 TableName 取代為目標數據表名稱，並將 TableNameMapping 取代為擷取對應的名稱：

   .create table <TableName> ingestion csv mapping '<TableNameMapping>' 'CriblLogMapping' '[{"Name":"_raw","DataType":"string","Ordinal":"0","ConstValue":null},{"Name":"_time","DataType":"long","Ordinal":"1","ConstValue":null},{"Name":"cribl_pipe","DataType":"dynamic","Ordinal":"2","ConstValue":null}]'
   

3. 授與服務主體從建立Microsoft Entra 服務主體資料庫擷取器角色許可權，以使用資料庫。 如需詳細資訊，請參閱 範例。 將佔位元 DatabaseName 取代為目標資料庫的名稱，並將 ApplicationID 取代 AppId 為您在建立Microsoft Entra 服務主體時儲存的值。

   .add database <DatabaseName> ingestors ('aadapp=<ApplicationID>') 'App Registration'
   

建立小兒串流目的地

下一節說明如何建立一個將數據寫入 Kusto 中數據表的 Blob Stream 目的地。 每個數據表都需要個別的 Blob Stream 目的地連接器。

選取目的地

若要將克里克爾串流連線到您的數據表：

1. 從 Blobl 的頂端導覽中，選取 [管理 ]，然後選取 [背景工作群組]。

2. 選取 [路由>快速連線][串流]>[新增目的地]。

3. 在 [ 設定新的 QuickConnect 目的地 ] 視窗中，選擇 [Azure 數據總管]，然後選擇 [ 立即新增]。

設定一般設定

在 [新增數據總管] 視窗中，於 [一般設定] 中設定下列設定：

完成時，選取 [ 下一步]。

驗證設定

選取 提要欄位中的 [驗證設定 ]。 使用您在建立Microsoft Entra 服務主體中儲存的值，以及您的基底 URI，如下所示：

然後選取下一步。

永續性佇列

當擷取模式設定為 [串流]，而Backpressure行為設定為 [永續性佇列] 時顯示。

完成時，請選取 [下一步]。

處理設定

完成時，請選取 [下一步]。

Parquet 設定

選取 [數據格式] 的 Parquet 時顯示。

選擇 Parquet 會開啟 [Parquet 設定] 索引標籤，以選取 Parquet 架構。

重試

當擷取模式設定為 [串流] 時顯示。

完成時，請選取 [下一步]。

進階設定

從提要欄位中選取 [進階設定 ]。 下列描述選取 Batching 時的進階設定：

完成時，選取 [ 儲存]。

連線設定

從開啟的 [聯機組態] 視窗中，選取 [Passthru 連線]，然後選取 [儲存]。 連接器會開始將數據排入佇列。

確認資料擷取

1. 一旦數據抵達數據表，請檢查數據列計數來確認數據傳輸：

   <Tablename> 
   | count
   

2. 確認在過去五分鐘內排入佇列的擷取：

   .show commands-and-queries 
   | where Database == "" and CommandType == "DataIngestPull" 
   | where LastUpdatedOn >= ago(5m)
   

3. 確認擷取過程中沒有失敗：

   • 批次處理：

   .show ingestion failures
   

   • 針對串流：

   .show streamingingestion failures 
   | order by LastFailureOn desc
   

4. 確認資料表中的資料：

   <TableName>
   | take 10
   

如需查詢範例和指引，請參閱在 KQL 和 Kusto 查詢語言 檔中撰寫查詢。

相關內容

• 數據整合概觀
• Kusto 查詢語言 (KQL) 概觀