共用方式為


將數據從Splunk內嵌至 Azure 數據總管

重要

此連接器可用於 Microsoft Fabric 中的即時智慧 。 使用本文中的指示,但有下列例外狀況:

Splunk Enterprise 是一個軟體平臺,可讓您同時擷取許多來源的數據。 Splunk 索引器會處理數據,並預設將其儲存在主要索引或指定的自定義索引中。 在 Splunk 中搜尋會使用索引數據來建立計量、儀錶板和警示。 Azure 資料總管是快速及可調整的資料探索服務,以取得記錄和遙測資料。

在本文中,您將瞭解如何使用 Azure 數據總管 Splunk 附加元件,將數據從 Splunk 傳送至叢集中的數據表。 您一開始會建立數據表和數據對應,然後指示 Splunk 將數據傳送至數據表,然後驗證結果。

下列案例最適合將數據內嵌至 Azure 數據總管:

  • 大量數據:Azure 數據總管的建置是為了有效率地處理大量數據。 如果您的組織產生大量需要即時分析的數據,Azure 數據總管是適合的選擇。
  • 時間序列數據:Azure 數據總管擅長處理時間序列數據,例如記錄、遙測數據和感測器讀數。 它會在以時間為基礎的數據分割中組織數據,讓您輕鬆執行以時間為基礎的分析和匯總。
  • 即時分析:如果您的組織需要來自數據流的即時深入解析,Azure 數據總管的近乎即時功能可能會很有説明。

必要條件

建立數據表和對應物件

擁有叢集和資料庫之後,請使用符合 Splunk 數據的架構來建立數據表。 您也會建立對應物件,用來將傳入數據轉換成目標數據表架構。

在下列範例中,您會建立名為 且具有四個數據行的 WeatherAlert 數據表: TimestampTemperatureHumidityWeather。 您也會建立名為 WeatherAlert_Json_Mapping 的新對應,從 傳入 JSON 擷取屬性,如 所 path 指出,並將其輸出至指定的 column

Web UI 查詢編輯器中,執行下列命令來建立資料表和對應:

  1. 建立資料表:

    .create table WeatherAlert (Timestamp: datetime, Temperature: string, Humidity: string, Weather: string)
    
  2. 確認資料表 WeatherAlert 已建立且是空的:

    WeatherAlert
    | count
    
  3. 建立對應物件:

    .create table WeatherAlert ingestion json mapping "WeatherAlert_Json_Mapping"
        ```[{ "column" : "Timestamp", "datatype" : "datetime", "Properties":{"Path":"$.timestamp"}},
            { "column" : "Temperature", "datatype" : "string", "Properties":{"Path":"$.temperature"}},
            { "column" : "Humidity", "datatype" : "string", "Properties":{"Path":"$.humidity"}},
            { "column" : "Weather", "datatype" : "string", "Properties":{"Path":"$.weather_condition"}}
          ]```
    
  4. 使用必要條件中的服務主體,授與許可權以使用資料庫。

    .add database YOUR_DATABASE_NAME admins  ('aadapp=YOUR_APP_ID;YOUR_TENANT_ID') 'Entra App'
    

安裝Splunk Azure資料總管附加元件

Splunk 附加元件會與 Azure 數據總管通訊,並將數據傳送至指定的數據表。

  1. 下載 Azure 數據總 管附加元件

  2. 以系統管理員身分登入您的Splunk實例。

  3. 移至 [ 應用程式>管理應用程式]。

  4. 從檔案選取 [安裝應用程式],然後選取您下載的 [Azure 數據總管] 附加元件檔案。

  5. 請遵循提示來完成安裝。

  6. 選取 [ 立即重新啟動]。

  7. 移至 [儀錶板>警示動作] 並尋找 Azure 資料總管附加元件,確認已安裝附加元件。

    [警示動作] 頁面的螢幕快照,其中顯示 Azure 數據總管附加元件。

在Splunk中建立新的索引

在Splunk中建立索引,以指定要傳送至 Azure 數據總管的數據準則。

  1. 以系統管理員身分登入您的Splunk實例。
  2. 移至 [ 設定>索引]。
  3. 指定索引的名稱,並設定您要傳送至 Azure 數據總管之數據的準則。
  4. 視需要設定其餘屬性,然後儲存索引。

設定 Splunk 附加元件以將數據傳送至 Azure 數據總管

  1. 以系統管理員身分登入您的Splunk實例。

  2. 移至儀錶板,並使用您稍早建立的索引進行搜尋。 例如,如果您已建立名為 的 WeatherAlerts索引,請搜尋 index="WeatherAlerts"

  3. 選取 [另存新檔>警示]。

  4. 指定警示所需的名稱、間隔和條件。

    [建立警示] 對話框的螢幕快照,其中顯示 Azure 數據總管附加元件設定。

  5. 在 [觸發動作] 下,選取 [新增動作>傳送至 azure 數據總管] Microsoft。

    [建立警示] 對話框的螢幕快照,其中顯示 Azure 數據總管附加元件觸發程序動作。

  6. 設定連線詳細數據,如下所示:

    設定 描述
    叢集擷取 URL 指定 Azure 數據總管叢集的擷取 URL。 例如: https://ingest-<mycluster>.<myregion>.kusto.windows.net
    用戶端識別碼 指定您稍早建立之Microsoft Entra 應用程式的用戶端標識碼。
    用戶端祕密 指定您稍早建立之 Microsoft Entra 應用程式的客戶端密碼。
    租用戶識別碼 指定您稍早建立之Microsoft Entra 應用程式的租用戶標識碼。
    Database 指定您要傳送資料的資料庫名稱。
    Table 指定您要傳送資料之資料表的名稱。
    對應 指定您稍早建立的對應物件名稱。
    拿掉額外的欄位 選取此選項可從傳送至叢集的數據中移除任何空白欄位。
    耐久模式 選取此選項可在擷取期間啟用持久性模式。 設定為 true 時,擷取輸送量會受到影響。

    [建立警示] 對話框的螢幕快照,其中顯示 Azure 數據總管附加元件連線設定。

  7. 選取 [ 儲存 ] 以儲存警示。

  8. 移至 [ 警示] 頁面,並確認您的警示出現在警示清單中。

    [建立警示] 頁面的螢幕快照,其中顯示 Azure 數據總管附加元件。

確認數據已內嵌至 Azure 數據總管

觸發警示之後,數據就會傳送至您的 Azure 數據總管數據表。 您可以在 Web UI 查詢編輯器執行查詢,以確認資料是否已內嵌。

  1. 執行下列查詢,以驗證資料已擷取至資料表:

    WeatherAlert
    | count
    
  2. 執行下列查詢以檢視資料:

    WeatherAlert
    | take 100
    

    KQL 查詢編輯器的螢幕快照,其中顯示從數據表取得 100 筆記錄的查詢結果。