Splunk から Azure Data Explorer にデータを取り込む

Splunk Enterprise は、多数のソースからデータを同時に取り込むことができるソフトウェア プラットフォームです。 Splunk インデクサーは、データを処理して、既定でメイン インデックスまたは指定されたカスタム インデックスに格納します。 Splunk で検索を行うと、インデックス付きのデータを使ってメトリック、ダッシュボード、アラートが作成されます。 Azure Data Explorer は、ログと利用統計情報データのための高速で拡張性に優れたデータ探索サービスです。

この記事では、Azure Data Explorer の Splunk アドオンを使って Splunk からクラスター内のテーブルにデータを送信する方法を説明します。 最初にテーブルとデータのマッピングを作成し、次にデータをテーブルに送信して結果を検証するように Splunk に指示します。

次のシナリオは、Azure Data Explorer にデータを取り込むのが最適です。

• 大量のデータ: Azure Data Explorer は、膨大な量のデータを効率的に処理するように構築されています。 リアルタイム分析が必要な大量のデータを生成する組織には、Azure Data Explorer が適しています。
• 時系列データ: Azure Data Explorer は、ログ、テレメトリ データ、センサー測定値などの時系列データの処理に優れています。 時間ベースのパーティションにデータを整理し、時間ベースの分析と集計を簡単に実行できるようにします。
• リアルタイム分析: 流れ込むデータからのリアルタイムの分析情報を必要とする組織の場合、Azure Data Explorer の準リアルタイム機能が役に立つ可能性があります。

前提条件

• Microsoft アカウントまたは Microsoft Entra ユーザー ID。 Azure サブスクリプションは不要です。
• Azure Data Explorer クラスターとデータベース。 クラスターとデータベースを作成します。
• Splunk Enterprise 9 以降。
• Microsoft Entra サービス プリンシパル。 Microsoft Entra サービス プリンシパルを作成します。

テーブルとマッピング オブジェクトを作成する

クラスターとデータベースを作成した後、Splunk のデータと一致するスキーマを使ってテーブルを作成します。 また、着信データをターゲット テーブルのスキーマに変換するために使われるマッピング オブジェクトも作成します。

次の例では、Timestamp、Temperature、Humidity、Weather という 4 つの列を持つ WeatherAlert という名前のテーブルを作成します。 また、path で示される着信 json からプロパティを抽出して指定された column に出力する、WeatherAlert_Json_Mapping という名前の新しいマッピングも作成します。

Web UI クエリ エディターで、次のコマンドを実行してテーブルとマッピングを作成します。

1. テーブルを作成します。

   .create table WeatherAlert (Timestamp: datetime, Temperature: string, Humidity: string, Weather: string)
   

2. テーブル WeatherAlert が作成され、空になっていることを確認します。

   WeatherAlert
   | count
   

3. マッピング オブジェクトを作成します。

   .create table WeatherAlert ingestion json mapping "WeatherAlert_Json_Mapping"
       ```[{ "column" : "Timestamp", "datatype" : "datetime", "Properties":{"Path":"$.timestamp"}},
           { "column" : "Temperature", "datatype" : "string", "Properties":{"Path":"$.temperature"}},
           { "column" : "Humidity", "datatype" : "string", "Properties":{"Path":"$.humidity"}},
           { "column" : "Weather", "datatype" : "string", "Properties":{"Path":"$.weather_condition"}}
         ]```
   

4. 前提条件のサービス プリンシパルを使って、データベースを操作するためのアクセス許可を付与します。

   .add database YOUR_DATABASE_NAME admins  ('aadapp=YOUR_APP_ID;YOUR_TENANT_ID') 'Entra App'
   

Splunk の Azure Data Explorer アドオンをインストールする

Splunk アドオンは Azure Data Explorer と通信して、指定されたテーブルにデータを送信します。

1. Azure Data Explorer アドオンをダウンロードします。

2. Splunk インスタンスに管理者としてサインインします。

3. [Apps]>[Manage Apps] に移動します。

4. [Install app from file] を選んでから、ダウンロードした Azure Data Explorer アドオン ファイルを選びます。

5. 画面に表示される指示に従って、インストールを完了します。

6. [Restart Now] を選びます。

7. [Dashboard]>[Alert Actions] に移動して Azure Data Explorer アドオンを探し、アドオンがインストールされていることを確認します。

   

Splunk で新しいインデックスを作成する

Azure Data Explorer に送信するデータの条件を指定して、Splunk でインデックスを作成します。

1. Splunk インスタンスに管理者としてサインインします。
2. [Settings]>[Indexes] に移動します。
3. インデックスの名前を指定し、Azure Data Explorer に送信するデータの条件を構成します。
4. 必要に応じて残りのプロパティを構成してから、インデックスを保存します。

Azure Data Explorer にデータを送信するように Splunk アドオンを構成する

1. Splunk インスタンスに管理者としてサインインします。

2. ダッシュボードに移動し、前に作成したインデックスを使って検索します。 たとえば、WeatherAlerts という名前のインデックスを作成した場合は、index="WeatherAlerts" を検索します。

3. [Save As]>[Alert] を選びます。

4. アラートに必要な名前、間隔、条件を指定します。

   

5. [Trigger Actions] で、[Add Actions]>[Send to Microsoft Azure Data Explorer] を選びます。

   

6. 次のように接続の詳細を構成します。

   設定	説明
   Cluster Ingestion URL	Azure Data Explorer クラスターのインジェスト URL を指定します。 たとえば、https://ingest-<mycluster>.<myregion>.kusto.windows.net のようにします。
   クライアント ID	前に作成した Microsoft Entra アプリケーションのクライアント ID を指定します。
   クライアント シークレット	前に作成した Microsoft Entra アプリケーションのクライアント シークレットを指定します。
   テナント ID	前に作成した Microsoft Entra アプリケーションのテナント ID を指定します。
   データベース	データ送信先のデータベースの名前を指定します。
   Table	データ送信先のテーブルの名前を指定します。
   マッピング	前に作成したマッピング オブジェクトの名前を指定します。
   Remove Extra Fields	クラスターに送信されるデータから空のフィールドを削除するには、このオプションを選びます。
   Durable Mode	インジェストの間に持続性モードを有効にするには、このオプションを選びます。 true に設定すると、インジェストのスループットが影響を受けます。

   

7. [Save] を選んでアラートを保存します。

8. [Alerts] ページに移動し、アラートの一覧にこのアラートが表示されることを確認します。

   

データが Azure Data Explorer に取り込まれていることを確認する

アラートがトリガーされると、Azure Data Explorer テーブルにデータが送信されます。 データが取り込まれたことを確認するには、Web UI クエリ エディターでクエリを実行します。

1. 次のクエリを実行して、データがテーブルに取り込まれていることを確認します。

   WeatherAlert
   | count
   

2. Run the following query to view the data:

   WeatherAlert
   | take 100
   

   

関連するコンテンツ

• クエリを作成する