次の方法で共有

Microsoft Fabric イベント ストリーム - 概要

  • [アーティクル]

Microsoft Fabric リアルタイム インテリジェンス エクスペリエンスのイベントストリーム機能を使用すると、リアルタイム イベントを Fabric に取り込み、変換して、コードを記述せずに (ノー コード) さまざまな送信先にルーティングできます。 Eventstream (Fabric の Eventstream 項目のインスタンス) を作成し、イベント データ ソースをストリームに追加し、必要に応じて、イベント データを変換する変換を追加してから、サポートされている宛先にデータをルーティングします。 さらに、Eventstream 項目で使用できる Apache Kafka エンドポイントを使用すると、Kafka プロトコルを使用してリアルタイム イベントを送信または使用できます。

Fabric にイベントを取り込む

イベントストリーム機能には、さまざまなソースからイベント データをフェッチするためのさまざまなソース コネクタが用意されています。 イベントストリームの作成時に拡張機能を有効にすると、さらに多くのソースを使用できます。

ソース 説明
Azure Event Hubs Azure イベント ハブがある場合は、イベントストリーム を使用してイベント ハブ データを Microsoft Fabric に取り込むことができます。
Azure IoT Hub Azure IoT ハブがある場合は、イベントストリーム を使用して IoT データを Microsoft Fabric に取り込むことができます。
Azure SQL データベースの変更データ キャプチャ (CDC) Azure SQL データベース CDC ソース コネクタを使用すると、Azure SQL データベース内の現在のデータのスナップショットをキャプチャできます。 コネクタは、このデータに対する将来の行レベルの変更を監視し、記録します。
PostgreSQL データベースの CDC PostgreSQL データベース変更データ キャプチャ (CDC) ソース コネクタを使用すると、PostgreSQL データベース内の現在のデータのスナップショットをキャプチャできます。 コネクタは、このデータに対する将来の行レベルの変更を監視し、記録します。
MySQL Database CDC Azure MySQL データベース変更データ キャプチャ (CDC) ソース コネクタを使用すると、Azure Database for MySQL データベース内の現在のデータのスナップショットをキャプチャできます。 監視するテーブルを指定でき、eventstream はテーブルに対する将来の行レベルの変更を記録します。
Azure Cosmos DB の CDC Microsoft Fabric イベントストリーム用の Azure Cosmos DB Change Data Capture (CDC) ソースコネクタを使用すると、Azure Cosmos DB データベース内の現在のデータのスナップショットを取得できます。 コネクタは、このデータに対する将来の行レベルの変更を監視し、記録します。
SQL Server on Virtual Machine (VM) データベース (DB) CDC Fabric イベント ストリーム用の SQL Server on VM DB (CDC) ソース コネクタを使うと、VM 上の SQL Server データベース内の現在のデータのスナップショットをキャプチャできます。 その後、このコネクタは、以降のデータに対する行レベルの変更を監視して記録します。
Azure SQL Managed Instance CDC Microsoft Fabric イベント ストリーム用の Azure SQL Managed Instance CDC ソース コネクタを使うと、SQL Managed Instance データベース内の現在のデータのスナップショットをキャプチャできます。 コネクタは、このデータに対する将来の行レベルの変更を監視し、記録します。
Google Cloud Pub/Sub Google Pub/Sub は、イベントのストリームを公開してサブスクライブできるメッセージング サービスです。 Google Pub/Sub をソースとしてイベントストリームに追加して、リアルタイムイベントをキャプチャ、変換し、ファブリック内のさまざまな宛先にルーティングできます。
Amazon Kinesis Data ストリーム Amazon Kinesis Data ストリーム は、ストリーミング データ用に最適化された、非常にスケーラブルで耐久性の高いデータ インジェストおよび処理サービスです。 Amazon Kinesis Data ストリームをイベントストリーム内のソースとして統合することで、リアルタイムデータストリームをファブリック内の複数の宛先にルーティングする前にシームレスに処理できます。
Confluent Cloud Kafka Confluent Cloud Kafka は、Apache Kafka を使用した強力なデータ ストリーミングと処理機能を提供するストリーミング プラットフォームです。 Confluent Cloud Kafka をイベントストリーム内のソースとして統合することで、リアルタイム データ ストリームをシームレスに処理してから、Fabric 内の複数の宛先にルーティングできます。
Amazon MSK Kafka Amazon MSK Kafka は、セットアップ、スケーリング、管理を簡素化するフル マネージドの Kafka サービスです。 Amazon MSK Kafka をイベント ストリーム内のソースとして統合すると、MSK Kafka からリアルタイム イベントをシームレスに取り込み、Fabric 内の複数の宛先にルーティングする前にそれを処理できます。 
サンプル データ サンプル データ ソースとして Bicycles、Yellow Taxi、または Stock Market イベントを選択して、イベントストリームの設定中にデータ インジェストをテストできます。
カスタム エンドポイント (すなわち、標準機能のカスタム アプリ) カスタム エンドポイント機能を使用すると、アプリケーションまたは Kafka クライアントは接続文字列を使用して イベントストリーム に接続できるため、イベントストリーム へのストリーミング データのスムーズな取り込みを可能にします。
Azure Service Bus (プレビュー) Eventstream を使用して、Azure Service Bus キューまたはトピックのサブスクリプションから Microsoft Fabric にデータを取り込むことができます。
Apache Kafka (プレビュー) Apache Kafka は、スケーラブルでリアルタイムのデータ システムを構築するためのオープンソースの分散プラットフォームです。 Apache Kafka をイベント ストリーム内のソースとして統合すると、Apache Kafka からリアルタイム イベントをシームレスに取り込み、Fabric 内の複数の宛先にルーティングする前にそれを処理できます。
Azure Blob Storage のイベント (プレビュー) これらのイベントは、クライアントが BLOB REST API を呼び出して BLOB を作成、置換、または削除するときにトリガーされます。 コネクタを使用すると、Blob Storage イベントをリアルタイム ハブの Fabric イベントにリンクできます。 これらのイベントを連続データ ストリームに変換し、それらを変換してから、Fabric のさまざまな宛先にルーティングできます。
Fabric ワークスペース項目イベント (プレビュー) Fabric ワークスペース項目イベントは、Fabric ワークスペースに変更が加えられたときに発生する個別の Fabric イベントです。 これらの変更には、Fabric アイテムの作成、更新、または削除が含まれます。 Fabric イベント ストリームを使用すると、これらの Fabric ワークスペース イベントをキャプチャし、それらを変換し、さらに分析するために Fabric のさまざまな宛先にルーティングできます。

コードなしのエクスペリエンスを使用してイベントを処理する

ドラッグ アンド ドロップ エクスペリエンスは、コードを一切記述することなく、イベント データの処理、変換、ルーティングのロジックを作成する直感的かつ簡単な方法を提供します。 イベントストリーム内のエンドツーエンドのデータ フロー図を使用すると、データ フローと構成を包括的に理解できます。 イベント プロセッサ エディターはコードなしのエクスペリエンスであり、イベント データ処理ロジックをドラッグ アンド ドロップで設計できます。

変換 説明
Assert フィルター変換を使用して、入力のフィールドの値に基づいてイベントをフィルター処理します。 データ型 (数値またはテキスト) に応じて、変換では選択した条件に一致する値が保持されます。
フィールドの管理 フィールドの管理変換では、入力または別の変換から受信するフィールドに対して、追加、削除、データ型の変更、または名前の変更を行うことができます。
集計 [集計] 変換を使用すると、一定期間内に新しいイベントが発生するたびに、集計 ([合計]、[最小]、[最大]、または [平均]) を計算できます。 この操作では、これらの計算列の名前を変更したり、データ内の他のディメンションに基づいて集計をフィルター処理またはスライスしたりすることもできます。 同じ変換に 1 つ以上の集計を含めることができます。
グループ化 グループ化変換を使用して、特定の時間ウィンドウ内のすべてのイベントの集計を計算します。 1 つまたは複数のフィールドの値でグループ化することができます。 これは集計変換で列の名前を変更できることに似ていますが、より多くの集計オプションが用意されており、より複雑な時間枠のオプションが含まれています。 集計と同様に、変換ごとに複数の集計を追加できます。
Union (結合) UNION 変換は、2 つ以上のノードを接続し、共有フィールド (名前とデータ型が同じ) を持つイベントを 1 つのテーブルに追加するために使用します。 一致しないフィールドは削除され、出力に含まれません。
展開 配列の展開変換は、配列内の値ごとに新しい行を作成する場合に使用します。
Join 結合変換を使用して、2 つのストリーム間の一致条件に基づいて 2 つのストリームのデータを結合します。

イベントストリームの作成中に強化された機能を有効にした場合、変換操作がすべての宛先でサポートされます (派生ストリームは、カスタム エンドポイント、Fabric アクティベーターなど、一部の宛先の中間ブリッジとして機能します)。 それ以外の場合、変換操作を使用できるのは、レイクハウスと Eventhouse (インジェスト前のイベント処理) の宛先のみです。

イベントを転送先にルーティングする

Fabric イベント ストリーム機能では、サポートされている次の宛先へのデータの送信がサポートされています。

宛先 説明
カスタム エンドポイント (すなわち、標準機能のカスタム アプリ) この宛先を使用すると、リアルタイム イベントをカスタム エンドポイントに簡単にルーティングできます。 独自のアプリケーションをイベントストリームに接続し、リアルタイムでイベント データを使用できます。 この宛先は、Microsoft Fabric の外にある外部システムにリアルタイム データのエグレスを行いたい場合に便利です。
Eventhouse この宛先を使用すると、リアルタイムのイベント データを Eventhouse に取り込むことができます。このデータベースでは、強力な Kusto クエリ言語 (KQL) を使用してデータのクエリと分析を行うことができます。 Eventhouse のデータにより、イベント データのより深い分析情報を取得し、高度なレポートやダッシュボードを作成できます。 インジェスト モードは、直接インジェストとインジェスト前イベント処理という 2 つから選択できます。
レイクハウス この宛先を使用すると、レイクハウスに取り込む前にリアルタイム イベントを変換できます。 リアルタイム イベントは、Delta Lake 形式に変換してから、指定されたレイクハウス テーブルに保存します。 この宛先は、データ ウェアハウスのシナリオをサポートします。
派生ストリーム 派生ストリームは、フィルターやフィールドの管理などのストリーム操作をイベントストリームに追加した後に作成できる特殊な種類の変換先です。 派生ストリームは、ストリーム処理の後に変換された既定のストリームを表します。 派生ストリームを Fabric の複数の宛先にルーティングし、リアルタイム ハブで派生ストリームを表示できます。
Fabric アクティベーター (プレビュー) この宛先では、リアルタイム イベント データを直接 Fabric アクティベーターに接続できます。 アクティベーターは、データに接続し、条件を監視し、行動するために必要なすべての情報を含むインテリジェント エージェントの種類です。データが特定のしきい値に達したり、他のパターンに一致した場合、アクティベーターは自動的にユーザーへの警告や Power Automate ワークフローのキックオフなど、適切なアクションを実行します。

イベントストリーム内では複数の宛先をアタッチして、相互に干渉することなく、イベントストリームからデータを同時に受信できます。

Eventstream アイテムの概要を示すスクリーンショット。

Note

少なくとも 4 つの容量ユニット (SKU: F4) で Microsoft Fabric イベント ストリーム機能を使用することをお勧めします

Fabric イベント ストリーム上の Apache Kafka

Fabric イベント ストリーム機能によって、Eventstream 項目に Apache Kafka エンドポイントが提供され、ユーザーが Kafka プロトコルを介してストリーミング イベントに接続して使用できます。 Apache Kafka プロトコルを使用して特定の Kafka トピックのストリーミング イベントを送信または使用するアプリケーションが既にある場合は、同じアプリケーションを簡単に調整することで、イベントストリーム内のストリーミング イベントを送信または使用できます。イベントストリームで提供される Kafka エンドポイントを指すように接続設定を更新するだけです。

Fabric イベント ストリーム機能は、フル マネージドのクラウドネイティブ サービスである Azure Event Hubs を利用しています。 イベントストリームが作成されると、イベント ハブ名前空間が自動的にプロビジョニングされ、イベント ハブが既定のストリームに割り当てられます。プロビジョニング構成は必要ありません。 Azure Event Hubs サービスで Kafka との互換性がある機能の詳細については、「Apache Kafka 用の Azure Event Hubs」を参照してください。

イベントストリームにイベントを送信するために Kafka エンドポイントの詳細を取得する方法の詳細については、「カスタム エンドポイント ソースをイベントストリームに追加する」を参照してください。イベントストリームからのイベントの使用については、「イベント ストリームに宛先としてカスタムエンドポイントを追加する」を参照してください。

強化された機能

イベントストリームの作成中に強化された機能オプションを有効にすると、さらに多くの機能、ソース、宛先が使用できるようになります。 [強化された機能] および [標準機能] タブを使用して、強化された機能でサポートされる追加のソースと宛先について学習します。

強化された機能のその他の注目すべき機能を次に示します。

  • 編集モードとライブ ビュー。 ストリーム処理を視覚化および設計するための 2 つの異なるモードについて調べる。
  • 既定のストリームと派生ストリーム。 後でリアルタイム ハブで使用できるイベント プロセッサを使用して、設計した形式でストリームの連続フローを作成します。
  • コンテンツに基づくデータ ストリーム ルーティング。 イベント プロセッサで設計したデータ ストリーム コンテンツに基づいて、Fabric 内の任意の場所にデータ ストリームを変換してルーティングします。

関連するコンテンツ