Microsoft Fabric リアルタイム ハブについて説明する

  • 15 分

リアルタイム ハブへのデータの取得

リアルタイム ハブは、ストリーミング データのフローを明確にして制御するためのゲートウェイとして機能します。 これは、以下を含む動的なカタログです。

リアルタイム インテリジェンス内のリアルタイム ハブの役割のスクリーンショット。

  • イベント ストリーム:閲覧が許可されている Fabric 内のすべてのアクティブなイベント ストリームにアクセスできます。
  • Microsoft ソース:Azure Event Hubs、Azure IoT Hub、および Azure SQL DB、Azure Cosmos DB、PostgreSQL DB などのさまざまな変更データ キャプチャ (CDC) オプションなど、自分が利用できるストリーミング ソースをすばやく見つけて構成します。
  • Fabric イベント:即時通知とデータ処理のためのイベント ドリブン機能を使用します。 Fabric ワークスペース アイテムから Azure Blob Storage へのイベントを監視することで、それ以降のプロセスやワークフローを開始できます。 このアクションには、データ パイプラインの開始やメール アラートの送信が含まれる場合があります。 さらに、イベント ストリームを通してこれらのイベントをさまざまな宛先にルーティングする柔軟性も手に入ります。 アラートを使用すると、[アラートの選択] ボタンのスクリーンショット。 [アラートの設定] ボタンを選択して、リアルタイム ハブからワークスペースの内部と外部の両方でやり取りを行うことができます。

この情報はすべて簡単に取り込める形式で表現されるため、Fabric ワークロードとのシームレスな統合が実現できます。

イベント ストリームのソースを指定する

Microsoft Fabric リアルタイム インテリジェンス エクスペリエンスのイベント ストリーム機能を使用すると、Fabric へのリアルタイム イベントのシームレスな統合が実現できます。 Fabric 内のインスタンスであるイベントストリームを作成し、イベント データのソースを追加し、オプションの変換をデータに適用し、それをさまざまな宛先にルーティングすることをすべてコーディングの必要なしで実行できます。 このノーコード アプローチにより、Fabric 内でイベント データを管理するプロセスが簡略化されます。

イベント ストリーム ソースのスクリーンショット。

イベント ストリーム内でのイベント処理

ドラッグ アンド ドロップ インターフェイスは、イベント データのワークフローを構築するための簡単でユーザー フレンドリな方法を提供します。 これには処理、変換、ルーティングが含まれ、すべてにおいてコーディングの必要がありません。 イベントストリームのデータ フロー図は、データの経路と構造の明確な視覚的表現を提供します。 さらに、イベント プロセッサ エディターのノーコード環境を使用すると、要素を所定の場所へドラッグ アンド ドロップするだけで、イベント データの処理ロジックを設計できます。

  • 変換の説明

拡張機能を有効にしてイベントストリームを作成すると、すべての宛先で変換操作がサポートされます。 拡張機能がない場合、変換を利用できるのは、インジェスト前のイベント処理を実行するレイクハウスと KQL データベースの宛先においてだけとなります。

  • フィルター:フィルター変換を使用すると、入力内のフィールドの値に基づいてイベントをフィルター処理できます。 データ型 (数値またはテキスト) に応じて、変換は null や is not null などの選択された条件に一致する値を保持します。
  • フィールドの管理:この変換を使用すると、データ型の追加、削除、変更を行ったり、入力や別の変換から入って来るフィールドの名前の変更を行うことができます。
  • 集計:集計変換を使用すると、一定期間内に新しいイベントが発生するたびに、集計 (合計、最小、最大、または平均) を計算できます。 この操作では、これらの計算列の名前を変更したり、データ内の他のディメンションに基づいて集計をフィルター処理したりスライスしたりすることもできます。 同じ変換に 1 つ以上の集計を含めることができます。
  • Group by: Group by 変換は、特定の時間枠内のすべてのイベントの集計を計算するために使用します。 1 つまたは複数のフィールドの値でグループ化することができます。 これは集計変換で列の名前を変更できることに似ていますが、より多くの集計オプションが用意されており、より複雑な時間枠のオプションが含まれています。 集計と同様に、変換ごとに複数の集計を追加できます。
  • 和集合:和集合変換を使用すると、2 つ以上のノードを接続し、(名前とデータ型が同じ) 共有フィールドを持つイベントを 1 つのテーブルに追加できます。 一致しないフィールドは削除され、出力に含まれません。
  • 展開:この配列変換を使用すると、配列内の値ごとに新しい行を作成できます。
  • 結合: これは、2 つのストリームのデータを、それらの間の一致条件に基づいて結合する変換です。

標準的な宛先の場所

拡張機能を選択しないと、宛先が制限されることがわかります。

宛先 説明
カスタム アプリ この機能により、リアルタイム イベント トラフィックを特注のアプリケーションにシームレスに送信することができます。 これにより、独自のアプリケーションとイベント ストリームとの統合が可能になり、イベント データをすぐに使用できるようになります。 この機能は、Microsoft Fabric 上でホストされていない独立したシステムにリアルタイム データを転送することを目的とする場合に有益です。
Lakehouse この宛先では、リアルタイム イベントをレイクハウスへ取り込む前に前処理できます。 これらのイベントは Delta Lake 形式に変換された後、特定のレイクハウス テーブル内に保存され、データ ウェアハウスのニーズに役立ちます。 リアルタイム データ処理にイベント プロセッサを活用するための詳細なガイダンスについては、'イベント プロセッサ エディターでイベント データを処理する' セクションを参照してください。
KQL データベース この宛先は、リアルタイム イベント データを KQL データベースに取り込む機能を提供し、データの調査と分析用の堅牢な Kusto 照会言語 (KQL) を導入することを可能にします。 KQL データベース内にデータを保存することで、イベント データの理解度を高め、包括的なレポートやダッシュボードを作成する可能性が開けます。 直接インジェストを行うか、インジェスト前にイベントの前処理を行うかという 2 つのデータ インジェストの手法のいずれかを柔軟に選択できます。
Reflex この宛先は、リアルタイム イベント データと Reflex との直接リンクに役立ちます。 Reflex は、データ接続を確立し、特定の条件を監視し、アクションを実行するために必要なすべての詳細を備えたインテリジェントなエンティティです。 Reflex は、事前に定義された特定の基準を満たすイベント データ、または特定のパターンの指定に基づいて、ユーザーへの通知や Power Automate ワークフローのトリガーなど、適切な対応を自律的に開始します。

拡張された宛先の場所

拡張機能を選択すると、標準の宛先に加えて "派生ストリーム" を使用できます。

宛先 説明
派生ストリーム 派生ストリームは、フィルターやフィールドの管理のようなストリーム操作を適用した後に作成される特別な宛先です。 これは、処理後に変更された既定のストリームを表し、Fabric 内のさまざまな宛先にルーティングしたり、リアルタイム ハブで監視したりすることができます。

互いに影響を与えたり衝突を発生させることなく、イベント ストリーム内の複数の宛先へのアタッチを同時に行えるようになりました。

同時イベント ストリームのスクリーンショット。