パイプラインについて

• 6 分

Microsoft Fabric のパイプラインには、データの移動と処理のタスクを実行する一連の "アクティビティ" がカプセル化されています。 パイプラインを使うと、データの転送と変換のアクティビティを定義し、分岐、ループ、その他の一般的な処理ロジックを管理する制御フロー アクティビティを通してこれらのアクティビティを調整できます。 Fabric ユーザー インターフェイスのグラフィカル パイプライン "キャンバス" を使用すると、最小限のコーディングまたはコーディングなしで複雑なパイプラインを構築できます。

パイプラインの主要な概念

Microsoft Fabric でパイプラインを構築する前に、いくつかの主要な概念を理解しておく必要があります。

Activities

アクティビティは、パイプライン内の実行可能なタスクです。 アクティビティを順番に接続することで、それらのフローを定義できます。 特定のアクティビティの結果 (成功、失敗、または完了) を使って、シーケンス内の次のアクティビティにフローを送ることができます。

パイプライン内のアクティビティには、大きく 2 つのカテゴリがあります。

• データ変換アクティビティ - データ転送操作をカプセル化するアクティビティ。ソースからデータを抽出して変換先に読み込む単純なデータのコピー アクティビティや、転送時にデータに変換を適用するデータフロー (Gen2) をカプセル化する、より複雑なデータ フロー アクティビティがあります。 その他のデータ変換アクティビティには、Spark ノートブックを実行する Notebook アクティビティ、SQL コードを実行するストアド プロシージャ アクティビティ、既存のデータを削除するデータの削除アクティビティなどがあります。 OneLake では、宛先をレイクハウス、ウェアハウス、SQL データベース、またはその他のオプションに構成できます。

• 制御フロー アクティビティ - ループの実装、条件付き分岐、変数とパラメーター値の管理に使用できるアクティビティ。 さまざまな制御フロー アクティビティを使用して複雑なパイプライン ロジックを実装し、データ インジェストと変換フローを調整できます。

パラメーター

パイプラインはパラメーター化できるため、パイプラインを実行するたびに使用する特定の値を指定できます。 たとえば、パイプラインを使用して、取り込まれたデータをフォルダーに保存できますが、パイプラインを実行するたびにフォルダー名を柔軟に指定できます。

パラメーターを使用すると、パイプラインの再利用性が向上し、柔軟なデータ インジェストと変換プロセスを作成できます。

パイプライン実行

パイプラインが実行されるたびに、"データ パイプライン実行" が開始されます。 実行は、Fabric ユーザー インターフェイスでオンデマンドで開始することも、特定の頻度で開始するようにスケジュールすることもできます。 一意の実行 ID を使用して、実行の詳細を確認して正常に完了したことを確かめ、各実行に使用された特定の設定を調査します。