この記事では、Microsoft Fabric の Data Factory についてよく寄せられる質問とその回答を紹介します。
Fabric の Data Factory
Fabric の Data Factory と Data Engineering タブの違いは何ですか。
Data Factory は、クラウド規模のデータ移動およびデータ変換サービスを使用して複雑なデータ統合と ETL のシナリオを解決するのに役立ちます。Data Engineering は、レイク ハウスの作成、Apache Spark を使用したデータの変換と準備に役立ちます。 Fabric に関する各用語とエクスペリエンスの違いは、「Microsoft Fabric の用語」で確認できます。
パイプラインで使用される Fabric の容量を追跡および監視するにはどうすればよいですか。
Microsoft Fabric 容量管理者は、Microsoft Fabric Capacity Metrics アプリ (メトリック アプリとも呼ばれる) を使用して、容量リソースを可視化できます。 このアプリを使用すると、管理者は、データ パイプライン、データフロー、および Fabric の容量が有効なワークスペース内のその他の項目によって使用されている CPU 使用率、処理時間、メモリの量を確認できるようになります。 過負荷の原因、ピーク需要時間、リソース消費量などを可視化することで、最も要求の厳しい項目や最も人気のある項目を簡単に特定できます。
Fabric の Data Factory 内でロールを割り当てるために推奨される方法は何ですか?
ワークスペース間で異なるワークロードを分離し、メンバーや視聴者などのロールを使用することで、レポートや AI トレーニングに使用されるワークスペースのデータを準備する Data Engineering 用のワークスペースを用意できます。 視聴者ロールを使用すると、Data Engineering ワークスペースのデータを使用できます。
Fabric Data Factory で既存のプライベート エンドポイント (PE) を有効なリソースに接続できますか。
現在、VNet ゲートウェイは、仮想ネットワークにシームレスに統合するための単射方法を提供しており、プライベート エンドポイントを使用してデータ ストアへのセキュリティで保護された接続を確立する堅牢な手段となります。 現時点では、仮想ネットワーク ゲートウェイは Fabric データフローにしか対応していないことにご注意ください。 ただし、今後の取り組みでは、Fabric パイプラインに対応するよう機能を拡張していきます。
Fabric Data Factory でオンプレミスのデータ ソースに接続するにはどうすればよいですか。
オンプレミス データ ゲートウェイを使用すると、お客様は Microsoft Fabric の Data Factory でデータフローとデータ パイプライン (プレビュー) を使用してオンプレミスのデータ ソースに接続できます。 詳細については、「Data Factory でオンプレミスのデータ ソースにアクセスする方法」を参照してください。
更新プログラムと価格のリリース
Fabric で利用可能な月次更新プログラムはどこで入手できますか。
Fabric の月次更新プログラムは、「Microsoft Fabric ブログ」で入手できます。
Fabric Data Factory の価格/課金モデルとは
Microsoft Fabric での Data Factory の価格では、データ パイプラインと Dataflow Gen2 のコストの計算方法に関する包括的なガイドが用意されています。 これには、価格モデルをよりよく理解するのに役立ついくつかの価格例シナリオが含まれています。
Microsoft Fabric の Data Factory で予定されている今後の機能の詳細については、どこで確認できますか?
Microsoft Fabric の Data Factory の最新情報と計画内容では、今後数か月間にリリースされる機能とその推定リリースのタイムラインに関する分析情報を提供します。
データ パイプライン
Fabric Data パイプラインにデータを取り込む速度はどのくらいですか。
Fabric Data Factory を使用すると、お使いの環境のデータ移動スループットを最大化するパイプラインを開発できます。 これらのパイプラインは、次のリソースを完全に利用します。
- ソースとコピー先のデータ ストア間のネットワーク帯域幅
- ソースまたはコピー先データストアの 1 秒あたりの入出力操作 (IOPS) と帯域幅 この完全な利用は、次のリソースで使用可能な最小スループットを測定することで、全体のスループットを推定できることを意味します。
- ソース データ ストア
- コピー先データ ストア
- ソースとコピー先データ ストアの間のネットワーク帯域幅 その一方で、実現可能な限り最高のスループットを高めるためのイノベーションにも継続的に取り組んでいます。 現在、このサービスでは、1-TB の TPC-DI データセット (Parquet ファイル) を 5 分以内に、、1B 行を 1 分以内に、Fabric Lakehouse テーブルと Data Warehouse の両方に移動できます。このパフォーマンスは、上記のテスト データセットを実行することによってのみ参照されることにご注意ください。 実際のスループットは、前に示した要因によって変わります。 さらに、複数のコピー アクティビティを並列で実行することで、いつでもスループットを乗算できます。 たとえば、ForEach ループを使用する場合などがあります。
CDC 機能は Fabric の Data Factory 内で使用できますか?
現在、Data Factory In Fabric 内での CDC 機能の積極的な開発に焦点を置いています。 この今後の機能により、一括/バッチ コピー パターン、増分/連続コピー パターン (CDC) やリアルタイム コピー パターンなど、さまざまなコピー パターンを組み合わせて複数のデータ ソース間でデータを 1 つの 5 x 5 のエクスペリエンスに移動できます。
データフロー Gen2
Fabric Dataflow Gen2 は、Azure Data Factory に埋め込まれている Power Query と似ていますか。
ADF 内の Power Query アクティビティには、Dataflow Gen2 との類似点がありますが、特定のデータ変換先への書き込みなどのアクションを可能にする追加の機能があります。Dataflow Gen1 (Power BI データフロー または Power Apps データフロー) との方が公平に比較できます。 詳細については、「Dataflow Gen1 と Dataflow Gen2 の違い」を参照してください。
Fabric DataFlow Gen2 内で、DataflowsStaginglakehouse / DataflowsStagingwarehouse などの機能が発生することがあります。 これらの特徴は何ですか。
特定のユーザー エクスペリエンスでは、対話を意図していないシステム アーティファクトが発生する場合があります。 これらのアーティファクトは、将来的にデータの取得エクスペリエンスから最終的に削除されるため、無視することをお勧めします。
更新が失敗し、"ステージング アーティファクトにアクセスするためのアクセス許可が不十分なため、データフローの更新に失敗しました" というエラー メッセージが表示されました。 どうすればよいですか。
このエラー メッセージは、ワークスペースで最初のデータフローを作成したユーザーが 90 日を超えて Fabric にログインしていないか、組織を離れた場合に発生します。 これを解決するには、エラー メッセージに記載されているユーザーが Fabric にログインする必要があります。 ユーザーが組織を辞した場合は、サポート チケットを開いてください。
ADF/Synapse パイプラインのサポートおよび移行パス
Azure Data Factory (ADF) パイプラインと Synapse パイプラインは今後どうなりますか。
Azure Data Factory (ADF) パイプラインと Azure Synapse パイプラインにより、サービスとしてのプラットフォーム (PaaS) の個別のロードマップが維持されます。 これら 2 つのソリューションは、サービスとしてのソフトウェア (SaaS) として提供される Fabric Data Factory と共存し続けています。 ADF パイプラインと Synapse パイプラインは引き続き完全にサポートされており、減価償却の予定はありません。 今後は、Fabric Data Factory を使用してプロジェクトを開始することをお勧めします。 さらに、ADF パイプラインと Synapse パイプラインの Fabric Data Factory への移行を促進し、新しい Fabric 機能を利用できるようにするための戦略も準備できています。 これの詳細については、こちらを参照してください。
Fabric Data Factory における機能のギャップを考えると、ADF/Synapse パイプラインではなく Fabric Data Factory を選択する理由は何ですか。
機能のギャップを埋め、ADF/Azure Synapse パイプラインで見つかった堅牢なデータ パイプライン オーケストレーションとワークフロー機能を Fabric Data Factory に組み込むことを目指しているため、ADF/Synapse パイプラインに存在する特定の機能が皆様のニーズにとって不可欠であろうことはを認識しています。 これらの機能が必要な場合は、ADF/Synapse パイプラインを引き続き利用することをお勧めしますが、まず Fabric での新しいデータ統合の可能性を検討することをお勧めします。 成功に不可欠な機能に関するフィードバックは非常に重要です。 これを促進するために、新しい機能の導入に積極的に取り組んでいます。これにより、Azure から Fabric ワークスペースへの既存のデータ ファクトリの移行も可能になります。
Fabric Data Factory の新機能は ADF/Synapse でも使用できますか。
Fabric パイプラインから ADF/Synapse パイプラインに新機能をバックポートすることはありません。 Fabric Data Factory と ADF/Synapse の 2 つのロードマップは個別に維持しています。 寄せられたフィードバックに応じてバックポートの要求を評価します。
Fabric データ パイプラインは Azure Synapse パイプラインと同じですか。
Fabric パイプラインの主な機能は Azure Synapse パイプラインに似ていますが、Fabric パイプラインを使用することで、ユーザーは Fabric プラットフォームのすべての Data Analytics 機能を適用できます。 Fabric パイプラインと Azure Synapse パイプラインの間の注目すべき相違点と機能マッピングについては、Fabric と Azure の Data Factory の相違点に関する記事を参照してください。
既存のパイプラインを Azure Data Factory (または) Azure Synapse ワークスペースから Fabric Data Factory に移行するにはどうすればよいですか。
Azure Data Factory (ADF) から Microsoft Fabric への移行を容易にするために、さまざまな重要な機能を提供し、メカニズムをサポートします。 まず、Fabric 内の ADF で使用されるほとんどのアクティビティを包括的にサポートし、Teams や Outlook の機能などの通知用に調整された新しいアクティビティを追加します。 お客様は、Fabric 内の Data Factory で使用可能なアクティビティの詳細な一覧にアクセスできます。 さらに、Azure Data Factory に Fabric Lakehouse/Warehouse コネクタを導入し、ADF のお客様向けの Fabric の OneLake 環境へのシームレスなデータ統合を可能にしました。 また、既存の マッピング データ フロー変換を新しい Dataflow Gen2 変換にマップするのに役立つ ADF のお客様向けのガイドも提供しています。 今後、ADF リソースを Fabric にマウントする機能をロードマップに組み込む予定であり、お客様は Fabric を調査し、包括的なアップグレード戦略を計画しながら、Azure 上にある既存の ADF パイプラインの機能を保持できるようになります。 ADF から Fabric へのデータ パイプラインの移行をサポートする最も効果的な方法を決定するために、お客様やコミュニティと緊密に協力しています。 その一環として、データ パイプラインのマウントとアップグレードの過程を通して、現行のデータ パイプラインを Fabric でテストできるようにするアップグレード エクスペリエンスを提供します。