Delta Lake テーブル形式の相互運用性
Microsoft Fabric では、Delta Lake テーブル形式が分析の標準です。 Delta Lake は、ビッグ データと分析のワークロードに ACID (原子性、一貫性、分離性、持続性) トランザクションを導入するオープンソースのストレージ レイヤーです。
すべての Fabric エクスペリエンスが Delta Lake テーブルを生成して使用し、相互運用性と統一された製品エクスペリエンスを促進します。 Fabric Data Warehouse や Synapse Spark など、1 つのコンピューティング エンジンによって生成された Delta Lake テーブルは、Power BI などの他のエンジンで使用できます。 Fabric に取り込まれたデータは、既定では Delta テーブルとして格納されます。 OneLake のショートカット機能を使用すると、Delta Lake テーブルを含む外部データを簡単に統合できます。
Delta Lake の機能と Fabric のエクスペリエンス
相互運用性を実現するために、すべての Fabric のエクスペリエンスが Delta Lake の機能と Fabric の機能に合わせて調整されます。 Delta Lake テーブルにのみ書き込むことができるエクスペリエンスもあれば、Delta Lake テーブルから読み取ることができるエクスペリエンスもあります。
- 編集者: データ ウェアハウス、イベント ストリーム、およびエクスポートされた Power BI セマンティック モデルを OneLake に。
- 閲覧者: SQL 分析エンドポイント、および Power BI の Direct Lake セマンティック モデル。
- 編集者と閲覧者: Fabric Spark ランタイム、データフロー、データ パイプライン、Kusto 照会言語 (KQL) データベース。
次の表は、Delta Lake の主な機能と、各 Fabric 機能でのサポートを示しています。
| Fabric の機能 | 名前ベースの列マッピング | 削除ベクトル | V オーダーの書き込み | テーブルの最適化とメンテナンス | パーティションの書き込み | パーティションの読み取り | リキッド クラスタリング | TIMESTAMP_NTZ | Delta 閲覧者/作成者のバージョンと既定のテーブル機能 |
|---|---|---|---|---|---|---|---|---|---|
| Data Warehouse Delta Lake のエクスポート | いいえ | イエス | イエス | はい | いいえ | 有効 | いいえ | いいえ | 閲覧者: 3 作成者: 7 削除ベクトル |
| SQL 分析エンドポイント | はい | はい | N/A (適用なし) | N/A (適用なし) | N/A (適用なし) | はい | はい | いいえ | N/A (適用なし) |
| Fabric Spark ランタイム 1.3 | はい | イエス | イエス | イエス | イエス | イエス | イエス | はい | 閲覧者: 1 作成者: 2 |
| Fabric Spark ランタイム 1.2 | はい | イエス | イエス | イエス | イエス | はい | はい、読み取り専用です | はい | 閲覧者: 1 作成者: 2 |
| Fabric Spark ランタイム 1.1 | はい | いいえ | イエス | イエス | イエス | はい | はい、読み取り専用です | いいえ | 閲覧者: 1 作成者: 2 |
| データフロー | はい | イエス | はい | いいえ | イエス | はい | はい、読み取り専用です | いいえ | 閲覧者: 1 作成者: 2 |
| データ パイプライン | いいえ | 番号 | 有効 | いいえ | はい、上書きのみ | はい | はい、読み取り専用です | いいえ | 閲覧者: 1 作成者: 2 |
| Power BI の Direct Lake セマンティック モデル | はい | はい | N/A (適用なし) | N/A (適用なし) | N/A (適用なし) | はい | はい | いいえ | N/A (適用なし) |
| Power BI セマンティック モデルを OneLake にエクスポートする | はい | N/A (適用なし) | はい | いいえ | はい | N/A (適用なし) | いいえ | いいえ | 閲覧者: 2 作成者: 5 |
| KQL データベース | はい | はい | いいえ | いいえ* | イエス | はい | いいえ | いいえ | 閲覧者: 1 作成者: 1 |
| Eventstream | いいえ | いいえ | いいえ | 番号 | はい | N/A (適用なし) | いいえ | いいえ | 閲覧者: 1 作成者: 2 |
* KQL データベースは、保持 などの、特定のテーブル メンテナンス機能を提供します。 データは保持期間の終了時に OneLake から削除されます。 詳細については、「1 つの論理コピー」をご覧ください。
Note
- Fabric では、既定では名前ベースの列マッピングは書き込まれません。 既定の Fabric エクスペリエンスでは、サービス全体で互換性のあるテーブルが生成されます。 サードパーティーのサービスによって生成された Delta Lake には、互換性のないテーブル機能が含まれる場合があります。
- 一部の Fabric エクスペリエンスでは、テーブルの最適化とメンテナンスの機能 (bin 圧縮、V オーダー、参照されていない古いファイルのクリーンアップなど) が継承されていません。 Delta Lake テーブルを分析に最適な状態に保つには、これらのエクスペリエンスを使用して取り込まれたテーブル用としてテーブル メンテナンス機能を使用した Fabric のDelta テーブルの管理に関する記事で説明されている手法に従います。
現在の制限
現時点では、Fabric では次の Delta Lake 機能はサポートされていません。
- Delta Lake 3.x Uniform
- ID 列の書き込み (独自の Databricks 機能)
- Delta Live Tables (独自の Databricks 機能)
- チェックポイント ファイルで有効になっている RLE (実行長エンコード)
関連するコンテンツ
- Delta Lake とは
- Fabric Lakehouse と Synapse Spark の Delta Lake テーブルについて詳しく理解します。
- Power BI と Microsoft Fabric の Direct Lake について理解します。
- 発行された Delta Lake Logs を使用して、Warehouse からテーブルのクエリを実行する方法について詳しく理解します。