OneLake ショートカットに対するクエリ アクセラレーション - 概要 (プレビュー)
OneLake ショートカットは Eventhouse からの参照で、内部 Fabric または外部ソースを指します。 この種のショートカットは、external_table() 関数を使用して、KQL クエリセットのクエリに後でアクセスします。 OneLake ショートカットに対して実行するクエリは、Eventhouses に直接取り込まれたデータに対するクエリよりもパフォーマンスが低下する可能性があります。ストレージからデータをフェッチするネットワーク呼び出しやインデックスの欠落などさまざまな要因があるためです。
クエリ アクセラレーションでは、外部デルタ テーブルに対してポリシーを指定してデータをキャッシュする日数を定義し、クエリのパフォーマンスを上げることができます。
Eventhouse では、OneLake ショートカット、Azure Data Lake Store Gen1、Amazon S3、Google Cloud Services、Azure Blob Storage の外部テーブル、および OneLake ショートカットでサポートされているすべての宛先のデルタ テーブルに対して、クエリ アクセラレーションがサポートされています。
重要
この機能はプレビュー段階にあります。
Note
コンプライアンス上の考慮事項のために特定のリージョンにデータを格納する必要がある場合は、Eventhouse の容量が外部テーブルまたはショートカット データと同じリージョンにあることを確認してください。
高速外部テーブルは、KQL データベースの通常のテーブルと同様に、Eventhouse のストレージ COGS と SSD ストレージ消費量に追加されます。 クエリ アクセラレーション ポリシーで [高] プロパティを定義することで、キャッシュするデータの量を制御できます。 インデックス作成およびインジェスト アクティビティも、コンピューティング リソースの使用に寄与します。
OneLake ショートカットに対するクエリ アクセラレーションをいつ使用すべきか
クエリ アクセラレーションは、データが OneLake にランディングした時点でキャッシュすることで、Eventhouse へのデータの取り込みと同等のパフォーマンスを提供します。 この機能を使用すると、OneLake でのデータ ランディング (既存データおよび新たに更新されたデータを含む) を高速化し、同様のパフォーマンスを期待できます。 これにより、インジェスト パイプラインを管理し、データの重複コピーを保持しながら、データの同期を維持する必要がなくなります。追加の作業は不要です。
次のシナリオは、OneLake ショートカットに対するクエリ アクセラレーションの使用に最適です。
- OneLake のデータをハイ パフォーマンスでクエリする: データをアップロードし、ストレージ内 (場合によっては別のクラウドまたはリージョン) で管理している既存のワークロードがあり、一部またはすべてのデータに対してハイ パフォーマンスのクエリを実行する必要がある場合。
- 履歴データとリアルタイム ストリームを組み合わせる: OneLake でのデータ ランディングを Eventhouse に入ってくるリアルタイム ストリームとクエリ速度を損なわずにシームレスに組み合わせる場合。
- 他の項目によって管理されるディメンション データを活用する: 多くの場合、高価値の少量のデータは、OneLake にミラーリングできる、SQL サーバー、Cosmos DB、Snowflake、その他のシステムでホストされます。 高速 OneLake ショートカットを使用すると、Eventhouse クエリでの結合とエンリッチメントでこのようなデータを簡単に使用できるようになります。 ディメンション データはアクティビティ データよりも非常に小さいことがほとんどであり、通常、その使用に伴う追加コストは最小限です。
高速外部デルタ テーブルの動作
高速 OneLake ショートカットは、外部テーブルと同様に動作し、制限事項や機能も同じです。 つまり、具体化されたビューや更新ポリシーなどの機能はサポートされていません。
アクセラレーションの動作を監視する
クエリ アクセラレーションの初期プロセスは、外部テーブルのサイズによって異なります。 高速テーブルの進行状況と設定を監視するには、KQL クエリセットの .show external table operations query_acceleration statistics コマンドを使用します。
制限事項
- 外部テーブルの列数は 900 を超えることはできません。
- パーティションを含む高速外部デルタ テーブルに対するクエリ パフォーマンスが、プレビュー期間中には最適にならない可能性があります。
- この機能では、静的で高度な機能を備えたデルタ テーブルが想定されています。たとえば、列マッピングが変更されない、パーティションが変更されないなどです。 高度な機能を変更するには、まずポリシーを無効にし、変更が行われた後でポリシーを再度有効にします。
- また、デルタ テーブルのスキーマ変更の後で、それぞれの
.alter外部デルタ テーブル スキーマも変更する必要がありますが、スキーマの変更が中断された場合に、アクセラレーションが最初から始まる可能性があります。 - インデックスベースの排除はパーティションではサポートされていません。
- 圧縮サイズが 6 GB を超える Parquet ファイルはキャッシュされません。
請求
高速データは、ネイティブの Eventhouse テーブルと同様に、OneLake Premium キャッシュ メーターで課金されます。 キャッシュする日数の構成により、高速化されるデータの量を制御できます。 インデックス作成アクティビティが CU 消費量にカウントされる場合もあります。 詳細については、「ストレージの課金」を参照してください。
クエリ アクセラレーションに関連する請求金額は、高速ショートカットが作成された Eventhouse の Fabric メトリック アプリに表示されます。