Azure Managed Lustre とは

Azure Managed Lustre サービスを使用すると、クラウドベースのハイ パフォーマンス コンピューティング ジョブで使用する Azure ベースの Lustre ファイル システムをすばやく作成できます。

Lustre は、高パフォーマンスのスループットを提供しながら、大規模なストレージ サイズにスケーリングできるオープンソースの並列ファイル システムです。 Lustre は、世界最速のスーパーコンピューターや、さまざまな種類の業界向けのデータ中心のワークフローで使用されています。 詳細については、「https://www.lustre.org」を参照してください。

Azure Managed Lustre を使用すると、独自の Lustre ファイル システムをプロビジョニング、構成、管理する作業が節約されます。 Azure portalでCreate コマンドを使用すると、必要なサイズの Lustre ファイル システムをすばやくデプロイし、クライアントを接続して、システムを使用する準備を整えることができます。

Microsoft Azure Blob Storage は Azure Managed Lustre と統合されています。これにより、ファイル システムで使用するために BLOB コンテナーからインポートするファイルを指定できます。 ハイ パフォーマンス コンピューティング ジョブが完了したら、変更されたデータをAzure Blob Storageにエクスポートし、Azure Managed Lustre システムを削除できます。 詳細については、この記事で後述Azure Blob Storage統合に関するページを参照してください。

Azure Kubernetes Service (AKS) コンテナーで Azure Managed Lustre ファイル システムを使用することもできます。 詳細については、「 Kubernetes で Azure Managed Lustre を使用する」を参照してください。

Azure Managed Lustre のデータ セキュリティ

Azure に格納されているすべてのデータは、既定で Azure マネージド キーを使用して保存時に暗号化されます。 Azure Managed Lustre クラスターに格納されているデータの暗号化に使用されるキーを管理する場合は、「 Azure ディスク ストレージのサーバー側暗号化」の手順に従います。

また、Azure Managed Lustre ファイル システム内のすべての情報は、Lustre ディスクのカスタマー マネージド キーを追加した場合でも、データを保持するマネージド ディスク上の VM ホスト暗号化によって保護されます。 カスタマー マネージド キーを追加すると、高いセキュリティ ニーズを持つお客様に対して追加のレベルのセキュリティが提供されます。 詳細については、「 Azure ディスク ストレージのサーバー側暗号化」を参照してください。

Azure Managed Lustre でのデータの回復性

Azure マネージド Lustre ファイル システムでは、オブジェクト ストレージ ターゲット (OST) データ ディスクとして Azure マネージド ディスクが使用されます。

"永続" ファイル システムの種類として作成されるすべての Azure Managed Lustre ファイル システムでは、ローカル冗長ストレージ (LRS) として構成された Azure Premium SSD (ソリッド ステート ドライブ) ディスクが使用されます。 LRS ディスクの内容は、ドライブとサーバー ラックの障害から保護するために、ローカル データセンター内で 3 回レプリケートされます。

Azure Managed Lustre ファイル システム自体は、これらのディスクにデータを格納するために使用するオブジェクト ストレージ プロセスを通じて、データの回復性にも寄与します。

リージョンまたはグローバルのデータ冗長性が必要な場合は、ファイル システムをAzure Blob Storageと統合できます。 統合されたら、エクスポート ジョブを開始して、長期ストレージ用に異なる冗長性ポリシーを使用してAzure Blob Storage コンテナーにファイルをエクスポートできます。 ストレージ アカウントAzure Blob Storage冗長性を構成します。 ストレージ アカウントを作成するときに、ゾーン データ冗長 (ZRS) またはグローバル データ冗長 (GRS) を選択できます。 Azure Managed Lustre ファイルのデータ冗長オプションの詳細については、「 サポートされているストレージ アカウントの種類」を参照してください。

Azure Blob Storage統合

Microsoft Azure Blob Storage は Azure Managed Lustre と統合されています。これにより、ファイル システムで使用するために BLOB コンテナーからインポートするファイルを指定できます。 Azure Blob Storage統合は、Lustre 階層ストレージ管理 (HSM) のアプリケーションです。 ジョブごとにデータ セット全体をインポートする必要はありません。 代わりに、ジョブごとに異なるファイル システムを作成し、使用の間に低コストの Azure BLOB コンテナーにデータを格納できます。 ハイ パフォーマンス コンピューティング ジョブが完了したら、変更されたデータをAzure Blob Storageにエクスポートし、Azure Managed Lustre システムを削除できます。

Azure Managed Lustre は、Azure Blob Storageとシームレスに連携するようにカスタマイズされています。 既存の BLOB コンテナーを指定して、Azure Managed Lustre ファイル システムから既存のデータにアクセスできるようにしたり、データを設定したり、出力の格納に使用する空のコンテナーを指定したりできます。 セットアップとメンテナンスが行われます。 使用する BLOB コンテナーを指定するだけです。

Lustre ファイル システムを作成するときにAzure Blob Storageを統合する場合は、Lustre HSM 機能を使用できます。 Lustre HSM の利点が不要な場合は、クライアント コマンドを直接使用して、Azure Managed Lustre ファイル システムのデータをインポートおよびエクスポートできます。

Kubernetes で Azure Managed Lustre を使用する

Kubernetes コンテナーで Azure Managed Lustre ストレージ システムを使用する場合は、Kubernetes 用の Azure Lustre コンテナー サポート インターフェイス (CSI) ドライバーを使用できます。これは、Azure Kubernetes Service (AKS) と互換性があります。 その他の種類の Kubernetes インストールは現在サポートされていません。

Kubernetes を使用すると、Azure Managed Lustre ワークロードの仮想クライアント エンドポイントの構成とデプロイを簡略化し、次のようなセットアップ タスクを自動化できます。

• Azure Kubernetes Service (AKS) によってポッドを実行するために使用される Azure Virtual Machine Scale Setsの作成。
• VM インスタンスに正しい Lustre クライアント ソフトウェアを読み込んでいます。
• Azure Managed Lustre マウント ポイントを指定し、その情報をクライアント ポッドに伝達します。

Kubernetes 用 Azure Lustre CSI ドライバーを使用すると、クライアント ソフトウェアのインストールとドライブのマウントを自動化できます。 ドライバーは、既定で 2 つのレプリカを含むデプロイとして CSI コントローラー プラグインを提供し、デーモンセットとして CSI ノード プラグインを提供します。 レプリカの数は変更できます。

使用するドライバーのバージョンを確認するには、「 互換性のある Kubernetes バージョン」を参照してください。

次の手順

• BLOB ストレージ統合の詳細を確認する
• Kubernetes で Azure Managed Lustre を使用する方法の詳細を確認する