HPC 能源環境的 儲存體
大規模的 HPC 工作負載對於數據儲存和存取的需求超過傳統雲端文件系統的功能。
以下是您需要考慮和識別應用程式需求的因素，以決定要使用的記憶體解決方案
- 延遲
- IOPS、
- 輸送量
- 檔案大小和計數
- 工作執行時間
- 相關成本
- 記憶體位置的親和性 – 內部部署與 Azure
如需進一步了解影響 Azure 中所選 HPC 記憶體的因素，請參閱<瞭解影響 Azure 中 HPC 記憶體選取的因素>。
特定 HPC 記憶體系統選擇的判定樹。
HPC 設計考慮
石油和天然氣公司必須能夠有效管理及儲存大量地震數據、井數據、地圖、租賃等。 為了使用此數據，他們需要高效能基礎結構，其可處理並提供即時分析，以協助優化生產、降低環境風險，以及增強作業安全性。
數據儲存 和存取需求會根據工作負載規模而有所不同。 Azure 支援 數種方法來管理 HPC 應用程式的速度和容量。
能源產業中的大規模 Batch 和 HPC 工作負載對於數據儲存和存取的需求超過傳統雲端文件系統的功能。 高效能運算的高效能 I/O 需求和大規模延展性需求 （HPC） 為數據儲存和存取帶來了獨特的挑戰。
HPC 可用來解決複雜問題，例如地震和水庫模擬和模型化，這些問題並非實用或符合成本效益，可用來處理傳統運算技術。 其可透過平行處理和大規模延展性的組合來執行大量且複雜的運算工作，以快速、有效率且可靠地執行。
此外，在 Azure HPC 叢集中，計算節點是可以視需要啟動的虛擬機，以執行叢集已指派的任何作業。 這些節點會將計算工作分散到叢集，以達到解決 HPC 套用至複雜問題所需的高效能平行處理。 計算節點在執行作業時，必須在共用工作記憶體上執行讀取/寫入作業。 節點存取此記憶體的方式取決於這兩種案例之間的持續性：
- 一組數據到許多計算節點 - 在此案例中，網路上有單一數據源可供所有計算節點存取工作數據。 雖然結構簡單，但任何 I/O 作業都受限於儲存位置的 I/O 容量。
- 許多數據集到許多計算節點 - 在此案例中，網路上有單一數據源可供所有計算節點存取工作數據。 雖然結構簡單，但任何 I/O 作業都受限於儲存位置的 I/O 容量。
HPC Design 建議
選擇最適合您唯一 I/O 和容量需求的解決方案。
網路檔案系統 (NFS)
NFS 通常用於提供共用儲存位置的存取權。 使用 NFS 時，伺服器 VM 會共用其本機文件系統，在此情況下，Azure 會儲存在裝載於 Azure 儲存體 的一或多個虛擬硬碟 （VHD）。 客戶端接著可以掛接伺服器的共享檔案，並直接存取共用位置。
網路檔案系統 （NFS） 通常用於載入於所有節點的主目錄和項目空間。 它通常也可以為共享數據的研究群組提供空間。 一般而言，輸送量工作負載可水平調整，個別工作之間的相依性很少。 作業排程器會跨節點分出工作，並協調活動。 NFS 是透過 TCP/IP 網路存取之節點的典型共享記憶體。
NFS 的優點是容易設定和維護，而且在Linux和Windows作業系統上都受到支援。 多個 NFS 伺服器可用來將記憶體分散到網路，但個別檔案只能透過單一伺服器存取。
針對低規模工作負載，請考慮在前端節點上執行 NFS，視您的需求而定，使用具有大型暫時磁碟的 儲存體 Optimized VM，或搭配 Azure 進階儲存體 的 D 系列 VM。 此解決方案適用於具有 500 個核心或更少核心的工作負載。
在 HPC 案例中，文件伺服器通常可作為瓶頸，以節流整體效能。 嘗試從單一 NFS 伺服器存取未快取的數據，速率高於每個 VM 記錄的最大 IOPS 和輸送量會導致節流。
在數十個用戶端嘗試處理儲存在單一 NFS 伺服器上的資料的情況下，可以輕鬆地達到這些限制，導致整個應用程式的效能受到影響。 更接近 HPC 應用程式使用的純一對多案例，您越早就針對這些限制執行。
Azure 上的平行文件系統
平行檔案系統將區塊層級儲存體分散到多個網路儲存體節點。 檔案資料會散佈在這些節點之間，這表示檔案資料散佈在多個儲存體裝置之間。 這會跨多個可透過通用命名空間存取的多個記憶體節點，集區任何個別的記憶體 I/O 要求。
利用多個儲存體裝置和資料的多個路徑來提供高度的平行處理原則，以減少一次只存取單一節點所加諸的瓶頸。 不過，如果直接在 API 或 POSIX I/O 介面層級運作，平行 I/O 可能很難協調和優化。 藉由引進元數據存取和協調層，平行文件系統可為應用程式開發人員提供應用層與 I/O 層之間的高階介面。
能源 MPI 工作負載具有獨特的需求，需要節點之間的低延遲通訊。 節點是透過高速互連連線，無法與其他工作負載共用。 MPI 應用程式會利用虛擬化環境中使用傳遞模式的整個高效能互連。 MPI 節點 儲存體 通常是平行文件系統，例如 Lustre 也透過高速互連存取。 Lustre/BeeGFS 通常用於處理主要地震處理（但也水庫模擬）的大型輸送量需求。
Lustre 這類平行文件系統用於需要存取大型檔案的 HPC 能源工作負載、同時從多個計算節點存取，以及大量數據。 平行檔案系統的實作可讓您輕鬆地調整功能與效能。 這類文件系統會利用具有大型頻寬和降低CPU使用量的 RDMA 傳輸。 平行文件系統通常用來作為臨時空間，並用於需要優化 I/O 的工作。 範例包括工作負載設定、前置處理、執行和後置處理。
使用協調的平行檔案服務，例如 Azure Managed Lustre，適用於 50,000 個以上的核心，讀取/寫入速率高達 500 GB/秒，以及 2.5 PB 記憶體。
如需 Azure 上平行虛擬文件系統的詳細資訊，請參閱 Microsoft Azure 上的平行虛擬文件系統 - 第 1 部分：概觀 - Microsoft 技術社群。
- Azure NetApp Files 和本機磁碟通常用來處理更多延遲/IOPS 敏感性工作負載，例如地震解譯、模型準備和視覺效果。 請考慮針對最多 4,000 個核心的工作負載使用 ，輸送量高達 6.5 GiB/秒，而受益於我們要求的多重通訊協定 （NFS/SMB） 存取相同數據集的工作負載。
- Azure 受控 Lustre 可為 HPC 工作負載提供更快且更高的容量記憶體。 此解決方案適用於中型到非常大的工作負載，且可支援 50,000 個以上的核心，輸送量高達 500 GB/秒，且記憶體容量高達 2.5 PiB。
- 標準或 進階版 Blob 是符合成本效益的雲端供應專案。 此服務會在必要時提供 Exabyte 規模、高輸送量、低延遲存取、熟悉的文件系統和多重通訊協定存取 （REST、HDFS、NFS）。 您可以在 Blob 服務端點使用 NFS v3.0，以達到高輸送量和讀取繁重的工作負載。 您可以移至較冷層，透過上次更新/上次存取時間執行生命週期管理、使用可自定義原則的智慧階層處理，藉此將成本優化。
- 石油和天然氣能源工作負載也可能需要從內部部署到雲端的大型數據大小和磁碟區傳輸機制，反之亦然，可以透過
- 離線 - 裝置型移轉 （DataBox）
- 在線 - 透過網路 （ExpressRoute） 型移轉。
下一步
下列文章清單會引導您在整個雲端採用旅程的特定時間點找到，以協助您在能源 HPC 環境的雲端採用案例中取得成功。