Azure Data Lake Storage 的重要考量
Azure 記憶體提供您資料的各種記憶體選項。 本文提供可協助您選擇適當存取層的考慮,以便平衡成本和效能。 它也描述記憶體的生命週期管理,包括功能和最佳做法,以協助您有效地使用存取層。
生命週期管理
Azure 記憶體提供各種存取層,可讓您用來儲存 Blob 物件數據。 選擇最適合您工作負載的階層,以將成本優化。
使用 經常性存取層 來儲存經常存取的數據。
使用 冷層 來儲存不常存取的資料。 此層會儲存至少 30 天的數據。
使用 冷層 來儲存不常存取或修改的數據。 此層會儲存至少 90 天的數據。 相較於非經常性存取層,極非經常性存取層的儲存體成本較低但存取成本較高。
使用 封存層 來儲存很少存取的數據。 此層會儲存至少 180 天的數據。 此數據的存取可能會有彈性的延遲需求,這表示擷取數據可能需要數小時的時間。
重要
在線存取層(經常性存取、冷存取和冷凍存取)沒有在可靠性、安全性、卓越營運或效能效率上的取捨。 因此,您應該根據每個 Blob 的成本來做出決定。 請考慮您的工作負載存取數據大小、操作互動,以及刪除 Blob 之前的時間。 根據這些因素為每個 Blob 選擇適當的層級。 如需詳細資訊,請參閱規劃和管理 Azure Blob 儲存體的成本。
當您使用存取層時,請考慮下列因素:
只在帳戶層級設定熱存取層和冷存取層。 帳戶等級不支援歸檔存取層。
在上傳過程中或之後,於 Blob 層級設定熱存取層、冷存取層和封存層。
在冷存取層和冷凍層中的資料可用性略低,但這些層提供的功能與熱存取層相似,例如高持久性、擷取延遲和通量。 對於分層中屬於冷資料或冰資料的數據,相較於熱資料層,較低的可用性和較高的存取成本是可以接受的權衡,因為這樣可以降低儲存成本。
封存記憶體會將數據離線儲存,並提供最低的儲存成本。 但它也會產生最高的數據解凍和存取成本。
如需詳細資訊,請參閱區塊資料的存取層。
重要
針對雲端規模分析,請使用自定義微服務來實作 生命週期管理。 請仔細考慮將使用者可發現的資料移至冷存儲的影響。 將資料湖的區段移至冷存取層,僅適用於瞭解良好的工作負載。
Data Lake 連線能力
每個數據湖都應該使用您整合到數據登陸區域的虛擬網路中的私人端點。 若要跨登陸區域提供存取權,請透過虛擬網路對等互連來連接您的數據登陸區域。 從成本和訪問控制的觀點來看,此連線提供最佳解決方案。
如需詳細資訊,請參閱 私人端點 和 數據管理登陸區域至數據登陸區域。
重要
數據登陸區域可以透過虛擬網路對等互連存取不同數據登陸區域中的數據。 私人端點會建立與每個 Data Lake 帳戶相關聯的連線。 建議您關閉所有公用對湖泊的存取,並使用私人端點。 您的平台作業小組應該控制數據登陸區域之間的網路連線。
容器的虛刪除
容器軟刪除功能有助於保護您的資料免於意外或惡意刪除。 如果您為儲存帳戶啟用容器的軟刪除功能,儲存服務會保留已刪除的容器及其內容在指定的時間段內。 在數據保留期間,您可以還原先前刪除的容器。 此操作還會恢復刪除時位於該容器中的 Blob。
啟用下列資料保護功能,以增強端對端 Blob 資料保護:
使用容器軟刪除功能來恢復已刪除的容器。 如需詳細資訊,請參閱 啟用和管理容器的軟刪除。
使用 Blob 軟刪除來還原已刪除的 blob 或版本。 如需詳細資訊,請參閱 啟用和管理 Blob 的軟刪除。
警告
刪除記憶體帳戶之後,就無法復原刪除。 容器虛刪除不會防止儲存體帳戶被刪除,只會防止帳戶內的容器被刪除。 若要防止刪除儲存體帳戶,請在儲存體帳戶資源上設定鎖定。 如需詳細資訊,請參閱 鎖定資源以防止非預期的變更。
監視
在數據登錄區中,將所有監視傳送到您用於分析的 Azure 登錄區管理訂用帳戶。
如需詳細資訊,請參閱 監視 Azure 資源,使用 Azure 監視器 和 監視 Blob 儲存體。
日誌記錄僅針對服務端點的請求生成。 系統會記錄下列類型的已驗證要求:
- 成功的要求
- 失敗的請求,包括超時、節流、網路問題、授權問題和其他錯誤
- 使用共用存取簽章 (SAS) 或 OAuth 的要求,包括失敗和成功的要求
- 對分析數據的要求,例如容器中的
$logs
傳統記錄數據,以及數據表中的$metric
類別計量數據
不會記錄記憶體服務本身提出的要求,例如記錄建立或刪除。 記錄下列類型的匿名要求:
- 成功的要求
- 伺服器錯誤
- 用戶端與伺服器的逾時錯誤
- 錯誤碼為 304 的 HTTP GET 要求失敗 (
Not Modified
)
不會記錄其他失敗的匿名要求。
重要
設定預設監視原則以稽核記憶體,並將記錄傳送至您的企業級管理訂用帳戶。
Data Lake 區域安全性
建議您針對 Data Lake 區域使用下列安全性模式:
原始使用量 只允許使用安全性主體名稱 (SPN) 存取數據。 建議您使用受控識別。
擴充的使用 只允許使用 SPN 存取數據。 建議您使用受控識別。
管理使用 允許透過 SPN 和使用者主體名稱 (UPN) 存取數據。
如需詳細資訊,請參閱 Data Lake Storage中的