資料提取
本文可協助您瞭解 FinOps Framework 中的數據擷取功能,以及如何在 Microsoft Cloud 中實作。
定義
數據擷取是指從各種來源收集、轉換及組織數據到單一容易存取的存放庫的程式。
從雲端提供者、廠商和內部部署系統收集成本、使用率、效能和其他商務資料。 收集資料可能包括:
- 內部 IT 資料。 例如,從設定管理資料庫 (CMDB) 或 IT 資產管理 (ITAM) 系統。
- 商務特定資料,例如,將雲端成本對應至商業價值或量化商業價值的組織階層和計量。 例如,您的組織和部門任務聲明所定義的營收。
了解數據如何報告及規劃數據標準化需求,以支持報告來自多個來源的類似數據。
請考慮如何處理來自多個雲端或帳戶類型的成本數據。 偏好開放標準,例如 FinOps Open Cost and Usage Specification (FOCUS) 專案,其可為雲端成本數據提供一致性和標準化,以及與提供者、廠商和內部工具的互操作性。
您可能需要藉由分類或標記數據,以邏輯和有意義的方式組織數據。 這麼做可讓您更輕鬆地存取、分析及瞭解。
當組織擁有與商業價值相關的完整成本和使用量資訊集合時,將可賦予專案關係人權力,並加速達成其他 FinOps 功能的目標。 專案關係人能夠做出更明智的決策,進而更有效率地使用資源,且可能大幅節省成本。
開始之前
雖然數據擷取對於任何 FinOps 實務的長期效率和有效性至關重要,但對於您初始的 FinOps 投資集來說,這不是封鎖需求。 如果您是透過 FinOps 生命週期進行的第一次反覆專案,請考慮較羽量的功能,以提供更快速的投資報酬率,例如 報告和分析。 數據擷取可能需要大量時間和精力,視帳戶大小和複雜度而定。 一旦您正確了解這項工作以及重要專案關係人為了支援該工作所做的承諾,建議您專注於此程序。
在第一次反覆項目開始採用這項功能期間,請考慮使用FOCUS作為所有數據源的標準計費數據格式。 若要了解組織為何需要它,以及為什麼Microsoft相信 FOCUS,您可以檢閱 Microsoft 提供的 FinOps 工具組上提供的 FOCUS 檔 。
開始使用
第一次開始在雲端中管理成本時,請使用透過入口網站或 Power BI 提供的原生工具。 如果您需要更多數據,您可以下載數據進行本機分析,或可能建置小型報表,或將其與另一個數據集合並。 最後,您必須將此程序自動化,這就是執行「資料擷取」的環節。 作為起點,重點在於將成本資料擷取至通用資料存放區。
- 擷取成本資料之前,請先思考您的報告需求。
- 與專案關係人交談,以確保您清楚了解他們的需求。 嘗試了解其動機和目標,以確保資料或報告對他們有幫助。
- 判斷是否要採用FOCUS作為任何新解決方案的標準計費架構。 將現有的儀錶板轉換成使用不同的數據集可能會帶來挑戰。
- Microsoft成本管理支援與 FOCUS 架構一致的成本和使用量數據匯出,這可節省您大量的時間和精力。
- 識別您所需的資料、可從何處取得資料,以及誰可以提供存取權。 記下任何可能需要正規化的常見數據集。
- 確認所需的細微性層級,以及資料需要重新整理的頻率。 就大型帳戶而言,管理每日成本資料可能是一項挑戰。 請考慮每月彙總以降低成本,且在此舉符合您的報告需求時提高查詢效能和可靠性。
- 考慮使用第三方 FinOps 平台。
- 檢閱 Azure Marketplace 中可用的第三方解決方案。
- 如果您決定自行建置解決方案,請考慮從 FinOps 中樞開始著手,這是 Microsoft 提供的開放原始碼 FinOps 工具組的一部分。
- FinOps 中樞可加速您的開發,並協助您專注於建置所需的功能,而不是基礎結構。
- 使用組織階層和預算來補充雲端成本資料。
- 選取適合您的成本詳細資料解決方案。 我們建議使用排程匯出,每天或每個月將成本資料推送至儲存體帳戶。
- 若您使用每日匯出應注意,資料會每天推送至新檔案中。 在報告成本時,請務必僅選取最近的日期。
- 判斷您是否需透過資料整合或工作流程技術來處理資料。
- 在早期階段,您可能能夠在導出的記憶體帳戶中保留數據,而不需要進行其他處理。 對於具有輕量需求和最低程度自訂的小型帳戶,建議將資料保留在該處。
- 如果您需要將數據內嵌至更進階的數據存放區,或執行數據清理或正規化,您可能需要實作數據管線。 選擇資料管線協調流程技術。
- 確認您的資料儲存體需求為何。
- 在初期階段,建議使用匯出的儲存體帳戶,以簡化流程並降低成本。
- 如果需要進階查詢引擎,或預期會在報告工具內達到資料大小限制,則應考慮將資料擷取至分析資料存放區中。 選擇分析資料存放區。
以基本概念為基礎
此時,您具有資料管線,且要將資料擷取至中央資料存放庫。 當您超出基本概念時,請考慮下列幾點:
- 將資料正規化為標準結構描述,以支援調整和混合多個來源的資料。
- 對於成本資料,我們建議使用 FinOps Open Cost & Usage Specification (FOCUS) 結構描述。
- FinOps 中 樞包含可將數據正規化為 FOCUS 架構的 Power BI 報表,這可以是不錯的起點。
- 使用組織階層和預算來補充雲端成本資料。
- 考慮為需求加上標籤或標記,將雲端成本對應至組織階層。
- 使用內部 CMDB 或 ITAM 資料擴充雲端資源和解決方案資料。
- 考量需使用哪些內部商務和營收計量,將雲端成本對應至商業價值。
- 根據您的報告需求確認還需要哪些其他資料集:
- 成本和定價
- Azure 零售價格:沒有組織折扣的隨用隨付率。
- 價位表:Microsoft 客戶合約帳戶的組織定價。
- 價位表:Enterprise 合約帳戶的組織定價。
- 餘額摘要:Enterprise 合約預付金餘額。
- 承諾折扣
- 使用率和效率
- Resource Graph:Azure Advisor 建議。
- 監視計量:資源使用量。
- 資源詳細資料
- Resource Graph:資源詳細資料。
- 資源變更:列出過去 14 天的資源變更。
- 訂用帳戶:列出訂用帳戶。
- 套用至資源和資源群組之標籤的標籤。
- Azure 服務特定 API:較低層級的設定和使用率詳細資料。
- 成本和定價
在 FinOps Foundation 深入了解
此功能是 FinOps Foundation FinOps 架構的一部分,FinOps Foundation 是一家致力於推進雲端成本管理和最佳化的非盈利組織。 如需 FinOps 的詳細資訊,包括實用的劇本、訓練和認證計劃等等,請參閱 FinOps Framework 檔中的數據擷取功能 一文。
您也可以在 FinOps Foundation YouTube 頻道中找到相關的影片:
相關內容
相關的 FinOps 功能:
相關產品:
相關解決方案: