瞭解 Azure 中雲端規模分析的團隊和功能

針對雲端規模分析，建議將團隊，例如引入、處理、分析、消費和視覺化，從在水平分隔的小組中工作移至每一層的敏捷垂直跨域小組。 平台團隊如數據平台作業和平台操作會被分組在共同的平臺群組中。

平台群組

平臺群組包含兩個小組：

• 平臺作業： 平臺作業是平臺群組的一部分。 他們運營並擁有雲端平臺。 此團隊負責在雲端規模分析中初始化數據管理登錄區和數據登錄區框架，例如網路連接、對等連接、核心服務及監控。 通常，數據平台運營團隊在開始推行雲端規模分析時，協助為數據著陸區中的使用者開發IT服務管理介面。 這些介面通常是服務的 REST API 呼叫，以將數據產品上線、設定安全性，以及將服務新增至數據登陸區域。

• 數據平臺作業： 數據平臺作業群組位於平臺群組內。 數據平台運營為數據著陸區和產品提供集中監控、編目和可重複使用的政策等服務。 數據平台運營擁有數據管理著陸區域，其小組的其他責任如下：

開發基礎結構

• 開發數據登陸區域的基礎結構即程式代碼範本;範本必須隨著時間更新和維護，而且可以涵蓋多個案例。
• 根據其他小組的意見反應，設定範本的優先順序，並新增新功能。
• 以產生標準基礎結構範本的共同目標，在敏捷式架構中工作。

處理新的數據落地區的申請

數據平臺作業小組必須提供工具和服務，以支持他們建立的範本。 ServiceNow 之類的 IT 服務管理工具可以處理數據平臺作業小組核准的票證要求，以建立新的數據登陸區域。 核准之後，新的登陸區域會從基底範本分叉，以建立新的 DevOps 專案，而管線會將範本部署到新的環境。

數據平台操作反饋和改進循環

有兩個選項可用來增強範本：

• 負責基礎設施範本實例的團隊可以改進其 DevOps 範本及部署。 如果小組在範本中發現問題，數據平臺運營可以支援小組，並將變更從分支合併回範本。
• 其他數據著陸區小組應能夠創建改進和待辦清單的工單，以便根據工單的優先順序提升模板。

適用於雲端規模分析的 Azure 原則

雲端規模分析原則強調自助式靈活度和護欄，以保護數據、成本和模式。 與平台營運團隊合作的數據平台運營團隊共同定義品質，這些小組合作執行具體的數據政策。 資料平臺操作應遵循檢討流程來更新和維護新增至產品的新功能。

部署及操作資料管理登陸區

數據平臺作業和平臺作業共同運作，以部署及操作數據管理登陸區域。 數據管理登陸區域可為數據登陸區域提供共用服務，使其成為雲端規模分析的核心部分。

數據著陸區運營

數據登陸區域運營和維護其數據登陸區域環境，同時回應數據應用小組的要求。 它們提供許多與數據平臺作業相同的服務，但僅限於其數據登陸區域。

他們在數據登陸區域建立時形成的分叉存放庫中工作。 若要申請政策變更，他們必須向數據平台運營部門提出票證，才能允許這些例外狀況。

支援資料應用團隊客製化資料產品

數據登陸區域作業小組支援數據應用程式小組，方法是使用提取要求，將新的產品範本提交至其各自的數據產品存放庫。

作為著陸區的擁有者，Azure DevOps 會將變更的核准流程傳送至資料著陸區的運作：

• 如果核准，範本變更會移至主要分支，並透過持續整合/持續開發部署到生產環境，導致數據產品平臺/基礎結構更新。
• 如果遭到拒絕，數據登陸區域作業會與數據應用程式小組合作，以修正變更。

回應新的數據產品要求

資料著陸區操作支援資料應用團隊建立新的資料產品。 當數據應用程式小組要求協助時，IT 服務管理解決方案，例如自動化邏輯應用程式，會協調新數據應用程式存放庫的核准或部署。 數據登陸區域運營團隊會收到新要求通知，並批准或拒絕部署請求。 核准之後，會建立一個新的 DevOps 專案，並對主要模板和工件進行分叉，然後部署一個新的資料應用程式。

遵守 Azure Well-Architected Framework

負責數據登陸區域的作業團隊應熟悉 Azure Well-Architected Framework，該框架提供有關成本優化、可靠性和安全性的指引。

像往常一樣的業務

數據著陸區操作負責的業務任務，包括收集反饋意見和改進需求。 這些請求會被優先處理，並定期與數據平台運營部門共享。 小組會監控數據著陸區域的事件和健康情況。 在嚴重事件期間，他們會與其他運維團隊協作，以緩解問題、還原備份、進行故障轉移及調整服務規模。

數據應用程式小組

數據應用程式小組會將新的數據產品提供給企業。 這些數據整合來自讀取資料庫，並將其轉換成業務解決方案。 轉換數據以供使用的任何專案，都分類為 數據產品。 此小組通常是技術專家和主題專家的組合，可協助業務快速實現價值。 數據產品的範圍可以從簡單的報表和新數據產品到使用數據驅動 Kubernetes Web 應用程式的自定義設定。

新數據產品

產品擁有者和商務代表會在需要時提出新資料產品的請求。 數據辦公室會評估需求，並組合具有各種專業知識的新數據應用程式小組。 小組會識別所需的數據產品，並要求存取數據資產的許可權。 如果需要新的數據產品，數據應用團隊會收到導入的票證。 小組識別出新資料產品所需的服務，並透過 資料應用程式部署流程來請求新的資料產品，。 數據應用程式小組會從主要數據應用程式範本接收分叉存放庫，以部署數據應用程式。

認證數據產品

在自助平臺中，任何人都可以建立報表、在 Azure Data Lake 開發人員記憶體帳戶中策劃數據產品，以及發行企業要使用的數據產品。 數據產品審查請求發生在：

• 業務贊助商提出票證以認證數據產品。
• 數據平臺營運會根據受歡迎程度提名數據產品。

資料應用小組可以推動認證流程，由資料平臺運營及數位安全定義，這可能包括：

• 設計來驗證數據轉換和商業規則的測試
• 安全性、合規性或效能影響的評定

認證之後，資料檔案會被整理並上傳至數據產品存放庫，文件會被發佈，並通知數據應用程式小組。

產品支援

使用者可以透過 IT 服務管理解決方案提交反饋，或直接在產品內提交，做為票證的形式傳送給資料產品擁有者。 該人員會對請求進行分類，並判斷是否要將其升級至資料應用團隊進行修正或將反饋輸入產品待辦項目，在產品計劃周期內審查。

數據科學應用程式小組

雖然數據科學產品小組開發了數據產品，但與其他團隊不同的是，他們的功能設計是直指數據產品的生成。 其工作會導致已發佈的模型變成可供其他人使用的數據產品，而模式會遵循與數據登陸區域相關聯的機器學習作業模型。

數據科學產品小組會先搜尋和找到相關的數據產品以供使用。 數據控管解決方案可以揭示更多詳細數據，例如數據品質、譜系或類似的數據集或配置檔。 它們會研究範例數據集是否可用，以及數據是否與項目相關。 透過數據目錄或Microsoft Entra 存取套件授與數據存取權之後，小組會使用數據登陸區域中的服務來探索和分析數據。

在處理所有數據之前，小組會使用本機或遠端計算來處理和分析範例數據產品。 他們可以使用較大的數據產品將遠端計算目標優化，以使用 Azure Machine Learning 內追蹤的執行、輸出和模型來定型和開發機器學習模型。

當小組開發出機器學習模型之後，他們會開始實施運作。 為了達成此目標，他們會擴充小組，以包含 DataOps 和機器學習工程師，這些工程師可協助將模型移至新的數據產品，如數據應用程式小組角色中所述。

數據科學小組會繼續與相關聯的數據產品擁有者合作，使用 機器學習作業方法擷取生產環境中的意見反應、支援和更新模型。

分析師

分析師代表大型群組，其中包含商務分析師、強大使用者，以及組織中任何有興趣將數據優化以建立新商務見解的人。 自助式使能是一個關鍵原則，支持分析師存取分析和數據，而無需獲得正式的 IT 預算和資源。

尋找並要求數據

分析師會諮詢數據市集/目錄，以探索相關的數據產品。

• 如果找不到或不存在資料資產，分析師會向資料應用團隊開啟支援請求。 數據應用程式小組可協助尋找數據集，或將要求新增至待辦專案，以在另一個開發週期中進行評估。

• 如果數據集存在，分析師可以識別目錄中所列資產Microsoft Entra 群組成員資格，並使用 Azure 存取套件入口網站來要求存取 Microsoft Entra 群組。

建置新的報告

分析師可以使用 Microsoft Power BI 之類的工具，將數據產品整合到報表中。 這些報表可以供其個人使用，或發佈認證的數據產品。 在跨組織發佈報表之前，必須先使用數據產品認證程序進行認證，以取得安全性、合規性和效能。

視需要執行查詢

雲端規模分析具有共用工作區，分析師可以查詢數據，受限於許可權。 數據產品通常會視需要提供專用計算來執行查詢。 在這兩種情況下，分析師都可以對數據登陸區域中的數據產品執行查詢，但受限於許可權。 查詢的結果可以儲存在 Azure Data Lake 工作區中，以便再次使用。

用戶意見反應

由於分析師可以作為潛在未加以利用的資訊和改進來源，因此強烈建議企業為每個數據登陸區域建立使用者回饋群組。

除了參與這些使用者群組之外，分析師還應該將數據資產意見回饋提交給數據應用程式團隊，並在數據目錄或 IT 服務管理解決方案內提交數據目錄問題。 他們可以向數據應用程式小組或IT服務管理解決方案內提交數據處理問題。

責任指派矩陣

• 負責： 誰正在完成這項工作？
• 責任： 誰在做決策和採取措施以完成任務？
• 諮詢： 誰收到有關決策和任務的通訊？
• 知情： 誰在專案期間被更新有關決策和行動的資訊？

後續步驟

適用於數據工作負載的 Azure Well-Architected Framework