智慧型應用程式工作負載的設計原則
有關規劃、開發和維護智慧應用程式工作負載的指南,是以 Power Platform Well-Architected 及其五大卓越架構支柱為基礎。
Well-Architected 支柱 | 綜合 |
---|---|
可靠性 | 智慧型應用程式工作負載需要架構層具有彈性,以確保 AI 模型和工作流程高度可用且能夠從失敗中快速恢復。 實作強大的錯誤處理機制。 彈性架構也能維護 AI 模型所使用的資料的完整性,確保輸出的一致性和準確性。 |
安全性 | 智慧型應用程式工作負載通常處理敏感資料。 保護 AI 模型使用和產生的敏感資料。 實施加密、存取控制和定期安全稽核。 確保工作負載符合相關監管標準,例如GDPR (一般資料保護規定) 和HIPAA (健康保險流通與責任法案),以保護使用者隱私和資料。 |
效能效益 | 智慧型應用程式工作負載必須設計為隨著資料量和使用者需求的增加而無縫擴展。 確定關鍵效能指標並實施監控以追蹤實現工作負載效能目標的進度。 在智慧型應用程式工作負載的背景下,效能還考慮了可以透過自助服務完成的請求和互動的數量,否則需要人工幹預。 |
卓越營運 | 智慧型應用程式工作負載需要全面的監控和記錄來追蹤 AI 模型、工作流程和對話的效能和運作狀況。 監控有助於快速識別和解決問題。 卓越營運支柱建議使用自動化來簡化操作,減少人工幹預,並最大限度地降低人為錯誤的風險。 |
體驗最佳化 | 智慧型應用程式工作負載應優先考慮對話設計,以確保使用者友好的體驗,使使用者能夠以最少的努力實現他們的目標。 設計應該考慮生成式 AI 無法處理的主題並結合後援機制。 也要實施收集使用者意見反應的機制,並根據這些意見反應不斷改進 AI 模型和工作負載。 |
可靠性
當您使用 Power Platform 設計智慧型應用程式工作負載時,請注意彈性和可用性。
- 彈性是系統從失敗中恢復並繼續運作的能力。
- 可用性確保不間斷的正常運作時間。 高可用性可最大限度地減少應用程式停機時間並增強事故後的恢復能力。
可靠性對於任何工作負載的開發都至關重要,生成式 AI 也不例外。 事實上,在設計生成式 AI 工作負載時需要考慮一些獨特的因素。 認識並強調彈性對於生成性 AI 工作負載至關重要,以確保組織可用性並維持業務連續性。
雲端可能會發生失敗。 您的目標不應該是試圖完全防止失敗,而應該是盡量減少單一元件失敗的影響。 使用以下資訊來最大限度地減少停機時間並確保將建議的高可用性做法融入您的智慧應用程式工作負載中:
- 確保工作負載可以處理失敗並繼續執行,即使功能降低。 識別潛在失敗並使系統具有彈性,以容忍和恢復這些失敗。
- 使工作量可觀察,以便開發團隊從失敗中學習。 透過實施監控、記錄和警示機制快速識別和解決問題。
- 確保工作負載可以擴展以處理不同的負載,這對於可能有波動需求的 AI 工作負載尤其重要。
- 實作強大的錯誤處理和恢復機制。 設定係統失敗的自動警示並制定快速恢復的明確計劃。
- 透過了解聊天訊息或對話的目標量來驗證目標架構和規模。 目標磁碟區還有助於驗證智慧型應用程式的授權方面,以及對 Dataverse 儲存對話記錄的潛在影響。
對於使用生成式 AI 功能的智慧型應用程式,不僅要考慮彈性和可用性,還要考慮智慧工作負載提供的回應的可靠性和準確性。 針對每個設計考慮因素,請考慮以下建議:
- 最佳化擷取增強生成 (RAG):確保您的資料乾淨且結構良好,建立高效的嵌入和索引以便快速擷取,並實施強大的監控和反饋機制以不斷提高工作負載的效能。
- 有效的提示:設計精準的、與上下文相關的提示,以引導 AI 做出準確的反應。
- 定期評估:對 AI 輸出進行持續監測和測試,以評估準確性、相關性和道德遵守。
- 意見反應迴路:建立意見反應機制,使用者可以報告不準確的訊息,然後可以用來改進和完善模型。 Microsoft Copilot Studio 提供客戶滿意度分析,為您的代理程式的回應提供滿意或不滿意的驅動因素的可行見解。
- 特定領域訓練:根據特定領域資料對模型進行微調,以提高特定環境中的準確性。
- 定期更新:定期使用新資料更新模型以保持其相關性和準確性。
- 無法識別的意圖:透過使用生成式答案從可用資料來源中尋找答案,並使用後援主題與其他系統整合來處理無法識別的意圖。
安全性
在共擔責任模式中:
- 組織主要負責管理和操作工作負載。
- Microsoft 管理底層基礎結構的安全,包括資料中心、網路安全和實體安全措施以及加密、身分管理和遵守業界標準等內建安全功能。 如需進一步了解,請參閱 Microsoft Power Platform 中的安全性 和 Copilot Studio 安全性和治理。
我們建議您定期評估服務和技術,以確保您的安全態勢適應不斷變化的威脅情勢。 在合作實施安全措施時,與供應商建立對共用責任模式的清晰理解至關重要。
您可以採用多種方法來保護您的智慧型應用程式工作負載:
- 使用者驗證和存取控制:實施強大的驗證和存取控制措施,確保只有授權使用者才能存取智慧型應用程式工作負載。 未經授權存取智慧型應用程式工作負載可能會導致資料外洩、資源濫用以及敏感資訊的潛在暴露。 薄弱或無效的驗證機制也可能導致使用者帳戶受到損害。
- 合規性:確保資料的保護和管理符合監管要求。 了解當地法規,隨時了解當地的資料保護法,並確保您的資料落地策略符合這些法規。
- 整合:保護與服務主體的所有整合。 透過安全功能和裝置 (例如防火牆或 Web 應用程式防火牆),監控和保護內部和外部端點的網路完整性。
- 持續監控和稽核:持續監控和稽核工作負載活動,以主動偵測和回應。
- Azure 安全性工具:使用 Azure 的內建安全性工具 (例如適用於雲端的 Microsoft Defender 和 Azure Policy) 來監控和強制執行安全性原則。
- 員工培訓:對員工進行資料保護最佳做法以及遵守資料落地要求的重要性的培訓。
效能效率
效能效率是指您的工作負載有效擴展以滿足使用者需求的能力。
透過以下方式提高效能效率:
- 了解目標磁碟區以驗證目標架構和規模。 目標量還有助於驗證生成式 AI (代理程式) 的受權方面以及對 Dataverse 儲存對話記錄的潛在影響。
- 了解平台限制。 當您將智慧型應用程式工作負載與外部系統整合時 (例如透過 Power Automate 或 HTTP 請求),驗證每個元件是否都能處理負載非常重要。
- 使用 Azure Monitor、Log Analytics、Application Insights 和警示等工具持續監控效能並偵測異常。
- 了解預期的回應時間:
- 首次聊天加載和第一條訊息回覆
- 代理程式回答使用者查詢的最大延遲
- 處理長時間執行的操作的方法 (例如,等待外部系統返回資料)
- 最佳化偏轉率,即透過自動化以自助服務方式完成請求的速率 (減少需要人工協助的請求數量)。 如需進一步了解,請參閱智慧型應用程式工作負載的效能最佳化。
考慮上述每個方面有助於您建立具有一致、有凝聚力的使用者體驗的智慧應用程式工作負載。
卓越營運
卓越營運涉及開發高效流程來支援您的智慧應用程式工作負載。
操作失敗可能會影響其他設計領域以及智慧型應用程式工作負載的整體成功。 客製化您的操作流程以支援生產中的智慧應用程式工作負載非常重要。 以下建議推動卓越營運:
- 自動化建置和發佈流程。 完全自動化的建置和發佈流程減少了摩擦並提高了部署更新的速度,帶來了跨環境的可重複性和一致性。 自動化縮短了意見反應迴圈,從開發人員推動變更,到獲得有關程式碼品質、測試覆寫率、彈性、安全性和效能的深入解析,所有這些都有助於提高開發人員的工作效率。
- 保持治理與合規。
- 分析您的環境在生產中的效能和運作狀況。
- 儲存包含以下內容的文件:
- 疑難排解步驟
- 災難復原計劃
- 提供如何加速解決問題程序的補救指導。
- 擁抱持續的營運改善。 優先考慮系統和使用者體驗的日常改進。 使用運作狀況模型來了解和衡量營運效率,並結合意見反應機制,使應用程式團隊能夠以迭代的方式了解和解決差距。
這些建議可以幫助您的團隊以高效、透明的方式進行協作。
體驗最佳化
智慧型應用程式工作負載應優先考慮對話設計,以確保使用者友好的體驗,使使用者能夠以最少的努力實現他們的目標。 設計應該解決生成式 AI 無法處理的問題並包含後援機制。 也要實施收集使用者意見反應的機制,並根據這些意見反應不斷改進 AI 模型和工作負載。
最佳化智慧型應用程式工作負載的使用者體驗涉及幾個關鍵考慮因素:
對話設計:設計直覺且易於導覽的對話。 使用清晰簡潔的語言,並確保 AI 能夠有效地處理常見的使用者查詢。 專注於幫助使用者以最少的努力實現他們的目標。 了解使用者意圖並快速提供相關回應,以確保無縫且有效率的使用者體驗。
處理限制:針對生成式 AI 無法處理的主題實施後援機制,例如將使用者重新導向至客戶服務代表或提供替代資源。 設計強大的錯誤處理流程來妥善管理意外輸入。 當 AI 無法處理使用者的請求時通知使用者並提供替代方案。
使用者意見反應:整合機制,持續收集使用者意見反應。 Microsoft Copilot Studio 提供客戶滿意度分析,針對導致您對代理程式的回應感到滿意或不滿意的驅動因素提供可行的見解。 使用收集到的意見反應來完善和改進 AI 模型和整體工作量。 根據使用者輸入定期更新可以顯著增強使用者體驗。
客製化和個人化:自訂提示和說明以符合您的特定使用案例和使用者需求,以確保更準確和相關的回應。 使用動態連結自動觸發並有效管理主題流程,以減少手動預定義主題的需要並提高 AI 識別使用者意圖的能力。 如需進一步了解,請參閱最佳化提示和主題設定。
後續步驟
Well-Architected Framework 設計原則已納入智慧應用程式工作負載設計領域。 每個設計區域都提供了有針對性的指導,幫助您快速獲得所需的資訊,有效提高生產力。
首先查看支援工作負荷所需的設計注意事項: