步驟 6。 在 AI 代理程式上進行和評估品質修正

本文會逐步引導您逐一查看並評估產生式 AI 代理程式中以根本原因分析為基礎的品質修正程式的步驟。

如需評估 AI 代理程式的詳細資訊，請參閱 什麼是馬賽克 AI 代理程式評估？。

需求

1. 根據根本原因分析，您已找出擷取或產生以實作和評估的潛在修正。
2. 您的 POC 應用程式（或其他基準鏈結）會記錄至 MLflow 執行，並包含 儲存在相同回合中的代理程式評估 評估。

如需本節中的範例程式碼，請參閱 GitHub 存放庫。

代理程式評估中的預期結果

上圖顯示 MLflow 中的代理程式評估輸出。

如何修正、評估和反覆運算 AI 代理程式

針對所有類型，請使用 B_quality_iteration/02_evaluate_fixes Notebook 來評估產生的鏈結與基準設定、POC，以及挑選「優勝者」。 此筆記本可協助您挑選獲勝的實驗，並將其部署到檢閱應用程式或生產環境就緒且可調整的 REST API。

1. 在 Azure Databricks 中，開啟 B_quality_iteration/02_evaluate_fixes Notebook。
2. 依您要實作的修正類型：
   • 針對資料管線修正：
     • 遵循 步驟 6 （管線）。實作數據管線修正 ，以建立新的數據管線，並取得產生的 MLflow 執行名稱。
     • 將執行名稱新增至 DATA_PIPELINE_FIXES_RUN_NAMES 變數。
   • 針對鏈結組態修正：
     • 請遵循 02_evaluate_fixes Notebook 區段中的指示Chain configuration，將鏈結組態修正新增至CHAIN_CONFIG_FIXES變數。
   • 針對鏈結程式代碼修正：
     • 建立修改過的鏈結程式代碼檔案，並將它儲存至 B_quality_iteration/chain_code_fixes 資料夾。 或者，從該資料夾中選取其中一個提供的鏈結程式代碼修正。
     • 請遵循 02_evaluate_fixes Notebook 區段中的指示Chain code，將鏈結程式代碼檔案和變數所需的CHAIN_CODE_FIXES任何其他鏈結組態加入。
3. 當您從 Run evaluation 數據格執行筆記本時，會發生下列情況：
   • 評估每個修正程式。
   • 使用最佳品質/成本/延遲計量來判斷修正。
   • 將最適合的 REST API 部署至審核應用程式和生產環境就緒的 REST API，以取得專案關係人的意見反應。

後續步驟

繼續進行 步驟 6 （管線）。實作數據管線修正。

< 上一步：步驟 5.2。偵錯產生品質

下一步：步驟 6.1。修正數據管線 >