取得代理應用程式品質的意見反應
重要
這項功能處於公開預覽狀態。
本文說明如何使用 Databricks 檢閱應用程式，收集人類檢閱者關於代理應用程式品質的意見反應。 本文涵蓋下列領域：
- 如何部署檢閱應用程式。
- 檢閱者如何使用應用程式來提供代理應用程式回應的意見反應。
- 專家如何檢閱記錄的聊天，以提供使用應用程式改善和其他意見反應的建議。
人類評估中會發生什麼事？
Databricks 檢閱應用程式將 LLM 置於專家利害關係人可與之互動的環境中 - 換句話說，進行對話、提出問題等。 如此一來，檢閱應用程式可讓您收集對應用程式的意見反應，協助確保其提供的解答品質和安全性。
利害關係人可以與應用程式 Bot 聊天，並提供這些交談的意見反應，或提供有關歷程記錄、策展追蹤或代理程式輸出的意見反應。
需求
推斷資料表必須在為代理程式提供服務的端點上啟用。
每個人類檢閱者都必須具有檢閱應用程式工作區的存取權。 請參閱下一節：＜設定檢閱應用程式工作區的權限＞。
開發人員必須安裝
databricks-agentsSDK 以設定權限並設定檢閱應用程式。%pip install databricks-agents dbutils.library.restartPython()
設定檢閱應用程式工作區的權限
如果您的檢閱者已經擁有包含檢閱應用程式的工作區存取權，則不需要執行任何動作。
如果檢閱者還沒有存取權，帳戶管理員可以使用帳戶層級 SCIM 佈建，自動將使用者和群組從身分識別提供者同步至 Azure Databricks 帳戶。 您也可以在 Databricks 中設定身分識別時手動註冊這些使用者和群組。 這可將其納入為合格的檢閱者。 請參閱從 Microsoft Entra ID 同步使用者和群組。
from databricks import agents
# Note that <user_list> can specify individual users or groups.
agents.set_permissions(model_name=<model_name>, users=[<user_list>], permission_level=PermissionLevel.CAN_QUERY)
檢閱聊天記錄的專家必須具有 CAN_REVIEW 權限。
部署檢閱應用程式
當您使用 agents.deploy() 部署代理程式時，會自動啟用和部署檢閱應用程式。 命令的輸出會顯示前端應用程式的網址。 如需部署代理程式的相關資訊，請參閱部署生成式 AI 應用程式的代理程式。
如果您遺失部署的連結，您可以使用 list_deployments() 來找到連結。
from databricks import agents
deployments = agents.list_deployments()
deployments
檢閱應用程式 UI
若要開啟檢閱應用程式，請按一下提供的網址。 檢閱應用程式 UI 在左側側邊欄中有三個索引標籤：
- 指示 顯示給檢閱者的指示。 請參閱提供給檢閱者的指示。
- 聊天以檢閱 顯示檢閱者與應用程式互動的記錄，以供專家評估。 請參閱專家檢閱其他使用者與應用程式的互動記錄。
- 測試 Bot 可讓檢閱者與應用程式聊天，並提交其回應的評論。 請參閱與應用程式聊天並提交評論。
當您開啟檢閱應用程式時，指示頁面隨即出現。
- 若要與 Bot 聊天，請按一下 [開始檢閱]，或從左側側邊欄選取 [測試 Bot]。 如需詳細資訊，請參閱與應用程式聊天並提交評論。
- 若要檢閱已可供您檢閱的聊天記錄，請選取側邊欄中的 [聊天以檢閱]。 如需詳細資料，請參閱專家檢閱其他使用者與應用程式的互動記錄。 若要瞭解如何從檢閱應用程式提供聊天記錄，請參閱讓聊天記錄可供專家檢閱者評估。
提供給檢閱者的指示
若要為顯示給檢閱者的說明提供自訂文字，請使用下列程式碼：
from databricks import agents
agents.set_review_instructions(uc_model_name, "Thank you for testing the bot. Use your domain expertise to evaluate and give feedback on the bot's responses, ensuring it aligns with the needs and expectations of users like yourself.")
agents.get_review_instructions(uc_model_name)
與應用程式聊天並提交評論
若要與應用程式聊天並提交評論：
按一下左側側邊欄中的 [測試 Bot]。
在方塊中輸入您的問題，然後按鍵盤上的 Return 或 Enter，或按一下方塊中的箭號。 應用程式會顯示其問題答案，以及用來尋找答案的來源。
檢閱應用程式的答案，然後選取 [是]、[否] 或 [我不知道]。
應用程式會要求您提供其他資訊。 核取適當的方塊，或在提供的欄位中輸入您的註解。
您也可以直接編輯回應，以提供更好的答案。 若要編輯回應，請按一下 [編輯回應]，在對話方塊中進行變更，然後按一下 [儲存]，如下列影片所示。
按一下 [完成] 以儲存您的意見反應。
繼續詢問問題以提供其他意見反應。
下圖說明此流程：
- 使用檢閱應用程式，檢閱者與代理應用程式聊天。
- 使用檢閱應用程式，檢閱者提供應用程式回應的意見反應。
- 系統會將所有要求、回應和意見反應記錄到推斷資料表。
讓聊天記錄可供專家檢閱者評估
當使用者使用 REST API 或檢閱應用程式與應用程式互動時，所有要求、回應和其他意見反應都會儲存至推斷資料表。 推斷資料表位於註冊模型的相同 Unity 目錄目錄和結構描述中，且命名為 <model_name>_payload、<model_name>_payload_assessment_logs 和。<model_name>_payload_request_logs 如需這些資料表的詳細資訊，包括結構描述，請參閱代理程式增強的推斷資料表。
若要將這些記錄載入檢閱應用程式以供專家檢閱者評估，您必須先找到 request_id 並啟用該 request_id 的檢閱，如下所示：
找出要從
<model_name>_payload_request_logs推斷資料表檢閱的request_id。 推斷資料表位於註冊模型的相同 Unity 目錄和結構描述中。使用類似下列的程式碼，將檢閱記錄載入至檢閱應用程式：
from databricks import agents agents.enable_trace_reviews( model_name=model_fqn, request_ids=[ "52ee973e-0689-4db1-bd05-90d60f94e79f", "1b203587-7333-4721-b0d5-bba161e4643a", "e68451f4-8e7b-4bfc-998e-4bda66992809", ], )結果資料格包含檢閱應用程式的連結，其中已載入選取的記錄以供檢閱。
來自其他使用者與應用程式互動記錄的專家檢閱
若要檢閱先前聊天的記錄，必須啟用記錄以檢閱。 請參閱讓聊天記錄可供專家檢閱者評估。
在檢閱應用程式的左側側邊欄中，選取 [聊天以檢閱] 。 啟用的要求隨即顯示。
按一下要求以顯示以供檢閱。
檢閱要求和回應。 應用程式也會顯示用於參考的來源。 您可以按一下這些來檢閱參考，並提供來源相關性的意見反應。
若要提供回應品質的意見反應，請選取 [是]、[否]，或 [我不知道]。
應用程式會要求您提供其他資訊。 核取適當的方塊，或在提供的欄位中輸入您的註解。
您也可以直接編輯回應，以提供更好的答案。 若要編輯回應，請按一下 [編輯回應]，在對話方塊中進行變更，然後按一下 [儲存]。 請參閱與應用程式聊天並提交檢閱，以取得顯示該程序的影片。
按一下 [完成] 以儲存您的意見反應。
下圖說明此流程：
- 使用檢閱應用程式或自訂應用程式，檢閱者與代理應用程式聊天。
- 所有要求和回應都會記錄到推斷資料表。
- 應用程式開發人員會使用
enable_trace_reviews([request_id])(其中request_id來自<model_name>_payload_request_logs推斷資料表) 來將聊天記錄張貼至檢閱應用程式。 - 使用檢閱應用程式，專家檢閱記錄並提供意見反應。 專家意見反應會記錄到推斷資料表。
注意
如果您已啟用 Azure 儲存體防火牆，請連絡您的 Azure Databricks 帳戶小組，為您的端點啟用推斷資料表。
在要求記錄資料表上使用 mlflow.evaluate()
以下筆記本說明如何使用檢閱應用程式的日誌作為使用 mlflow.evaluate() 執行評估的輸入。 如需有關 mlflow.evaluate() 的詳細資訊，請參閱使用 MLflow 評估大型語言模型。