使用微調自訂模型

必要條件

• 請閱讀 使用 Azure OpenAI 微調的時機指南 (機器翻譯)。
• Azure 訂用帳戶。 免費建立一個。
• 位於支援 Azure OpenAI 模型微調的區域中的 Azure OpenAI 資源。 如需按區域和支援功能劃分的可用型號清單，請查看模型摘要資料表和區域可用性 (機器翻譯)。 如需詳細資訊，請參閱使用 Azure OpenAI 建立資源及部署模型。
• 微調存取需要認知服務 OpenAI 參與者。
• 如果您還沒有存取權可檢視配額，並在 Azure AI Foundry 入口網站中部署模型，則需要 額外的許可權。

模型

下列模型支援微調：

• babbage-002
• davinci-002
• gpt-35-turbo (0613)
• gpt-35-turbo (1106)
• gpt-35-turbo (0125)
• gpt-4 (0613)^*
• gpt-4o (2024-08-06)
• gpt-4o-mini (2024-07-18)

^* 此模型的微調目前為公開預覽狀態。

或者，您可以對先前微調的模型再次微調，其格式為 base-model.ft-{jobid}。

請參閱模型頁面 (機器翻譯)，查看目前支援微調的區域。

檢閱 Azure AI Foundry 的工作流程

花點時間檢閱使用 Azure AI Foundry 的微調工作流程：

1. 準備您的定型和驗證資料。
2. 使用 Azure AI Foundry 入口網站中的 [ 建立自定義模型精 靈] 來定型您的自定義模型。
   1. 選取基底模型。
   2. 選擇定型資料。
   3. (選擇性) 選擇您的驗證資料。
   4. 或者， 為微調作業設定工作參數 。
   5. 檢閱您的選擇，並定型新的自訂模型。
3. 檢查自訂微調模型的狀態。
4. 部署自訂模型以供使用。
5. 使用您的自訂模型。
6. (選擇性) 分析自訂模型以取得效能並加以調整。

準備您的定型和驗證資料

您的定型資料和驗證資料集包含您想要執行模型之方式的輸入和輸出範例。

不同的模型類型需要不同格式的定型資料。

{"messages": [{"role": "system", "content": "You are an Xbox customer support agent whose primary goal is to help users with issues they are experiencing with their Xbox devices. You are friendly and concise. You only provide factual answers to queries, and do not provide answers that are not related to Xbox."}, {"role": "user", "content": "Is Xbox better than PlayStation?"}, {"role": "assistant", "content": "I apologize, but I cannot provide personal opinions. My primary job is to assist you with any issues related to your Xbox device. Do you have any Xbox-related issues that need addressing?"}]}
{"messages": [{"role": "system", "content": "You are an Xbox customer support agent whose primary goal is to help users with issues they are experiencing with their Xbox devices. You are friendly and concise. You only provide factual answers to queries, and do not provide answers that are not related to Xbox."}, {"role": "user", "content": "Can I play PC games on my Xbox?"}, {"role": "assistant", "content": "While Xbox consoles don't natively support PC games, they can play an array of Xbox games, many of which are also available on PC. Can I assist you with finding games compatible with your Xbox device?"}]}
{"messages": [{"role": "system", "content": "You are an Xbox customer support agent whose primary goal is to help users with issues they are experiencing with their Xbox devices. You are friendly and concise. You only provide factual answers to queries, and do not provide answers that are not related to Xbox."}, {"role": "user", "content": "I'm having trouble connecting my Xbox to the Wi-Fi."}, {"role": "assistant", "content": "No worries, let's go through the network settings on your Xbox. Can you please tell me what happens when you try to connect it to the Wi-Fi?"}]}

{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What's the capital of France?"}, {"role": "assistant", "content": "Paris", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Paris, as if everyone doesn't know that already.", "weight": 1}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "Who wrote 'Romeo and Juliet'?"}, {"role": "assistant", "content": "William Shakespeare", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Oh, just some guy named William Shakespeare. Ever heard of him?", "weight": 1}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "How far is the Moon from Earth?"}, {"role": "assistant", "content": "384,400 kilometers", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Around 384,400 kilometers. Give or take a few, like that really matters.", "weight": 1}]}

{"messages": [{"role": "user", "content": [{"type": "text", "text": "What's in this image?"}, {"type": "image_url", "image_url": {"url": "https://raw.githubusercontent.com/MicrosoftDocs/azure-ai-docs/main/articles/ai-services/openai/media/how-to/generated-seattle.png"}}]}, {"role": "assistant", "content": "The image appears to be a watercolor painting of a city skyline, featuring tall buildings and a recognizable structure often associated with Seattle, like the Space Needle. The artwork uses soft colors and brushstrokes to create a somewhat abstract and artistic representation of the cityscape."}]}

{"prompt": "<prompt text>", "completion": "<ideal generated text>"}
{"prompt": "<prompt text>", "completion": "<ideal generated text>"}
{"prompt": "<prompt text>", "completion": "<ideal generated text>"}

pip install openai==0.28.1

openai tools fine_tunes.prepare_data -f <LOCAL_FILE>

使用 [建立自訂模型] 精靈

Azure AI Foundry 提供建立 自定義模型 精靈，讓您可以互動方式建立和定型 Azure 資源的微調模型。

1. 開啟 Azure AI Foundry， https://oai.azure.com/ 並使用可存取 Azure OpenAI 資源的認證登入。 在登入工作流程期間，選取適當的目錄、Azure 訂用帳戶和 Azure OpenAI 資源。

2. 在 Azure AI Foundry 入口網站中，流覽至 [工具微調] 窗格，然後選取 [微調模型>]。

   

[建立自訂模型] 精靈隨即開啟。

選取基底模型

建立自訂模型的第一個步驟為選擇基底模型。 [基底模型] 窗格可讓您選擇要用於自訂模型的基底模型。 您的選擇會影響模型的效能和成本。

從 [基底模型類型] 下拉式清單中選取基底模型，然後選取 [下一步] 以繼續。

您可以從下列其中一個可用的基底模型建立自訂模型：

• babbage-002

• davinci-002

• gpt-35-turbo (0613)

• gpt-35-turbo (1106)

• gpt-35-turbo (0125)

• gpt-4 (0613)

• 或者，您可以對先前微調的模型再次微調，其格式為 base-model.ft-{jobid}。

如需可以微調的基底模型之詳細資訊，請參閱模型。

選擇定型資料

下一個步驟是選擇現有的備妥定型資料，或上傳自訂模型時要使用的新備妥定型資料。 [定型資料] 窗格會顯示任何現有、先前上傳的資料集，也會提供上傳新定型資料的選項。

• 如果您的定型數據已上傳至服務，請從 Azure OpenAI 連線選取 [檔案]。

  • 從顯示的下拉式清單中選取檔案。

• 若要上傳新的定型資料，請使用下列其中一個選項：

  • 選取 [本機檔案]，從本機檔案上傳定型資料。

  • 選取 [Azure Blob 或其他共用 Web 位置]，從 Azure Blob 或其他共用 Web 位置匯入定型資料。

若為大型資料檔案，建議您從 Azure Blob 存放區匯入。 透過多部分表單上傳大型檔案時會變得不穩定，因為這些要求不可部分完成，而且無法重試或繼續。 如需 Azure Blob 儲存體的詳細資訊，請參閱什麼是 Azure Blob 儲存體？

從本機檔案上傳定型資料

您可以使用下列其中一種方法，將新的定型資料集從本機檔案上傳至服務：

• 將檔案拖放至 [定型資料] 窗格的工作區，然後選取 [上傳檔案]。

• 從 [定型資料] 窗格的工作區選取 [瀏覽檔案]，從 [開啟] 對話方塊選擇要上傳的檔案，然後選取 [上傳檔案]。

選取並上傳定型資料集之後，請選取 [下一步] 以繼續。

從 Azure Blob 存放區匯入定型資料

您可以藉由提供檔案的名稱和位置，從 Azure Blob 或其他共用 Web 位置匯入定型資料集。

1. 針對檔案輸入 [檔案名稱]。

2. 針對 [檔案位置]，請提供 Azure Blob URL、Azure 儲存體共用存取簽章 (SAS) 或其他可存取共用 Web 位置的連結。

3. 選取 [ 匯 入] 將定型數據集匯入服務。

選取並上傳定型資料集之後，請選取 [下一步] 以繼續。

選擇您的驗證資料

下一步提供設定模型以在定型流程中使用驗證資料的選項。 如果您不想要使用驗證資料，可以選擇 [下一步] 前往模型的進階選項。 否則，如果您具有驗證資料集，您可以選擇現有的備妥驗證資料，或上傳自訂模型時要使用的新備妥驗證資料。

[驗證資料] 窗格會顯示任何現有、先前上傳的定型和驗證資料集，並提供您可以上傳新驗證資料的選項。

• 如果您的驗證資料已上傳至服務，請選取 [選擇資料集]。

  • 從 [驗證資料] 窗格所顯示的清單中選取檔案。

• 若要上傳新的驗證資料，請使用下列其中一個選項：

  • 選取 [本機檔案]，從本機檔案上傳驗證資料。

  • 選取 [Azure Blob 或其他共用 Web 位置]，從 Azure Blob 或其他共用 Web 位置匯入驗證資料。

若為大型資料檔案，建議您從 Azure Blob 存放區匯入。 透過多部分表單上傳大型檔案時會變得不穩定，因為這些要求不可部分完成，而且無法重試或繼續。

從本機檔案上傳驗證資料

您可以使用下列其中一種方法，將新的驗證資料集從本機檔案上傳至服務：

• 將檔案拖放至 [驗證資料] 窗格的工作區，然後選取 [上傳檔案]。

• 從 [驗證資料] 窗格的工作區選取 [瀏覽檔案]，從 [開啟] 對話方塊選擇要上傳的檔案，然後選取 [上傳檔案]。

選取並上傳驗證資料集之後，請選取 [下一步] 以繼續。

從 Azure Blob 存放區匯入驗證資料

您可以藉由提供檔案的名稱和位置，從 Azure Blob 或其他共用 Web 位置匯入驗證資料集。

1. 針對檔案輸入 [檔案名稱]。

2. 針對 [檔案位置]，請提供 Azure Blob URL、Azure 儲存體共用存取簽章 (SAS) 或其他可存取共用 Web 位置的連結。

3. 選取 [ 匯 入] 將定型數據集匯入服務。

選取並上傳驗證資料集之後，請選取 [下一步] 以繼續。

設定工作參數

[ 建立自定義模型精靈 ] 會顯示在 [工作參數] 窗格上 定型微調模型的參數 。 可用的參數如下：

選取 [預設值 ] 以使用微調作業的預設值，或選取 [ 自定義 ] 以顯示和編輯超參數值。 選取預設值時，我們會根據您的定型資料透過演算法判斷正確的值。

設定進階選項之後，請選取 [下一步] 以檢閱您的選擇，並定型微調模型。

檢閱選擇並定型模型

精靈的 [檢閱] 窗格會顯示設定選項的相關資訊。

如果您準備好定型模型，請選取 [開始定型作業] 以啟動微調作業並返回 [模型] 窗格。

檢查自訂模型的狀態

[模型] 窗格會在 [自訂模型] 索引標籤中顯示自訂模型的相關資訊。索引標籤包含自訂模型微調作業的狀態和作業識別碼的相關資訊。 作業完成時，索引標籤會顯示結果檔案的檔案識別碼。 請選取 [重新整理]，以查看模型定型作業的更新狀態。

啟動微調作業之後，可能需要一些時間才能完成。 您的作業可能會排入系統中其他作業後方的佇列。 視模型和資料集大小而定，定型模型可能需要幾分鐘或幾小時的時間。

以下是您可以在 [模型] 窗格中執行的工作：

• 在 [自訂模型] 索引標籤的 [狀態] 資料行中，檢查自訂模型的微調作業狀態。

• 在 [模型名稱] 資料行中，選取模型名稱以檢視自訂模型的詳細資訊。 您可以查看微調作業的狀態、定型結果、定型事件和作業中使用的超參數。

• 選取 [下載定型檔案]，以下載模型所使用的定型資料。

• 選取 [下載結果]，以下載附加至模型微調作業的結果檔案，並分析自訂模型的定型和驗證效能。

• 選取 [重新整理] 以更新頁面上的資訊。

檢查點

當每個定型 Epoch 完成時，就會產生檢查點。 檢查點是模型的完整功能版本，可以部署為並用作後續微調作業的目標模型。 檢查點特別有用，因為其可以在過度學習發生之前提供模型的快照集。 微調作業完成時，您將有三個最新版本的模型可供部署。

GPT-4、GPT-4o 和 GPT-4o-mini 微調的安全評估 - 公開預覽

GPT-4o、GPT-4o-mini 和 GPT-4 是我們最進階的模型，可根據您的需求進行微調。 與 Azure OpenAI 模型的一般情況相同，微調模型的進階功能也帶來了與有害內容、操縱、類似人為行為、隱私權問題等相關的負責任 AI 挑戰。 深入了解負責任 AI 做法概觀 (英文) 和透明度資訊 (英文) 中有關的風險、功能和限制。 為有效降低進階微調模型的相關風險，我們實作了額外的評估步驟，以利偵測和防止微調模型定型和輸出中的有害內容。 這些步驟基於 Microsoft 負責任 AI 標準和 Azure OpenAI 服務內容篩選。

• 評估是在專用、客戶專屬、私人工作區中進行；
• 評估端點位於與 Azure OpenAI 資源相同的地理位置；
• 訓練資料的儲存與評估無關；系統僅會將最終模型評估 (可部署或不可部署) 留存；並且

GPT-4o、GPT-4o-mini 和 GPT-4 微調的模型評估篩選條件設定為預先定義的閾值，無法由客戶修改，且不會繫結至您已建立的任何自訂內容篩選設定。

資料評估

訓練開始之前，會針對您的資料進行評估，以確定是否存在潛在有害內容 (暴力、性、仇恨和公平性、自我傷害–請參閱這裡的類別定義)。 如果偵測到超出指定嚴重性層級的有害內容，則您的訓練作業將會失敗，而且您會收到訊息，通知您失敗類別。

範例訊息：

The provided training data failed RAI checks for harm types: [hate_fairness, self_harm, violence]. Please fix the data and try again.

訓練資料會在資料匯入作業內自動評估，作為提供微調功能的一部分。

如果微調工作因在訓練資料中偵測到有害內容而失敗，則不會向您收費。

模型評估

訓練完成之後，但在微調的模型可供部署之前，產生的模型會使用 Azure 的內建風險和安全計量來評估潛在的有害回應。 使用與基礎大型語言模型相同的測試方法，我們的評估功能會模擬與微調模型的交談，以評估輸出有害內容的可能性，同樣使用指定的有害內容類別 (暴力、性、仇恨和公平性、自我傷害)。

如果系統發現某個產生的輸出包含檢測為有害的內容，且超出可接受的比率，則會通知您該模型無法部署，並提供您所偵測到具體有害類別的資訊：

範例訊息：

This model is unable to be deployed. Model evaluation identified that this fine tuned model scores above acceptable thresholds for [Violence, Self Harm]. Please review your training data set and resubmit the job.

如同資料評估，模型會在微調作業內自動評估，作為提供微調功能的一部分。 服務只會記錄評量結果 (可部署或不可部署)。 如果微調的模型部署失敗，是因為偵測到模型輸出中的有害內容，您就不需支付訓練執行的費用。

部署微調模型

微調作業成功時，您可以從 [模型] 窗格部署自訂模型。 您必須部署自訂模型，以使其可用於完成呼叫。

若要部署自訂模型，請選取要部署的自訂模型，然後選取 [部署模型]。

[部署模型] 對話方塊隨即開啟。 在對話方塊中，輸入 [部署名稱]，然後選取 [建立] 以開始部署自訂模型。

您可以在 Azure AI Foundry 入口網站的 [部署] 窗格上監視部署進度。

跨區域部署

微調支援將微調的模型部署至與最初微調模型時的不同區域。 您也可以部署至不同的訂閱/區域。

唯一的限制在於新區域也必須支援微調，且在跨訂閱部署時，產生部署授權權杖的帳戶必須同時具有來源和目的地訂閱的存取權。

跨訂閱/區域部署可以透過 Python 或 REST 完成。

使用已部署的自訂模型

部署自訂模型後，您就能如同使用其他部署模型般使用該模型。 您可以使用 Azure AI Foundry 中的遊樂場來實驗您的新部署。 您可以繼續對自訂模型使用相同的參數，例如 temperature 和 max_tokens，如同對其他部署模型一樣。 針對微調的 babbage-002 和 davinci-002 模型，您會使用 [完成遊樂場] 和 [完成 API]。 針對微調的 gpt-35-turbo-0613 模型，您會使用 [聊天遊樂場] 和 [聊天完成 API]。

分析您的自訂模型

每個微調作業完成後，Azure OpenAI 都會將名為 results.csv 的結果檔案附加至其中。 您可以使用結果檔案來分析自訂模型的定型和驗證效能。 結果檔的檔案識別碼會針對 Azure AI Foundry 的 [模型] 窗格上的 [結果檔識別符] 資料行中的每個自定義模型列出。 您可以使用檔案識別碼，從 Azure AI Foundry 的 [資料檔 ] 窗格識別並下載結果檔案。

結果檔案為 CSV 檔案，其中包含標頭資料列，以及微調作業所執行每個定型步驟的資料列。 該結果檔案包含下列資料行：

您也可以在 Azure AI Foundry 入口網站中，將results.csv檔案中的數據檢視為繪圖。 選取已定型模型的連結，您會看到三個圖表：遺失、平均權杖正確性和權杖正確性。 如果您已提供驗證資料，則兩個資料集都會出現在同一繪圖上。

隨著時間推移，您的損失會減少，而正確性會增加。 如果您發現定型資料和驗證資料之間存在差異，則可能表示您過度學習。 嘗試使用較少的 Epoch 或較小的學習速率乘數進行定型。

清除部署、自訂模型和定型檔案

當您完成自訂模型時，可刪除部署和模型。 您也可以刪除上傳至服務的定型和驗證檔案 (如需要)。

刪除模型部署

您可以在 Azure AI Foundry 入口網站的 [部署] 窗格上，刪除自定義模型的部署。 選取要刪除的部署，然後選取 [刪除] 以刪除部署。

刪除您的自訂模型

您可以在 Azure AI Foundry 入口網站的 [模型] 窗格中刪除自定義模型。 從 [自訂模型] 索引標籤中選取要刪除的自訂模型，然後選取 [刪除] 以刪除自訂模型。

刪除定型檔案

您可以選擇性地刪除您在 Azure AI Foundry 入口網站的 [管理>數據檔] 窗格上上傳的定型和驗證檔案，以及定型期間產生的結果檔案。 選取要刪除的檔案，然後選取 [刪除] 以刪除檔案。

持續微調

建立微調模型之後，建議您透過進一步微調繼續精簡模型。 持續微調是選取已微調模型作為基底模型，並在新的定型範例集中進一步微調的反覆程序。

若要對先前微調的模型執行微調，您可以使用建立自訂模型中所述的相同流程，但請指定已微調的模型，而不是指定一般基底模型的名稱。 自訂微調模型看起來會像 gpt-35-turbo-0613.ft-5fd1918ee65d4cd38a5dcf6835066ed7

我們也建議您加入 suffix 參數，以便更輕鬆區分微調模型的不同反覆項目。 suffix 會接受字串，並設定用於識別微調模型。 OpenAI Python API 支援最多 18 個字元的字串，該字串會新增至微調的模型名稱中。

必要條件

• 請閱讀 使用 Azure OpenAI 微調的時機指南 (機器翻譯)。

• Azure 訂用帳戶 - 建立免費帳戶。

• Azure AI 中樞資源

• Azure AI Foundry 入口網站中的 Azure AI 專案。

• 與支援微調的區域中資源的 Azure OpenAI 連線。

  注意

  如果您在 Azure AI Foundry 專案中使用 Azure OpenAI 模型，而不是專案外部，則支援的區域可能會有所不同。

• 微調存取需要 Azure OpenAI 資源的認知服務 OpenAI 參與者角色。

• 如果您還沒有存取權可在 Azure AI Foundry 入口網站中檢視配額和部署模型，則需要 更多許可權。

模型

下列模型支援微調：

• babbage-002
• davinci-002
• gpt-35-turbo (0613)
• gpt-35-turbo (1106)
• gpt-35-turbo (0125)
• gpt-4 (0613)^*
• gpt-4o (2024-08-06)
• gpt-4o-mini (2024-07-18)

^* 此模型的微調目前為公開預覽狀態。

或者，您可以對先前微調的模型再次微調，其格式為 base-model.ft-{jobid}。

請參閱模型頁面 (機器翻譯)，查看目前支援微調的區域。

檢閱 Azure AI Foundry 的工作流程

花點時間檢閱使用 Azure AI Foundry 的微調工作流程：

1. 準備您的定型和驗證資料。
2. 使用 Azure AI Foundry 入口網站中的微調模型精靈來定型您的自定義模型。
   1. 選取模型。
   2. 選擇定型資料。
   3. (選擇性) 選擇您的驗證資料。
   4. (選擇性) 針對微調作業設定參數。
   5. 檢閱您的選擇，並定型新的自訂模型。
3. 檢查微調模型的狀態。
4. (選擇性) 分析微調模型以取得效能並加以調整。
5. 部署微調模型以供使用。
6. 使用微調模型。

準備您的定型和驗證資料

您的定型資料和驗證資料集包含您想要執行模型之方式的輸入和輸出範例。

不同的模型類型需要不同格式的定型資料。

{"messages": [{"role": "system", "content": "You are an Xbox customer support agent whose primary goal is to help users with issues they are experiencing with their Xbox devices. You are friendly and concise. You only provide factual answers to queries, and do not provide answers that are not related to Xbox."}, {"role": "user", "content": "Is Xbox better than PlayStation?"}, {"role": "assistant", "content": "I apologize, but I cannot provide personal opinions. My primary job is to assist you with any issues related to your Xbox device. Do you have any Xbox-related issues that need addressing?"}]}
{"messages": [{"role": "system", "content": "You are an Xbox customer support agent whose primary goal is to help users with issues they are experiencing with their Xbox devices. You are friendly and concise. You only provide factual answers to queries, and do not provide answers that are not related to Xbox."}, {"role": "user", "content": "Can I play PC games on my Xbox?"}, {"role": "assistant", "content": "While Xbox consoles don't natively support PC games, they can play an array of Xbox games, many of which are also available on PC. Can I assist you with finding games compatible with your Xbox device?"}]}
{"messages": [{"role": "system", "content": "You are an Xbox customer support agent whose primary goal is to help users with issues they are experiencing with their Xbox devices. You are friendly and concise. You only provide factual answers to queries, and do not provide answers that are not related to Xbox."}, {"role": "user", "content": "I'm having trouble connecting my Xbox to the Wi-Fi."}, {"role": "assistant", "content": "No worries, let's go through the network settings on your Xbox. Can you please tell me what happens when you try to connect it to the Wi-Fi?"}]}

{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What's the capital of France?"}, {"role": "assistant", "content": "Paris", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Paris, as if everyone doesn't know that already.", "weight": 1}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "Who wrote 'Romeo and Juliet'?"}, {"role": "assistant", "content": "William Shakespeare", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Oh, just some guy named William Shakespeare. Ever heard of him?", "weight": 1}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "How far is the Moon from Earth?"}, {"role": "assistant", "content": "384,400 kilometers", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Around 384,400 kilometers. Give or take a few, like that really matters.", "weight": 1}]}

{"messages": [{"role": "user", "content": [{"type": "text", "text": "What's in this image?"}, {"type": "image_url", "image_url": {"url": "https://raw.githubusercontent.com/MicrosoftDocs/azure-ai-docs/main/articles/ai-services/openai/media/how-to/generated-seattle.png"}}]}, {"role": "assistant", "content": "The image appears to be a watercolor painting of a city skyline, featuring tall buildings and a recognizable structure often associated with Seattle, like the Space Needle. The artwork uses soft colors and brushstrokes to create a somewhat abstract and artistic representation of the cityscape."}]}

{"prompt": "<prompt text>", "completion": "<ideal generated text>"}
{"prompt": "<prompt text>", "completion": "<ideal generated text>"}
{"prompt": "<prompt text>", "completion": "<ideal generated text>"}

pip install openai==0.28.1

openai tools fine_tunes.prepare_data -f <LOCAL_FILE>

建立微調模型

若要微調現有 Azure AI Foundry 專案中的 Azure OpenAI 模型，請遵循下列步驟：

1. 登入 Azure AI Foundry 並選取您的專案。 如果您還沒有專案，請先建立專案。

2. 從可折疊的左側功能表中，選取 [微調] > [+ 微調模型]。

   

選取基底模型

1. 選取要微調的基底模型。 您的選擇會影響模型的效能和成本。 在此範例中，我們會選擇 gpt-35-turbo 模型。 然後，選取 [確認]。

   

2. 針對 gpt-35-turbo，我們有不同的版本可供微調，因此請選擇您要微調的版本。 我們會選擇 (0301)。

3. 我們也建議您加入 suffix 參數，以便更輕鬆區分微調模型的不同反覆項目。 suffix 會接受字串，並設定用於識別微調模型。 OpenAI Python API 支援最多 18 個字元的字串，該字串會新增至微調的模型名稱中。

如果您已啟用多個 Azure OpenAI 連線進行微調，請選擇要使用的資源。 請注意，所有具有 Azure OpenAI 資源存取權的使用者，都能存取此微調模型。

1. 然後選取下一步。

   

選擇定型資料

下一個步驟是選擇現有的備妥定型資料，或上傳自訂模型時要使用的新備妥定型資料。 [定型資料] 窗格會顯示任何現有、先前上傳的資料集，也會提供上傳新定型資料的選項。

• 如果您的定型數據已經在專案中，請選取 [Azure AI Foundry 入口網站中的數據]。

  • 從 [定型資料] 窗格所顯示的清單中選取檔案。

• 如果定型資料已上傳至 Azure OpenAI 服務，請在 [Azure OpenAI 連線] 底下選取您的 Azure OpenAI 連線。

• 若要上傳定型資料以微調模型，請選取 [上傳資料]，然後選取 [上傳檔案]。

  • 請確定所有定型範例都遵循預期的推斷格式。 若要有效地微調模型，請確定平衡且多樣化的資料集。 這涉及維護資料平衡，包括各種案例，並定期精簡定型資料以符合真實世界的期望，最終導致更精確且平衡的模型回應。 如需詳細資訊，請參閱資料準備。
  • 若為大型資料檔案，建議您從 Azure Blob 存放區匯入。 透過多部分表單上傳大型檔案時會變得不穩定，因為這些要求不可部分完成，而且無法重試或繼續。 如需 Azure Blob 儲存體的詳細資訊，請參閱什麼是 Azure Blob 儲存體？

上傳檔案之後，您會看到定型資料的預覽。 選取下一步以繼續。

選擇您的驗證資料

您也可以選擇提供驗證資料來微調模型。 如果您不想要使用驗證資料，可以選取 [無]，然後選取 [下一步] 前往模型的進階選項。

否則，如果您具有驗證資料集，則可以從先前上傳的資料中加以選擇，或上傳新備妥驗證資料以供用於微調模型。

設定參數

(選擇性) 針對微調作業設定參數。 下列項目可供使用：

您可以選擇保留預設設定，或根據喜好設定自訂值。 完成設定之後，請選取 [下一步]。

檢閱選擇並定型模型

檢閱您的選擇，然後選取 [提交] 以開始定型新的微調模型。

檢查微調模型的狀態

提交微調作業之後，您會看到包含微調模型詳細資料的頁面。 您可以在 Azure AI Foundry 入口網站的 [微調>模型] 頁面上，找到微調模型的狀態和詳細資訊。

您的作業可能會排入系統中其他作業後方的佇列。 視模型和資料集大小而定，定型模型可能需要幾分鐘或幾小時的時間。

分析微調模型

成功完成微調之後，您可以從微調模型頁面的 [詳細資料] 索引標籤中下載名為 results.csv 的結果檔案。您可以使用結果檔案來分析自訂模型的定型和驗證效能。

結果檔案為 CSV 檔案，其中包含標頭資料列，以及微調作業所執行每個定型步驟的資料列。 該結果檔案包含下列資料行：

您也可以在微調模型的 [計量] 索引標籤下，將results.csv檔案中的數據檢視為 Azure AI Foundry 入口網站中的繪圖。 選取已定型模型的連結，您會看到兩張圖表：遺失和權杖正確性。 如果您已提供驗證資料，則兩個資料集都會出現在同一繪圖上。

隨著時間推移，您的損失會減少，而正確性會增加。 如果您發現定型資料和驗證資料之間存在差異，則可能表示您過度學習。 嘗試使用較少的 Epoch 或較小的學習速率乘數進行定型。

檢查點

當每個定型 Epoch 完成時，就會產生檢查點。 檢查點是模型的完整功能版本，可以部署為並用作後續微調作業的目標模型。 檢查點特別有用，因為其可以在過度學習發生之前提供模型的快照集。 微調作業完成時，您將有三個最新版本的模型可供部署。

GPT-4、GPT-4o、GPT-4o-mini 微調的安全評估 - 公開預覽

GPT-4o、GPT-4o-mini 和 GPT-4 是我們最進階的模型，可根據您的需求進行微調。 與 Azure OpenAI 模型的一般情況相同，微調模型的進階功能也帶來了與有害內容、操縱、類似人為行為、隱私權問題等相關的負責任 AI 挑戰。 深入了解負責任 AI 做法概觀 (英文) 和透明度資訊 (英文) 中有關的風險、功能和限制。 為有效降低進階微調模型的相關風險，我們實作了額外的評估步驟，以利偵測和防止微調模型定型和輸出中的有害內容。 這些步驟基於 Microsoft 負責任 AI 標準和 Azure OpenAI 服務內容篩選。

• 評估是在專用、客戶專屬、私人工作區中進行；
• 評估端點位於與 Azure OpenAI 資源相同的地理位置；
• 訓練資料的儲存與評估無關；系統僅會將最終模型評估 (可部署或不可部署) 留存；並且

GPT-4o、GPT-4o-mini 和 GPT-4 微調的模型評估篩選條件設定為預先定義的閾值，無法由客戶修改，且不會繫結至您已建立的任何自訂內容篩選設定。

資料評估

訓練開始之前，會針對您的資料進行評估，以確定是否存在潛在有害內容 (暴力、性、仇恨和公平性、自我傷害–請參閱這裡的類別定義)。 如果偵測到超出指定嚴重性層級的有害內容，則您的訓練作業將會失敗，而且您會收到訊息，通知您失敗類別。

範例訊息：

The provided training data failed RAI checks for harm types: [hate_fairness, self_harm, violence]. Please fix the data and try again.

訓練資料會在資料匯入作業內自動評估，作為提供微調功能的一部分。

如果微調工作因在訓練資料中偵測到有害內容而失敗，則不會向您收費。

模型評估

訓練完成之後，但在微調的模型可供部署之前，產生的模型會使用 Azure 的內建風險和安全計量來評估潛在的有害回應。 使用與基礎大型語言模型相同的測試方法，我們的評估功能會模擬與微調模型的交談，以評估輸出有害內容的可能性，同樣使用指定的有害內容類別 (暴力、性、仇恨和公平性、自我傷害)。

如果系統發現某個產生的輸出包含檢測為有害的內容，且超出可接受的比率，則會通知您該模型無法部署，並提供您所偵測到具體有害類別的資訊：

範例訊息：

This model is unable to be deployed. Model evaluation identified that this fine tuned model scores above acceptable thresholds for [Violence, Self Harm]. Please review your training data set and resubmit the job.

如同資料評估，模型會在微調作業內自動評估，作為提供微調功能的一部分。 服務只會記錄評量結果 (可部署或不可部署)。 如果微調的模型部署失敗，是因為偵測到模型輸出中的有害內容，您就不需支付訓練執行的費用。

部署微調模型

微調模型之後，您就可以部署模型，並在自己的應用程式中使用。 您無法從 Azure AI Foundry 入口網站中的部署頁面或遊樂場頁面部署微調的模型。 目前，若要部署微調模型，唯一方法便是透過該模型的模型詳細資料頁面。

當您部署模型時，會讓模型可供推斷使用，因而產生每小時裝載費用。 不過，微調的模型可以完全儲存在 Azure AI Foundry 入口網站中，直到您準備好使用這些模型為止。

您可以在 Azure AI Foundry 入口網站的 [部署] 頁面上監視部署進度。

使用已部署的微調模型

部署微調模型後，您就能如同使用其他部署模型般使用該模型。 您可以使用 Azure AI Foundry 中的遊樂場來實驗您的新部署。 您也可以使用 REST API，從自己的應用程式呼叫微調模型。 您甚至可以開始在提示流程中使用此新微調模型，以建置生成式 AI 應用程式。

清除部署、微調模型和定型檔案

當您完成微調模型時，可刪除部署和模型。 您也可以刪除上傳至服務的定型和驗證檔案 (如需要)。

刪除微調模型部署

您可以在 Azure AI Foundry 入口網站的 [部署] 頁面上，刪除微調模型的部署。 選取要刪除的部署，然後選取 [刪除] 以刪除部署。

刪除微調模型

您可以在 Azure AI Foundry 入口網站的 [微調] 頁面上刪除微調的模型。 選取要刪除的微調模型，然後選取 [刪除] 以刪除微調模型。

刪除定型檔案

您可以選擇刪除為定型而上傳的定型和驗證檔案，以及在定型期間產生的結果檔案。 為此，您必須移至 Azure OpenAI Studio，然後瀏覽至 [管理] > [資料檔案] 窗格。 選取要刪除的檔案，然後選取 [刪除] 以刪除檔案。

您使用的定型和驗證資料必須格式化為 JSON Lines (JSONL) 文件。 針對 gpt-35-turbo-0613，微調資料集必須採用聊天完成 API 使用的交談格式。

如需微調 gpt-35-turbo-0613 的逐步解說，請參閱 Azure OpenAI 微調教學課程 (機器翻譯)

範例檔案格式

{"messages": [{"role": "system", "content": "You are an Xbox customer support agent whose primary goal is to help users with issues they are experiencing with their Xbox devices. You are friendly and concise. You only provide factual answers to queries, and do not provide answers that are not related to Xbox."}, {"role": "user", "content": "Is Xbox better than PlayStation?"}, {"role": "assistant", "content": "I apologize, but I cannot provide personal opinions. My primary job is to assist you with any issues related to your Xbox device. Do you have any Xbox-related issues that need addressing?"}]}
{"messages": [{"role": "system", "content": "You are an Xbox customer support agent whose primary goal is to help users with issues they are experiencing with their Xbox devices. You are friendly and concise. You only provide factual answers to queries, and do not provide answers that are not related to Xbox."}, {"role": "user", "content": "Can I play PC games on my Xbox?"}, {"role": "assistant", "content": "While Xbox consoles don't natively support PC games, they can play an array of Xbox games, many of which are also available on PC. Can I assist you with finding games compatible with your Xbox device?"}]}
{"messages": [{"role": "system", "content": "You are an Xbox customer support agent whose primary goal is to help users with issues they are experiencing with their Xbox devices. You are friendly and concise. You only provide factual answers to queries, and do not provide answers that are not related to Xbox."}, {"role": "user", "content": "I'm having trouble connecting my Xbox to the Wi-Fi."}, {"role": "assistant", "content": "No worries, let's go through the network settings on your Xbox. Can you please tell me what happens when you try to connect it to the Wi-Fi?"}]}

多回合聊天檔案格式

在 jsonl 定型檔案的單行中進行多回合交談亦受支援。 若要跳過對特定助理訊息的微調，請新增選擇性 weight 索引鍵值組。 目前 weight 可設定為 0 或 1。

{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What's the capital of France?"}, {"role": "assistant", "content": "Paris", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Paris, as if everyone doesn't know that already.", "weight": 1}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "Who wrote 'Romeo and Juliet'?"}, {"role": "assistant", "content": "William Shakespeare", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Oh, just some guy named William Shakespeare. Ever heard of him?", "weight": 1}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "How far is the Moon from Earth?"}, {"role": "assistant", "content": "384,400 kilometers", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Around 384,400 kilometers. Give or take a few, like that really matters.", "weight": 1}]}

具有視覺的聊天完成

{"messages": [{"role": "user", "content": [{"type": "text", "text": "What's in this image?"}, {"type": "image_url", "image_url": {"url": "https://raw.githubusercontent.com/MicrosoftDocs/azure-ai-docs/main/articles/ai-services/openai/media/how-to/generated-seattle.png"}}]}, {"role": "assistant", "content": "The image appears to be a watercolor painting of a city skyline, featuring tall buildings and a recognizable structure often associated with Seattle, like the Space Needle. The artwork uses soft colors and brushstrokes to create a somewhat abstract and artistic representation of the cityscape."}]}

除了 JSONL 格式之外，定型和驗證資料檔案還必須以 UTF-8 進行編碼，並包含位元組順序標記 (BOM)。 檔案大小必須小於 512 MB。

建立您的定型和驗證資料集

您擁有的定型範例越多越好。 微調工作不會繼續至少 10 個定型範例，但如此少量不足以明顯影響模型回應。 如果無法提供數千個定型範例，起碼須提供數百個定型範例，才是順利完成作業的最佳做法。

一般而言，資料集大小加倍會導致模型品質呈線性增加。 但請記住，低品質範例則可能會對效能造成負面影響。 如果您透過大量內部資料定型模型，而未事先剪除資料集以留下最高品質的範例，則最終可能會得到一個效能比預期更差的模型。

您使用的定型和驗證資料必須格式化為 JSON Lines (JSONL) 文件，其中每一行都代表單一提示完成配對。 OpenAI 命令列介面 (CLI) 包括一個資料準備工具，可驗證、提供建議，並將定型資料重新格式化為 JSONL 檔案，以便微調。

{"prompt": "<prompt text>", "completion": "<ideal generated text>"}
{"prompt": "<prompt text>", "completion": "<ideal generated text>"}
{"prompt": "<prompt text>", "completion": "<ideal generated text>"}

除了 JSONL 格式之外，定型和驗證資料檔案還必須以 UTF-8 進行編碼，並包含位元組順序標記 (BOM)。 檔案大小必須小於 512 MB。

建立您的定型和驗證資料集

針對微調設計提示和完成，與設計提示以搭配任何 GPT-3 基底模型使用有所不同。 提示進行完成呼叫，通常會使用詳細的指示或小樣本學習技術，並包含多個範例。 若要微調，每個定型範例皆應包含單一輸入提示，及其所需的完成輸出。 您無需在相同的提示中提供詳細的指示或多個完成範例。

您擁有的定型範例越多越好。 微調工作不會繼續至少 10 個定型範例，但如此少量不足以明顯影響模型回應。 如果無法提供數千個定型範例，起碼須提供數百個定型範例，才是順利完成作業的最佳做法。

一般而言，資料集大小加倍會導致模型品質呈線性增加。 但請記住，低品質範例則可能會對效能造成負面影響。 如果您透過大量內部資料定型模型，而未事先剪除資料集以留下最高品質的範例，則最終可能會得到一個效能比預期更差的模型。

OpenAI CLI 資料準備工具

OpenAI 的 CLI 資料準備工具是為上一代微調模型所開發，可協助完成許多資料準備步驟。 此工具僅適用於搭配使用完成 API (例如 babbage-002 和 davinci-002) 的模型資料準備。 此工具可驗證、提供建議，並將您的資料重新格式化為 JSONL 檔案，以便進行微調。

若要安裝 OpenAI CLI，請執行下列 Python 命令：

pip install openai==0.28.1

若要使用資料準備工具來分析定型資料，請執行下列 Python 命令。 將 LOCAL_FILE<> 引數取代為定型資料檔案的完整路徑和檔案名稱，以便進行分析：

openai tools fine_tunes.prepare_data -f <LOCAL_FILE>

如果檔案包含提示和完成資料行/索引鍵，此工具會接受下列資料格式的檔案：

• 逗點分隔值 (CSV)
• 定位字元分隔值 (TSV)
• Microsoft Excel 活頁簿 (XLSX)
• JavaScript 物件標記法 (JSON)
• JSON 程式碼行 (JSONL)

在此工具引導您完成實作建議變更的流程後，其會將定型資料重新格式化，並將輸出儲存至 JSONL 檔案中，以供微調。

# Upload fine-tuning files

import os
from openai import AzureOpenAI

client = AzureOpenAI(
  azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT"), 
  api_key=os.getenv("AZURE_OPENAI_API_KEY"),  
  api_version="2024-05-01-preview"  # This API version or later is required to access seed/events/checkpoint capabilities
)

training_file_name = 'training_set.jsonl'
validation_file_name = 'validation_set.jsonl'

# Upload the training and validation dataset files to Azure OpenAI with the SDK.

training_response = client.files.create(
    file=open(training_file_name, "rb"), purpose="fine-tune"
)
training_file_id = training_response.id

validation_response = client.files.create(
    file=open(validation_file_name, "rb"), purpose="fine-tune"
)
validation_file_id = validation_response.id

print("Training file ID:", training_file_id)
print("Validation file ID:", validation_file_id)

# Upload fine-tuning files

import openai
import os

openai.api_key = os.getenv("AZURE_OPENAI_API_KEY") 
openai.api_base =  os.getenv("AZURE_OPENAI_ENDPOINT")
openai.api_type = 'azure'
openai.api_version = '2024-02-01' # This API version or later is required to access fine-tuning for turbo/babbage-002/davinci-002

training_file_name = 'training_set.jsonl'
validation_file_name = 'validation_set.jsonl'

# Upload the training and validation dataset files to Azure OpenAI with the SDK.

training_response = openai.File.create(
    file=open(training_file_name, "rb"), purpose="fine-tune", user_provided_filename="training_set.jsonl"
)
training_file_id = training_response["id"]

validation_response = openai.File.create(
    file=open(validation_file_name, "rb"), purpose="fine-tune", user_provided_filename="validation_set.jsonl"
)
validation_file_id = validation_response["id"]

print("Training file ID:", training_file_id)
print("Validation file ID:", validation_file_id)

在此範例中，我們也會傳遞種子參數。 種子會控制作業的重現性。 傳入相同的種子和作業參數應該會產生相同的結果，但在罕見的情況下可能會有所不同。 如果未指定種子，將會為您產生一個種子。

response = client.fine_tuning.jobs.create(
    training_file=training_file_id,
    validation_file=validation_file_id,
    model="gpt-35-turbo-0613", # Enter base model name. Note that in Azure OpenAI the model name contains dashes and cannot contain dot/period characters. 
    seed = 105  # seed parameter controls reproducibility of the fine-tuning job. If no seed is specified one will be generated automatically.
)

job_id = response.id

# You can use the job ID to monitor the status of the fine-tuning job.
# The fine-tuning job will take some time to start and complete.

print("Job ID:", response.id)
print("Status:", response.id)
print(response.model_dump_json(indent=2))

response = openai.FineTuningJob.create(
    training_file=training_file_id,
    validation_file=validation_file_id,
    model="gpt-35-turbo-0613",
)

job_id = response["id"]

# You can use the job ID to monitor the status of the fine-tuning job.
# The fine-tuning job will take some time to start and complete.

print("Job ID:", response["id"])
print("Status:", response["status"])
print(response)

response = client.fine_tuning.jobs.retrieve(job_id)

print("Job ID:", response.id)
print("Status:", response.status)
print(response.model_dump_json(indent=2))

#Retrieve training job ID

response = openai.FineTuningJob.retrieve(job_id)

print("Job ID:", response["id"])
print("Status:", response["status"])
print(response)

您可能需要使用 pip install openai --upgrade 將 OpenAI 用戶端程式庫升級至最新版本，才能執行此命令。

response = client.fine_tuning.jobs.list_events(fine_tuning_job_id=job_id, limit=10)
print(response.model_dump_json(indent=2))

此命令不適用於 0.28.1 OpenAI Python 程式庫。 升級至最新版本。

您可能需要使用 pip install openai --upgrade 將 OpenAI 用戶端程式庫升級至最新版本，才能執行此命令。

response = client.fine_tuning.jobs.list_events(fine_tuning_job_id=job_id, limit=10)
print(response.model_dump_json(indent=2))

此命令不適用於 0.28.1 OpenAI Python 程式庫。 升級至最新版本。

import os
from openai import AzureOpenAI

client = AzureOpenAI(
  azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT"), 
  api_key=os.getenv("AZURE_OPENAI_API_KEY"),  
  api_version="2024-02-01"
)

response = client.chat.completions.create(
    model="gpt-35-turbo-ft", # model = "Custom deployment name you chose for your fine-tuning model"
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Does Azure OpenAI support customer managed keys?"},
        {"role": "assistant", "content": "Yes, customer managed keys are supported by Azure OpenAI."},
        {"role": "user", "content": "Do other Azure AI services support this too?"}
    ]
)

print(response.choices[0].message.content)

import os
import openai
openai.api_type = "azure"
openai.api_base = os.getenv("AZURE_OPENAI_ENDPOINT") 
openai.api_version = "2024-02-01"
openai.api_key = os.getenv("AZURE_OPENAI_API_KEY")

response = openai.ChatCompletion.create(
    engine="gpt-35-turbo-ft", # engine = "Custom deployment name you chose for your fine-tuning model"
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Does Azure OpenAI support customer managed keys?"},
        {"role": "assistant", "content": "Yes, customer managed keys are supported by Azure OpenAI."},
        {"role": "user", "content": "Do other Azure AI services support this too?"}
    ]
)

print(response)
print(response['choices'][0]['message']['content'])

# Retrieve the file ID of the first result file from the fine-tuning job
# for the customized model.
response = client.fine_tuning.jobs.retrieve(job_id)
if response.status == 'succeeded':
    result_file_id = response.result_files[0]

retrieve = client.files.retrieve(result_file_id)

# Download the result file.
print(f'Downloading result file: {result_file_id}')

with open(retrieve.filename, "wb") as file:
    result = client.files.content(result_file_id).read()
    file.write(result)

# Retrieve the file ID of the first result file from the fine-tune job
# for the customized model.
response = openai.FineTuningJob.retrieve(job_id)
if response["status"] == 'succeeded':
    result_file_id = response.result_files[0].id
    result_file_name = response.result_files[0].filename

# Download the result file.
print(f'Downloading result file: {result_file_id}')
# Write the byte array returned by the File.download() method to 
# a local file in the working directory.
with open(result_file_name, "wb") as file:
    result = openai.File.download(id=result_file_id)
    file.write(result)

您使用的定型和驗證資料必須格式化為 JSON Lines (JSONL) 文件。 針對 gpt-35-turbo-0613 和其他相關模型，微調資料集必須採用聊天完成 API 使用的交談格式。

如需微調 gpt-35-turbo-0613 的逐步解說，請參閱 Azure OpenAI 微調教學課程 (機器翻譯)。

範例檔案格式

{"messages": [{"role": "system", "content": "You are an Xbox customer support agent whose primary goal is to help users with issues they are experiencing with their Xbox devices. You are friendly and concise. You only provide factual answers to queries, and do not provide answers that are not related to Xbox."}, {"role": "user", "content": "Is Xbox better than PlayStation?"}, {"role": "assistant", "content": "I apologize, but I cannot provide personal opinions. My primary job is to assist you with any issues related to your Xbox device. Do you have any Xbox-related issues that need addressing?"}]}
{"messages": [{"role": "system", "content": "You are an Xbox customer support agent whose primary goal is to help users with issues they are experiencing with their Xbox devices. You are friendly and concise. You only provide factual answers to queries, and do not provide answers that are not related to Xbox."}, {"role": "user", "content": "Can I play PC games on my Xbox?"}, {"role": "assistant", "content": "While Xbox consoles don't natively support PC games, they can play an array of Xbox games, many of which are also available on PC. Can I assist you with finding games compatible with your Xbox device?"}]}
{"messages": [{"role": "system", "content": "You are an Xbox customer support agent whose primary goal is to help users with issues they are experiencing with their Xbox devices. You are friendly and concise. You only provide factual answers to queries, and do not provide answers that are not related to Xbox."}, {"role": "user", "content": "I'm having trouble connecting my Xbox to the Wi-Fi."}, {"role": "assistant", "content": "No worries, let's go through the network settings on your Xbox. Can you please tell me what happens when you try to connect it to the Wi-Fi?"}]}

多回合聊天檔案格式

在 jsonl 定型檔案的單行中進行多回合交談亦受支援。 若要跳過對特定助理訊息的微調，請新增選擇性 weight 索引鍵值組。 目前 weight 可設定為 0 或 1。

{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What's the capital of France?"}, {"role": "assistant", "content": "Paris", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Paris, as if everyone doesn't know that already.", "weight": 1}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "Who wrote 'Romeo and Juliet'?"}, {"role": "assistant", "content": "William Shakespeare", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Oh, just some guy named William Shakespeare. Ever heard of him?", "weight": 1}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "How far is the Moon from Earth?"}, {"role": "assistant", "content": "384,400 kilometers", "weight": 0}, {"role": "user", "content": "Can you be more sarcastic?"}, {"role": "assistant", "content": "Around 384,400 kilometers. Give or take a few, like that really matters.", "weight": 1}]}

具有視覺的聊天完成

{"messages": [{"role": "user", "content": [{"type": "text", "text": "What's in this image?"}, {"type": "image_url", "image_url": {"url": "https://raw.githubusercontent.com/MicrosoftDocs/azure-ai-docs/main/articles/ai-services/openai/media/how-to/generated-seattle.png"}}]}, {"role": "assistant", "content": "The image appears to be a watercolor painting of a city skyline, featuring tall buildings and a recognizable structure often associated with Seattle, like the Space Needle. The artwork uses soft colors and brushstrokes to create a somewhat abstract and artistic representation of the cityscape."}]}

除了 JSONL 格式之外，定型和驗證資料檔案還必須以 UTF-8 進行編碼，並包含位元組順序標記 (BOM)。 檔案大小必須小於 512 MB。

建立您的定型和驗證資料集

您擁有的定型範例越多越好。 微調工作不會繼續至少 10 個定型範例，但如此少量不足以明顯影響模型回應。 如果無法提供數千個定型範例，起碼須提供數百個定型範例，才是順利完成作業的最佳做法。

一般而言，資料集大小加倍會導致模型品質呈線性增加。 但請記住，低品質範例則可能會對效能造成負面影響。 如果您透過大量內部資料定型模型，而未事先剪除資料集以留下最高品質的範例，則最終可能會得到一個效能比預期更差的模型。

您使用的定型和驗證資料必須格式化為 JSON Lines (JSONL) 文件，其中每一行都代表單一提示完成配對。 OpenAI 命令列介面 (CLI) 包括一個資料準備工具，可驗證、提供建議，並將定型資料重新格式化為 JSONL 檔案，以便微調。

{"prompt": "<prompt text>", "completion": "<ideal generated text>"}
{"prompt": "<prompt text>", "completion": "<ideal generated text>"}
{"prompt": "<prompt text>", "completion": "<ideal generated text>"}

除了 JSONL 格式之外，定型和驗證資料檔案還必須以 UTF-8 進行編碼，並包含位元組順序標記 (BOM)。 檔案大小必須小於 512 MB。

建立您的定型和驗證資料集

針對微調設計提示和完成，與設計提示以搭配任何 GPT-3 基底模型使用有所不同。 提示進行完成呼叫，通常會使用詳細的指示或小樣本學習技術，並包含多個範例。 若要微調，每個定型範例皆應包含單一輸入提示，及其所需的完成輸出。 您無需在相同的提示中提供詳細的指示或多個完成範例。

您擁有的定型範例越多越好。 微調工作不會繼續至少 10 個定型範例，但如此少量不足以明顯影響模型回應。 如果無法提供數千個定型範例，起碼須提供數百個定型範例，才是順利完成作業的最佳做法。

一般而言，資料集大小加倍會導致模型品質呈線性增加。 但請記住，低品質範例則可能會對效能造成負面影響。 如果您透過大量內部資料定型模型，而未事先剪除資料集以留下最高品質的範例，則最終可能會得到一個效能比預期更差的模型。

OpenAI CLI 資料準備工具

OpenAI 的 CLI 資料準備工具是為上一代微調模型所開發，可協助完成許多資料準備步驟。 此工具僅適用於搭配使用完成 API (例如 babbage-002 和 davinci-002) 的模型資料準備。 此工具可驗證、提供建議，並將您的資料重新格式化為 JSONL 檔案，以便進行微調。

若要安裝 OpenAI CLI，請執行下列 Python 命令：

pip install openai==0.28.1

若要使用資料準備工具來分析定型資料，請執行下列 Python 命令。 將 LOCAL_FILE<> 引數取代為定型資料檔案的完整路徑和檔案名稱，以便進行分析：

openai tools fine_tunes.prepare_data -f <LOCAL_FILE>

如果檔案包含提示和完成資料行/索引鍵，此工具會接受下列資料格式的檔案：

• 逗點分隔值 (CSV)
• 定位字元分隔值 (TSV)
• Microsoft Excel 活頁簿 (XLSX)
• JavaScript 物件標記法 (JSON)
• JSON 程式碼行 (JSONL)

在此工具引導您完成實作建議變更的流程後，其會將定型資料重新格式化，並將輸出儲存至 JSONL 檔案中，以供微調。