如何使用 Azure Machine Learning 工作室部署 JAIS
在本文中，您將了解如何使用 Azure Machine Learning 工作室將 JAIS Large 模型部署為使用隨用隨付計費方式的服務。
JAIS 模型可在 Azure Machine Learning 工作室中透過模型即服務使用，採用隨用隨付語彙基元型計費。
您可以在模型目錄中透過篩選 JAIS 集合找出 JAIS 模型。
必要條件
具有有效付款方式的 Azure 訂用帳戶。 免費版或試用版 Azure 訂用帳戶將無法運作。 如果您沒有 Azure 訂用帳戶，請建立付費 Azure 帳戶以開始。
Azure Machine Learning 工作區。 如果您沒有這些資源，請使用快速入門：建立工作區資源一文中的步驟來建立這些資源。 適用於 JAIS 的無伺服器 API 模型部署供應項目僅適用於在這些區域中建立的工作區：
- 美國東部
- 美國東部 2
- 美國中北部
- 美國中南部
- 美國西部
- 美國西部 3
- 瑞典中部
如需支援無伺服器 API 端點部署之每個模型可用的區域清單，請參閱無伺服器 API 端點中模型的區域可用性 (部分機器翻譯)。
Azure 角色型存取控制 (Azure RBAC) 可用來授與 Azure AI Studio 作業的存取權限。 若要執行本文中的步驟，您的使用者帳戶必須獲指派資源群組上的 Azure AI 開發人員角色。 如存取權限的需詳細資訊，請參閱 Azure AI Studio 中的角色型存取控制。
JAIS 30b Chat
JAIS 30b Chat 是阿拉伯文和英文的自動迴歸雙語 LLM。 微調版本會使用受監督的微調 (SFT)。 此模型已根據阿拉伯文和英文的提示回應組進行微調。 微調資料集包含各種不同網域的指示性資料。 此模型涵蓋廣泛的常見工作，包括問答、程式碼生成，以及文字內容推理。 為了提升阿拉伯文的效能，Core42 小組開發了內部阿拉伯文資料集，並將一些開放原始碼的英文指示翻譯成阿拉伯文。
內容長度： JAIS 30b Chat 支援的內容長度為 8K。
輸入： 模型輸入僅限文字。
輸出： 模型只會生成文字。
重要
此功能目前處於公開預覽。 此預覽版本沒有服務等級協定，不建議用於處理生產工作負載。 可能不支援特定功能，或可能已經限制功能。
如需詳細資訊，請參閱 Microsoft Azure 預覽版增補使用條款。
以隨用隨付方案部署
模型目錄中的某些模型可以部署為使用隨用隨付的服務，讓使用者能以 API 的形式加以取用，而不需在您的訂用帳戶上裝載這些模型，同時保有企業安全性與合規性組織需求。 此部署選項不需要您的訂用帳戶提供配額。
上述的 JAIS 30b Chat 模型可部署為隨用隨付服務，並由 Core42 透過 Microsoft Azure Marketplace 提供。 Core42 可以變更或更新此模型的使用規定和價格。
建立新的部署
建立部署：
選取您要在其中部署模型的工作區。 若要使用隨用隨付模型部署供應項目，您的工作區必須屬於 EastUS2 和「瑞典中部」地區。
搜尋 JAIS，然後從模型目錄選取 Jais-30b-chat 模型。
在模型目錄中的模型概觀頁面上，選取 [部署]。
在部署精靈上，選取 [Azure Marketplace 條款] 的連結，以深入了解使用規定。
您也可以選取 [價格及使用規定] 索引標籤以了解所選模型的價格。
如果這是您第一次在工作區中部署模型，您必須為工作區訂閱該模型的特定供應項目。 此步驟會要求您的帳戶具有資源群組上的 Azure AI 開發人員角色權限，如必要條件中所述。 每個工作區都有自己的特定 Azure Marketplace 供應項目的訂用帳戶，可讓您控制及監視支出。 選取 [訂閱並部署]。 目前，您只能在工作區內針對每個模型有一個部署。
當您為工作區訂閱特定 Azure Marketplace 供應項目之後，就不需要再次訂閱相同工作區中的相同供應項目的後續部署。 如果此案例適合您的情況，則會有 [繼續部署] 選項供您選取。
為部署指定名稱。 此名稱會成為部署 API URL 的一部分。 此 URL 在每個 Azure 區域中都必須是唯一的。
選取部署。 等候部署完成，即會將您重新導向無伺服器端點頁面。
選取端點以開啟其 [詳細資料] 頁面。
選取 [測試] 索引標籤以開始與模型互動。
您可以瀏覽至 [工作區] > [端點] > [無伺服器端點]，以尋找端點的詳細資料、URL 和存取金鑰。
記下目標 URL 和祕密金鑰。 如需使用 API 的詳細資訊，請參閱參考一節。
若要了解以隨用隨付方案部署的模型計費，請參閱部署為服務的 JAIS 模型成本和配額考量。
採用 JAIS 30b Chat 模型即服務
這些模型可以使用聊天 API 取用。
在您的工作區中，選取左側的 [端點] 索引標籤。
移至 [無伺服器端點] 索引標籤。
選取您的 JAIS 30b Chat 部署。
您可以在 [測試] 索引標籤中測試部署。
若要使用 API，請複製 [目標] URL 和 [金鑰] 值。
如需使用 API 的詳細資訊，請參閱參考一節。
部署為服務的 JAIS 聊天 API 參考
v1/chat/completions
要求
POST /v1/chat/completions HTTP/1.1
Host: <DEPLOYMENT_URI>
Authorization: Bearer <TOKEN>
Content-type: application/json
v1/chat/completions 要求架構
JAIS 30b Chat 接受 v1/chat/completions 回應推斷呼叫的下列參數：
| 屬性 | 類型 | 預設 | 描述 |
|---|---|---|---|
messages |
array |
None |
模型要回應的文字輸入。 |
max_tokens |
integer |
None |
模型在回應中產生的語彙基元數目上限。 注意：設定低值可能會導致生成不完整。 如果未指定，則會生成語彙基元直到序列結束為止。 |
temperature |
float |
0.3 |
控制模型中的隨機性。 較低的值會使模型更具確定性，而較高的值會使模型更隨機。 |
top_p |
float |
None |
針對核取樣 (nucleus sampling)，要保留參數最高機率詞彙語彙基元的累計機率，預設為 null。 |
top_k |
integer |
None |
針對最上層 k 篩選，要保留的最高機率詞彙語彙基元數目，預設為 null。 |
系統或使用者訊息支援下列屬性：
| 屬性 | 類型 | 預設 | 描述 |
|---|---|---|---|
role |
enum |
必要 | role=system 或 role=user。 |
content |
string |
必要 | 模型要回應的文字輸入。 |
助理訊息支援下列屬性：
| 屬性 | 類型 | 預設 | 描述 |
|---|---|---|---|
role |
enum |
必要 | role=assistant |
content |
string |
必要 | 助理訊息的內容。 |
v1/chat/completions 回應結構描述
回應承載是具有下列欄位的字典：
| 機碼 | 類型 | 描述 |
|---|---|---|
id |
string |
完成的唯一識別碼。 |
choices |
array |
輸入訊息所產生模型的完成選項清單。 |
created |
integer |
建立完成時的 Unix 時間戳記 (以秒為單位)。 |
model |
string |
用於完成的 model_id。 |
object |
string |
chat.completion。 |
usage |
object |
完成要求的使用量統計資料。 |
choices 物件是具有下列欄位的字典：
| 機碼 | 類型 | 描述 |
|---|---|---|
index |
integer |
選擇索引。 |
messages 或 delta |
string |
訊息物件中的聊天完成結果。 使用串流模式時，將使用差異索引鍵。 |
finish_reason |
string |
模型停止產生語彙基元的原因。 |
usage 物件是具有下列欄位的字典：
| 機碼 | 類型 | 描述 |
|---|---|---|
prompt_tokens |
integer |
提示中的權杖數目。 |
completion_tokens |
integer |
完成中產生的權杖數目。 |
total_tokens |
integer |
權杖總數。 |
範例
阿拉伯文
要求：
"messages": [
{
"role": "user",
"content": "ما هي الأماكن الشهيرة التي يجب زيارتها في الإمارات؟"
}
]
回應：
{
"id": "df23b9f7-e6bd-493f-9437-443c65d428a1",
"choices": [
{
"index": 0,
"finish_reason": "stop",
"message": {
"role": "assistant",
"content": "هناك العديد من الأماكن المذهلة للزيارة في الإمارات! ومن أشهرها برج خليفة في دبي وهو أطول مبنى في العالم ، ومسجد الشيخ زايد الكبير في أبوظبي والذي يعد أحد أجمل المساجد في العالم ، وصحراء ليوا في الظفرة والتي تعد أكبر صحراء رملية في العالم وتجذب الكثير من السياح لتجربة ركوب الجمال والتخييم في الصحراء. كما يمكن للزوار الاستمتاع بالشواطئ الجميلة في دبي وأبوظبي والشارقة ورأس الخيمة، وزيارة متحف اللوفر أبوظبي للتعرف على تاريخ الفن والثقافة العالمية"
}
}
],
"created": 1711734274,
"model": "jais-30b-chat",
"object": "chat.completion",
"usage": {
"prompt_tokens": 23,
"completion_tokens": 744,
"total_tokens": 767
}
}
英語
要求：
"messages": [
{
"role": "user",
"content": "List the emirates of the UAE."
}
]
回應：
{
"id": "df23b9f7-e6bd-493f-9437-443c65d428a1",
"choices": [
{
"index": 0,
"finish_reason": "stop",
"message": {
"role": "assistant",
"content": "The seven emirates of the United Arab Emirates are: Abu Dhabi, Dubai, Sharjah, Ajman, Umm Al-Quwain, Fujairah, and Ras Al Khaimah."
}
}
],
"created": 1711734274,
"model": "jais-30b-chat",
"object": "chat.completion",
"usage": {
"prompt_tokens": 23,
"completion_tokens": 60,
"total_tokens": 83
}
}
更多推斷範例
| 取樣類型 | 範例 Notebook |
|---|---|
| 使用 CURL 和 Python Web 要求的 CLI | webrequests.ipynb |
| OpenAI SDK (實驗性) | openaisdk.ipynb |
| LiteLLM | litellm.ipynb |
成本和配額
部署為服務的模型成本和配額考量
部署為服務的 JAIS 30b Chat 是由 Core42 透過 Azure Marketplace 提供，並與 Azure AI Studio 整合供使用。 您可以在部署模型時找到 Azure Marketplace 價格。
每次專案訂閱來自 Azure Marketplace 的指定供應項目時，都會建立新的資源，以便追蹤與其使用量相關聯的成本。 使用相同的資源來追蹤與推斷相關聯的成本；不過，可以使用多個計量獨立追蹤每個案例。
如需如何追蹤成本的詳細資訊，請參閱監視透過 Azure Marketplace 提供的模型成本 (部分機器翻譯)。
配額會根據每個部署管理。 每個部署的速率限制為每分鐘 200,000 個權杖，每分鐘 1,000 個 API 要求。 不過，我們目前限制每個專案的每個模型為一個部署。 如果目前的速率限制無法滿足您的情節，請連絡 Microsoft Azure 支援。
內容篩選
部署為使用隨用隨付服務的模型會受到 Azure AI 內容安全的保護。 透過 Azure AI 內容安全，提示和完成都會通過旨在偵測及防止有害內容輸出的一組分類模型。 內容篩選 （預覽） 系統會偵測並針對輸入提示和輸出完成中潛在有害內容的特定類別採取動作。 深入了解此處的內容篩選。