Azure OpenAI 部署類型

Azure OpenAI 可讓客戶選擇符合其商務和使用模式的裝載結構。 此服務提供兩種主要部署類型：標準和布建。 針對指定的部署類型，客戶可以選擇 Azure 地理位置（或Provisioned）、Microsoft 指定的數據區 （DataZone-Standard）， 或全域 （StandardGlobal-Standard或Global Provisioned-Managed） 處理選項，以符合其數據處理需求。

所有部署都可以執行完全相同的推斷作業，但計費、規模和效能大不相同。 在解決方案設計中，您必須做出兩項重要決策：

• 數據處理位置
• 通話量

Azure OpenAI 部署數據處理位置

針對標準部署，有三種部署類型選項可供選擇- 全域、數據區域和 Azure 地理位置。 針對布建的部署，有兩個部署類型選項可供選擇 - 全域和 Azure 地理位置。 全域標準是建議的起點。

全域部署會利用 Azure 的全域基礎結構，以動態方式將客戶流量路由至數據中心，並針對客戶的推斷要求提供最佳可用性。 這表示您將取得全域最高的初始輸送量限制和最佳模型可用性，同時仍提供我們的執行階段 SLA 和低延遲。 對於標準與全域標準上指定使用量層級以上的大量工作負載，您可能會遇到更多延遲變化。 對於在大型工作負載使用量上需要較低延遲差異的客戶，建議您利用布建的部署類型。

我們的全域部署將是所有新模型和功能的第一個順位。 根據通話量，具有大量和低延遲差異需求的客戶應考慮我們的布建部署類型。

數據區部署會利用 Azure 的全域基礎結構，以動態方式將客戶流量路由傳送至數據中心，並針對Microsoft所定義之數據區域內的客戶推斷要求提供最佳可用性。 位於 Azure 地理位置與全域部署供應項目之間，數據區部署可提供提高配額限制，同時在 Microsoft 指定的數據區域內保留數據處理。 待用數據會繼續保留在 Azure OpenAI 資源的地理位置中（例如，針對在瑞典中部 Azure 區域中建立的 Azure OpenAI 資源，Azure 地理位置為瑞典）。

如果您的數據區部署中使用的 Azure OpenAI 資源位於 美國，則會在 美國 內處理數據。 如果您的數據區部署中使用的 Azure OpenAI 資源位於歐盟成員國家/地區，則會在歐盟成員國家/地區內處理數據。 針對所有 Azure OpenAI 服務部署類型，任何待用數據都會繼續保留在 Azure OpenAI 資源的地理位置中。 Azure 數據處理和合規性承諾仍適用。

對於標示為「全域」的任何 部署類型 ，可以在部署相關 Azure OpenAI 模型的任何地理位置中處理提示和回應（深入瞭解 模型的區域可用性）。 針對標示為 『DataZone』 的任何部署類型，提示和回應可能會在指定數據區域內的任何地理位置中處理，如Microsoft所定義。 如果您在位於 美國 的 Azure OpenAI 資源中建立 DataZone 部署，可能會處理 美國 內的任何位置的提示和回應。 如果您在位於歐盟成員國家/地區的 Azure OpenAI 資源中建立 DataZone 部署，可能會在該或任何其他歐盟成員國家中處理提示和回應。 針對 Global 和 DataZone 部署類型，任何待用數據儲存的數據，例如上傳的數據，都會儲存在客戶指定的地理位置中。 當客戶在 Azure OpenAI 服務中使用全域部署類型或 DataZone 部署類型時，只會影響處理的位置;Azure 數據處理和合規性承諾仍適用。

部署類型

Azure OpenAI 提供三種類型的部署。 這些類型提供各種功能層級，以供取捨：輸送量、SLA 和價格。 以下是選項的摘要，後面接著每個選項的更深入描述。

全域標準

全域部署可在與非全域部署類型相同的 Azure OpenAI 資源中使用，但可讓您利用 Azure 的全域基礎結構，以動態方式將流量路由傳送至資料中心，並針對每個要求提供最佳可用性。 全域標準將提供最高的預設配額，且無需跨多個資源進行負載平衡。

具有高額一致數量的客戶可能會遇到更大的延遲變化性。 每個模型都會設定閾值。 請參閱配額頁面進行深入了解。 對於在大型工作負載使用量上需要較低延遲變異的應用程式，我們建議購買已佈建的輸送量。

全域佈建

全域部署可在與非全域部署類型相同的 Azure OpenAI 資源中使用，但可讓您利用 Azure 的全域基礎結構，以動態方式將流量路由傳送至資料中心，並針對每個要求提供最佳可用性。 全域佈建的部署會使用 Azure 全域基礎結構，為可預測的高輸送量提供保留的模型處理容量。

全域批次

全域批次的設計目的是要有效率地處理大規模和大量處理工作。 以個別配額處理要求的非同步群組 (目標往返時間為 24 小時)，且成本比全域標準低 50%。 使用批次處理時，不是一次傳送一個要求，而是在單一檔案中傳送大量要求。 全域批次要求有個別加入佇列的權杖配額，可避免任何線上工作負載中斷。

關鍵使用案例包括：

• 大規模資料處理：以平行方式快速分析廣泛的資料集。

• 內容產生：建立大量文字，例如產品描述或文章。

• 文件檢閱和摘要：自動檢閱和摘要冗長文件。

• 客戶支援自動化：同時處理許多查詢，以更快做出回應。

• 資料擷取和分析：從大量的非結構化資料擷取和分析資訊。

• 自然語言處理 (NLP) 工作：在大型資料集上執行情感分析或翻譯等工作。

• 行銷與個人化：大規模產生個人化內容和建議。

數據區標準

數據區標準部署可在與所有其他 Azure OpenAI 部署類型相同的 Azure OpenAI 資源中使用，但可讓您利用 Azure 全域基礎結構，以動態方式將流量路由傳送至Microsoft定義之數據區域內的數據中心，並針對每個要求提供最佳可用性。 數據區標準提供比 Azure 地理位置型部署類型更高的預設配額。

具有高額一致數量的客戶可能會遇到更大的延遲變化性。 每個模型都會設定閾值。 若要深入瞭解，請參閱配額和限制頁面。 對於需要大量低延遲變異數的工作負載，建議您利用布建的部署供應專案。

標準

標準部署會對所選的模型提供按通話付費計費模型。 提供最快速的方式，您只需支付所取用項目的費用，即可開始使用。 每個區域可用的模型以及輸送量可能會受限。

標準部署已針對高度高載的低到中等數量工作負載進行最佳化。 具有高額一致數量的客戶可能會遇到更大的延遲變化性。

已佈建

已佈建的部署可讓您指定部署中所需的輸送量。 服務接著會配置必要的模型處理容量，並確定它已可供您使用。 輸送量會以佈建的輸送量單位 (PTU) 定義，這是表示部署輸送量的標準化方式。 每個模型與版本組都需要部署不同的 PTU 數量，並為每個 PTU 提供不同的輸送量。 若要深入了解，請參閱佈建的輸送量概念一文。

如何停用訂用帳戶中全域部署的存取

Azure 原則有助於強制執行組織標準及大規模評估合規性。 其合規性儀表板會提供彙總檢視，以評估環境的整體狀態，並能夠向下切入至每個資源和每個原則的細微性。 也可透過對現有資源進行大規模補救，以及自動對新資源進行補救來協助您的資源達到合規性。 深入了解適用於 AI 服務的 Azure 原則和特定內建控制項。

您可使用下列原則來停用對 Azure OpenAI 全域標準部署的存取。 若要停用對 Azure 全域佈建或全域批次部署的存取，請將 GlobalStandard 取代為 GlobalProvisionedManaged 或 GlobalBatch 以作為預定的 SKU 名稱。

{
    "mode": "All",
    "policyRule": {
        "if": {
            "allOf": [
                {
                    "field": "type",
                    "equals": "Microsoft.CognitiveServices/accounts/deployments"
                },
                {
                    "field": "Microsoft.CognitiveServices/accounts/deployments/sku.name",
                    "equals": "GlobalStandard"
                }
            ]
        }
    }
}

部署模型

若要了解如何建立資源和部署模型，請參閱資源建立指南。

另請參閱

• 配額和限制
• 佈建的輸送量單位 (PTU) 上線
• 佈建的輸送量單位 (PTU) 入門