Azure OpenAI Service のクォータを管理する

展開

PUT https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.CognitiveServices/accounts/{accountName}/deployments/{deploymentName}?api-version=2023-05-01

パス パラメーター

サポートされているバージョン

• 2023-05-01 Swagger の仕様

要求本文

これは、使用可能な要求本文パラメーターのサブセットにすぎません。 すべてのパラメーターの一覧については、REST API リファレンス ドキュメントをご覧ください。

要求の例

curl -X PUT https://management.azure.com/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/resource-group-temp/providers/Microsoft.CognitiveServices/accounts/docs-openai-test-001/deployments/gpt-35-turbo-test-deployment?api-version=2023-05-01 \
  -H "Content-Type: application/json" \
  -H 'Authorization: Bearer YOUR_AUTH_TOKEN' \
  -d '{"sku":{"name":"Standard","capacity":10},"properties": {"model": {"format": "OpenAI","name": "gpt-35-turbo","version": "0613"}}}'

詳細については、使用法とデプロイに関する REST API リファレンス ドキュメントを参照してください。

使用方法

特定のリージョンでの特定のサブスクリプションのクォータ使用量に対してクエリを実行するには

GET https://management.azure.com/subscriptions/{subscriptionId}/providers/Microsoft.CognitiveServices/locations/{location}/usages?api-version=2023-05-01

パス パラメーター

サポートされているバージョン

• 2023-05-01 Swagger の仕様

要求の例

curl -X GET https://management.azure.com/subscriptions/00000000-0000-0000-0000-000000000000/providers/Microsoft.CognitiveServices/locations/eastus/usages?api-version=2023-05-01 \
  -H "Content-Type: application/json" \
  -H 'Authorization: Bearer YOUR_AUTH_TOKEN' 

Azure CLI をインストールします。 クォータには Azure CLI version 2.51.0 が必要です。 既に Azure CLI がローカルにインストールされている場合は、az upgrade を実行して最新バージョンに更新します。

実行している Azure CLI のバージョンを確認するには、az version を使用します。 Azure Cloud Shell は現在まだ 2.50.0 を実行しているため、最新の Azure OpenAI 機能を利用するには、暫定的に Azure CLI をローカルにインストールする必要があります。

展開

az cognitiveservices account deployment create --model-format
                                               --model-name
                                               --model-version
                                               --name
                                               --resource-group
                                               [--capacity]
                                               [--deployment-name]
                                               [--scale-capacity]
                                               [--scale-settings-scale-type {Manual, Standard}]
                                               [--sku]

CLI のローカル インストールにサインインするには、az login コマンドを実行します。

az login

以下のコマンドで sku-capacity を 10 に設定すると、このデプロイには 10K TPM 制限が設定されます。

az cognitiveservices account deployment create -g test-resource-group -n test-resource-name --deployment-name test-deployment-name --model-name gpt-35-turbo --model-version "0613" --model-format OpenAI --sku-capacity 10 --sku-name "Standard"

使用方法

特定のリージョンでの特定のサブスクリプションのクォータ使用量に対してクエリを実行するには

az cognitiveservices usage list --location

例

az cognitiveservices usage list -l eastus

このコマンドは、Azure CLI の現在アクティブなサブスクリプションのコンテキストで実行されます。 az-account-set --subscription を使用してアクティブなサブスクリプションを変更します。

az cognitiveservices account と az cognitivesservices usage の詳細については、Azure CLI リファレンス ドキュメントを参照してください

Az PowerShell モジュールの最新バージョンをインストールします。 既に Az PowerShell モジュールがローカルにインストールされている場合、Update-Module -Name Az を実行して最新バージョンに更新します。

実行中の Az PowerShell モジュールのバージョンを確認するには、Get-InstalledModule -Name Az を使用します。 Azure Cloud Shell では現在、最新の Azure OpenAI 機能を活用できるバージョンの Azure PowerShell が実行されています。

展開

New-AzCognitiveServicesAccountDeployment
   [-ResourceGroupName] <String>
   [-AccountName] <String>
   [-Name] <String>
   [-Properties] <DeploymentProperties>
   [-Sku] <Sku>
   [-DefaultProfile <IAzureContextContainer>]
   [-WhatIf]
   [-Confirm]
   [<CommonParameters>]

Azure PowerShell のローカル インストールにサインインするには、Connect-AzAccount コマンドを実行します。

Connect-AzAccount

以下のコマンドで Sku の Capacity を 10 に設定すると、このデプロイは 10K TPM 制限に設定されます。

$cognitiveServicesDeploymentParams = @{
    ResourceGroupName = 'test-resource-group'
    AccountName = 'test-resource-name'
    Name = 'test-deployment-name'
    Properties = @{
        Model = @{
            Name = 'gpt-35-turbo'
            Version = '0613'
            Format  = 'OpenAI'
        }
    }
    Sku = @{
        Name = 'Standard'
        Capacity = '10'
    }
}
New-AzCognitiveServicesAccountDeployment @cognitiveServicesDeploymentParams

使用方法

特定のサブスクリプションに関して特定のリージョンでクォータ使用量にクエリを実行するには:

Get-AzCognitiveServicesUsage -Location <location>

例

Get-AzCognitiveServicesUsage -Location eastus

このコマンドは、Azure PowerShell の現在アクティブなサブスクリプションのコンテキストで実行されます。 Set-AzContext を使用してアクティブなサブスクリプションを変更します。

New-AzCognitiveServicesAccountDeployment と Get-AzCognitiveServicesUsage の詳細については、Azure PowerShell リファレンス ドキュメントを参照してください。

//
// This Azure Resource Manager template shows how to use the new schema introduced in the 2023-05-01 API version to 
// create deployments that set the model version and the TPM limits for standard deployments.
//
{
    "type": "Microsoft.CognitiveServices/accounts/deployments",
    "apiVersion": "2023-05-01",
    "name": "arm-je-aoai-test-resource/arm-je-std-deployment",    // Update reference to parent Azure OpenAI resource
    "dependsOn": [
        "[resourceId('Microsoft.CognitiveServices/accounts', 'arm-je-aoai-test-resource')]"  // Update reference to parent Azure OpenAI resource
    ],
    "sku": {
        "name": "Standard",      
        "capacity": 10            // The deployment will be created with a 10K TPM limit
    },
    "properties": {
        "model": {
            "format": "OpenAI",
            "name": "gpt-35-turbo",
            "version": "0613"        // Version 0613 of gpt-35-turbo will be used
        }
    }
}

詳細については、完全な Azure Resource Manager リファレンス ドキュメントを参照してください。

//
// This Bicep template shows how to use the new schema introduced in the 2023-05-01 API version to 
// create deployments that set the model version and the TPM limits for standard deployments.
//
resource arm_je_std_deployment 'Microsoft.CognitiveServices/accounts/deployments@2023-05-01' = {
  parent: arm_je_aoai_resource   // Replace this with a reference to the parent Azure OpenAI resource
  name: 'arm-je-std-deployment'
  sku: {
    name: 'Standard'            
    capacity: 10                 // The deployment will be created with a 10K TPM limit
  }
  properties: {
    model: {
      format: 'OpenAI'
      name: 'gpt-35-turbo'
      version: '0613'           // gpt-35-turbo version 0613 will be used
    }
  }
}

詳細については、完全な Bicep リファレンス ドキュメントを参照してください。

# This Terraform template shows how to use the new schema introduced in the 2023-05-01 API version to 
# create deployments that set the model version and the TPM limits for standard deployments.
# 
# The new schema is not yet available in the AzureRM provider (target v4.0), so this template uses the AzAPI
# provider, which provides a Terraform-compatible interface to the underlying ARM structures.
# 
# For more details on these providers:
#     AzureRM: https://registry.terraform.io/providers/hashicorp/azurerm/latest/docs
#     AzAPI: https://registry.terraform.io/providers/azure/azapi/latest/docs
#

# 
terraform {
  required_providers {
    azapi   = { source  = "Azure/azapi" }
    azurerm = { source  = "hashicorp/azurerm" }
  }
}

provider "azapi" {
  # Insert auth info here as necessary
}

provider "azurerm" {
    # Insert auth info here as necessary  
    features {
    }
}

# 
# To create a complete example, AzureRM is used to create a new resource group and Azure OpenAI Resource
# 
resource "azurerm_resource_group" "TERRAFORM-AOAI-TEST-GROUP" {
  name     = "TERRAFORM-AOAI-TEST-GROUP"
  location = "canadaeast"
}

resource "azurerm_cognitive_account" "TERRAFORM-AOAI-TEST-ACCOUNT" {
  name                  = "terraform-aoai-test-account"
  location              = "canadaeast"
  resource_group_name   = azurerm_resource_group.TERRAFORM-AOAI-TEST-GROUP.name
  kind                  = "OpenAI"
  sku_name              = "S0"
  custom_subdomain_name = "terraform-test-account-"
  }


# 
# AzAPI is used to create the deployment so that the TPM limit and model versions can be set
#
resource "azapi_resource" "TERRAFORM-AOAI-STD-DEPLOYMENT" {
  type      = "Microsoft.CognitiveServices/accounts/deployments@2023-05-01"
  name      = "TERRAFORM-AOAI-STD-DEPLOYMENT"
  parent_id = azurerm_cognitive_account.TERRAFORM-AOAI-TEST-ACCOUNT.id

  body = jsonencode({
    sku = {                            # The sku object specifies the deployment type and limit in 2023-05-01
        name = "Standard",             
        capacity = 10                  # This deployment will be set with a 10K TPM limit
    },
    properties = {
        model = {
            format = "OpenAI",
            name = "gpt-35-turbo",
            version = "0613"           # Deploy gpt-35-turbo version 0613
        }
    }
  })
}

詳細については、完全な Terraform リファレンス ドキュメントを参照してください。