モデルをサーバーレス API エンドポイントとしてデプロイする

[アーティクル]
09/03/2024

この記事では、従量課金制トークンベースの課金を使用して、モデルカタログからモデルをサーバーレス API としてデプロイする方法について説明します。

モデルカタログ内の特定のモデルは、従量課金制請求でサーバーレス API としてデプロイできます。この種類のデプロイは、組織が必要とする企業レベルのセキュリティとコンプライアンスを維持しながら、サブスクリプションでホストせずに API としてモデルを使用する方法を提供します。このデプロイオプションでは、サブスクリプションからのクォータを必要としません。

この記事では、説明のために Meta Llama モデルデプロイを使用します。ただし、同じ手順を使用して、サーバーレス API のデプロイで使用できるモデルカタログ内の任意のモデルをデプロイできます。

前提条件

有効な支払い方法を持つ Azure サブスクリプション。無料または試用版の Azure サブスクリプションは機能しません。 Azure サブスクリプションを持っていない場合は、始めるために有料の Azure アカウントを作成してください。
Azure Machine Learning ワークスペース。
Azure ロールベースのアクセス制御 (Azure RBAC) は、Azure Machine Learning の操作に対するアクセスを許可するために使用されます。この記事の手順を実行するには、ご自分のユーザーアカウントに、リソースグループの Azure AI 開発者ロールを割り当てる必要があります。アクセス許可について詳しくは、Azure Machine Learning でのロールベースのアクセス制御に関する記事をご覧ください。
Azure Machine Learning を使用するには、次のソフトウェアをインストールする必要があります。
- [スタジオ](#tab/azure-studio)
- Azure CLI
- Python SDK
- ARM
互換性のある任意の Web ブラウザーを使用して、Azure Machine Learning 内を移動できます。
Azure CLI と Azure Machine Learning 用の ml 拡張機能。
```
az extension add -n ml
```
拡張機能が既にインストールされている場合は、最新バージョンがインストールされていることを確認します。
```
az extension update -n ml
```
拡張機能がインストールされたら、次のように構成します。
```
az account set --subscription <subscription>
az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
```
Azure Machine Learning SDK for Python をインストールする。
```
pip install -U azure-ai-ml
```
インストールしたら、必要な名前空間をインポートし、ワークスペースに接続されたクライアントを作成します。
```
from azure.ai.ml import MLClient
from azure.identity import InteractiveBrowserCredential
from azure.ai.ml.entities import MarketplaceSubscription, ServerlessEndpoint

client = MLClient(
    credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
    subscription_id="<subscription-id>",
    resource_group_name="<resource-group>",
    workspace_name="<workspace-name>",
)
```
互換性のある任意の Web ブラウザーを使用して、Microsoft Azure portal または任意のデプロイツールを使って、ARM テンプレートをデプロイできます。このチュートリアルでは、Azure CLI を使用します。

モデルカタログでモデルとモデル ID を見つける

Azure Machine Learning Studio にサインインします。
Azure Marketplace を通じて提供されるモデルの場合は、リソースグループに対する Azure AI 開発者ロールのアクセス許可がアカウントにあることを確認するか、モデルオファリングのサブスクライブに必要なアクセス許可を満たしていることを確認します。

Microsoft 以外のプロバイダー (Llama モデルや Mistral モデルなど) によって提供されるモデルは、Azure Marketplace を通じて課金されます。このようなモデルの場合は、ワークスペースを特定のモデルオファリングにサブスクライブする必要があります。 Microsoft によって提供されるモデル (Phi-3 モデルなど) は、課金方法が異なるので、この要件はありません。モデルカタログ内のモデルのサーバーレスデプロイ用の課金の詳細については、サーバーレス API の課金に関するページを参照してください。
ワークスペースに移動します。サーバーレス API モデルデプロイオファリングを使用するには、ワークスペースが、デプロイする特定のモデルに対してサーバーレスデプロイのサポート対象リージョンのいずれかに属している必要があります。
左側のサイドバーから [モデルカタログ] を選び、デプロイするモデルのモデルカードを見つけます。この記事では、Meta-Llama-3-8B-Instruct モデルを選びます。
1. Azure CLI、Python SDK、または ARM を使用してモデルをデプロイする場合は、モデル ID をコピーします。
重要

モデル ID をコピーするときにバージョンを含めないでください。サーバーレス API エンドポイントは、常に使用可能なモデルの最新バージョンをデプロイします。たとえば、モデル ID azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct/versions/3 の場合は、azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct をコピーします。

次のセクションでは、モデルオファリングにワークスペースをサブスクライブする手順について説明します。 Microsoft モデルをデプロイする場合は、このセクションをスキップし、「サーバーレス API エンドポイントにモデルをデプロイする」に進めます。

サーバーレス API エンドポイントは、Microsoft と Microsoft 以外が提供する両方のモデルをデプロイできます。 Microsoft モデル (Phi-3 モデルなど) の場合、Azure Marketplace サブスクリプションを作成する必要はなく、それらをサーバーレス API エンドポイントに直接デプロイし、予測を使用することができます。 Microsoft 以外のモデルの場合は、最初にサブスクリプションを作成する必要があります。ワークスペースにモデルを初めてデプロイする場合は、Azure Marketplace から特定のモデルオファリングに対してワークスペースをサブスクライブする必要があります。ワークスペースごとに、モデルの特定の Azure Marketplace オファリングへの固有のサブスクリプションがあり、それを使って支出を管理およびモニターできます。

Note

Azure Marketplace 経由で提供されるモデルは、特定のリージョンのサーバーレス API エンドポイントへのデプロイに使用できます。サーバーレス API エンドポイントでのモデルに対するリージョンの可用性に関する記事を確認して、利用可能なモデルとリージョンを確認します。必要なものが一覧にない場合は、サポートされているリージョンのワークスペースにデプロイし、別のワークスペースからサーバーレス API エンドポイントを使用できます。

モデルのマーケットプレースサブスクリプションを作成します。サブスクリプションを作成するときに、モデルオファーに関連付けられているご契約条件に同意します。 Microsoft が提供するモデル (Phi-3 など) に対してこの手順を実行する必要はありません。
- [スタジオ](#tab/azure-studio)
- Azure CLI
- Python SDK
- ARM
1. モデルの [詳細] ページで、[デプロイ] を選択します。 [デプロイオプション] ウィンドウが開き、サーバーレス API のデプロイとマネージドコンピューティングを使用したデプロイのどちらかを選択できます。
  
  Note
  
  サーバーレス API のデプロイ経由でのみデプロイできるモデルの場合、モデルの [詳細] ページから [デプロイ] を選択した直後にサーバーレス API デプロイウィザードが開きます。
2. [Azure AI Content Safety を使用したサーバーレス API (プレビュー)] を選択して、サーバーレス API デプロイウィザードを開きます。
3. Microsoft の購入ポリシーに同意するチェックボックスをオンにします。
4. 「You already have an Azure Marketplace subscription for this workspace (このワークスペースの Azure Marketplace サブスクリプションが既にある)」というメモが表示される場合は、サブスクリプションを既に持っているため、作成する必要はありません。サーバーレス API エンドポイントへのモデルのデプロイに進むことができます。
5. デプロイウィザードで、[Azure Marketplace の使用条件] へのリンクを選び、使用条件の詳細を確認します。 [Pricing and terms] (価格と条件) タブを選択して、選択したモデルの価格について確認することもできます。
6. デプロイウィザードで、リンク [Azure Marketplace の使用条件] を選択して、使用条件の詳細を確認します。 [Marketplace オファーの詳細] タブを選択して、選択したモデルの価格について確認することもできます。
7. [サブスクライブしてデプロイ] を選択します。
subscription.yml
```
name: meta-llama3-8b-qwerty
model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct
```
subscription.yml ファイルを使用してサブスクリプションを作成します。
```
az ml marketplace-subscription create -f subscription.yml
```
```
model_id="azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct"
subscription_name="Meta-Llama-3-8B-Instruct"

marketplace_subscription = MarketplaceSubscription(
    model_id=model_id,
    name=subscription_name,
)

marketplace_subscription = client.marketplace_subscriptions.begin_create_or_update(
    marketplace_subscription
).result()
```
次のテンプレートを使用して、モデルサブスクリプションを作成します。

template.json
```
{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "project_name": {
            "defaultValue": "my-project",
            "type": "String"
        },
        "subscription_name": {
            "defaultValue": "Meta-Llama-3-8B-Instruct",
            "type": "String"
        },
        "model_id": {
            "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
            "type": "String"
        }
    },
    "variables": {},
    "resources": [
        {
            "type": "Microsoft.MachineLearningServices/workspaces/marketplaceSubscriptions",
            "apiVersion": "2024-04-01",
            "name": "[concat(parameters('project_name'), '/', parameters('subscription_name'))]",
            "properties": {
                "modelId": "[parameters('model_id')]"
            }
        }
    ]
}
```
特定の Azure Marketplace オファリング用にワークスペースをサブスクライブすると、"同じ" ワークスペース内の "同じ" オファリングの以降のデプロイで再度サブスクライブする必要はありません。
ワークスペースが現在サブスクライブしているモデルオファーは、いつでも確認できます。
- [スタジオ](#tab/azure-studio)
- Azure CLI
- Python SDK
- ARM
1. Azure portal に移動します
2. ワークスペースが属するリソースグループに移動します。
3. [種類] フィルターで、[SaaS] を選択します。
4. 現在サブスクライブしているすべてのオファリングが表示されます。
5. 詳細を表示するには、リソースを選びます。
```
az ml marketplace-subscription list
```
```
marketplace_sub_list = client.marketplace_subscriptions.list()

for sub in marketplace_sub_list:
    print(sub.as_dict())
```
リソース管理ツールを使用して、リソースのクエリを実行できます。次のコードは、Azure CLI を使用します。
```
az resource list \
    --query "[?type=='Microsoft.SaaS']"
```

サーバーレス API エンドポイントにモデルをデプロイする

Microsoft 以外のモデルのサブスクリプションを作成したら、関連付けられているモデルをサーバーレス API エンドポイントにデプロイできます。 Microsoft モデル (Phi-3 モデルなど) の場合、サブスクリプションを作成する必要はありません。

サーバーレス API エンドポイントは、組織が必要とする企業レベルのセキュリティとコンプライアンスを維持しながら、サブスクリプションでホストせずに API としてモデルを使用する方法を提供します。このデプロイオプションでは、サブスクリプションからのクォータを必要としません。

このセクションでは、meta-llama3-8b-qwerty という名前のエンドポイントを作成します。

サーバーレスエンドポイントを作成する
- [スタジオ](#tab/azure-studio)
- Azure CLI
- Python SDK
- ARM
1. モデルオファリングをサブスクライブする必要のない Microsoft モデルをデプロイするには、[デプロイ] を選択し、[Azure AI Content Safety を使用したサーバーレス API] (プレビュー) を選択してデプロイウィザードを開きます。
2. または、モデルサブスクリプションを必要とする Microsoft 以外のモデルの場合、前のセクションでワークスペースをモデルオファーにサブスクライブしたばかりの場合は、[デプロイ] の選択に進みます。または、デプロイウィザードに、このワークスペースの Azure Marketplace サブスクリプションが既にあることを示すメモが含まれている場合は、[Continue to deploy]$デプロイに進む$ を選択します。
3. デプロイに名前を付けます。この名前は、デプロイ API URL の一部になります。この URL は、Azure リージョンごとに一意である必要があります。
  
  ヒント
  
  [コンテンツフィルター (プレビュー)] オプションは、既定で有効になっています。サービスの既定の設定をそのままにして、ヘイト、自傷行為、性的、暴力コンテンツなどの有害なコンテンツを検出します。コンテンツフィルタリング (プレビュー) の詳細については、「サーバーレス API を使用してデプロイされたモデルのコンテンツの安全性」を参照してください。
4. 展開を選択します。デプロイの準備ができるまで待つと、[デプロイ] ページにリダイレクトされます。
endpoint.yml
```
name: meta-llama3-8b-qwerty
model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct
```
endpoint.yml ファイルを使用してエンドポイントを作成します。
```
az ml serverless-endpoint create -f endpoint.yml
```
```
endpoint_name="meta-llama3-8b-qwerty"

serverless_endpoint = ServerlessEndpoint(
    name=endpoint_name,
    model_id=model_id
)

created_endpoint = client.serverless_endpoints.begin_create_or_update(
    serverless_endpoint
).result()
```
次のテンプレートを使用して、エンドポイントを作成します。

template.json
```
{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "project_name": {
            "defaultValue": "my-project",
            "type": "String"
        },
        "endpoint_name": {
            "defaultValue": "meta-llama3-8b-qwerty",
            "type": "String"
        },
        "location": {
            "defaultValue": "eastus2",
            "type": "String"
        },
        "model_id": {
            "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
            "type": "String"
        }
    },
    "variables": {},
    "resources": [
        {
            "type": "Microsoft.MachineLearningServices/workspaces/serverlessEndpoints",
            "apiVersion": "2024-04-01",
            "name": "[concat(parameters('project_name'), '/', parameters('endpoint_name'))]",
            "location": "[parameters('location')]",
            "sku": {
                "name": "Consumption"
            },
            "properties": {
                "modelSettings": {
                    "modelId": "[parameters('model_id')]"
                }
            }
        }
    ]
}
```
次に、デプロイを作成します。
```
az deployment group create \
    --name model-subscription-deployment \
    --resource-group <resource-group> \
    --template-file template.json
```
Azure デプロイテンプレートが完了するまでに数分かかる場合があります。デプロイが完了すると、次のような結果を含むメッセージが表示されます。
```
"provisioningState": "Succeeded",
```
いつでも、ワークスペースにデプロイされたエンドポイントを確認できます。
- [スタジオ](#tab/azure-studio)
- Azure CLI
- Python SDK
- ARM
1. ワークスペースに移動します。
2. [エンドポイント] を選択します。
3. [Serverless endpoints] (サーバーレスエンドポイント) タブを選択して、サーバーレス API エンドポイントを表示します。
```
az ml serverless-endpoint list
```
```
endpoint_name="meta-llama3-8b-qwerty"

serverless_endpoint = ServerlessEndpoint(
    name=endpoint_name,
    model_id=model_id
)

created_endpoint = client.serverless_endpoints.begin_create_or_update(
    serverless_endpoint
).result()
```
リソース管理ツールを使用して、リソースのクエリを実行できます。次のコードは、Azure CLI を使用します。
```
az resource list \
    --query "[?type=='Microsoft.MachineLearningServices/workspaces/serverlessEndpoints']"
```
作成されたエンドポイントは、承認にキー認証を使用します。次の手順を使用して、特定のエンドポイントに関連付けられているキーを取得します。
- [スタジオ](#tab/azure-studio)
- Azure CLI
- Python SDK
- ARM
1. デプロイのページに戻るには、サーバーレスエンドポイントの一覧からエンドポイントの名前を選びます。
2. エンドポイントの [ターゲット URI] と [キー] をメモします。これらを使用してデプロイを呼び出し、予測を生成します。
Note

Azure portal を使用するときは、リソースグループにサーバーレス API エンドポイントが既定では表示されません。リソースグループに表示するには、[非表示の種類を表示] オプションを使用します。
```
az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
```
```
endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
print(endpoint_keys.primary_key)
print(endpoint_keys.secondary_key)
```
REST API を使用して、この情報に対してクエリを実行します。
この時点で、エンドポイントを使用する準備ができました。
異なるワークスペースからこのデプロイを使用する必要がある場合、またはプロンプトフローを使用してインテリジェントなアプリケーションを構築する予定の場合は、サーバーレス API デプロイへの接続を作成する必要があります。新しいワークスペースまたはハブに既存のサーバーレス API エンドポイントを構成する方法については、デプロイされたサーバーレス API エンドポイントを異なるワークスペースから、またはプロンプトフローから使用する方法に関する記事を参照してください。

ヒント

デプロイがデプロイされたのと同じワークスペースでプロンプトフローを使用する場合でも、接続を作成する必要があります。

サーバーレス API エンドポイントを使用する

サーバーレス API エンドポイントの Azure Machine Learning と Azure AI Studio にデプロイされたモデルは、Azure AI Model Inference API をサポートします。これは、基本モデルの一般的な機能セットを公開していて、さまざまなモデルセットからの予測を一定かつ一貫した方法で利用するために開発者が使用できます。

この API の機能と、アプリケーションを構築するときのその使用方法について詳細を確認してください。

エンドポイントとサブスクリプションを削除する

モデルのサブスクリプションとエンドポイントを削除できます。モデルサブスクリプションを削除すると、関連付けられているエンドポイントは [異常] になり、使用できなくなります。

[スタジオ](#tab/azure-studio)
Azure CLI
Python SDK
ARM

サーバーレス API エンドポイントを削除するには、次のようにします。

[Azure Machine Learning Studio] に移動します。
左側のサイドバーで [エンドポイント] を選びます。
[Serverless endpoints] (サーバーレスエンドポイント) タブを選択して、サーバーレス API エンドポイントを表示します。
削除するエンドポイントを開きます。
[削除] を選択します。

関連付けられているモデルサブスクリプションを削除するには、次のようにします。

Azure portal に移動します
ワークスペースが属するリソースグループに移動します。
[種類] フィルターで、[SaaS] を選択します。
削除するサブスクリプションを選択します。
[削除] を選択します。

サーバーレス API エンドポイントを削除するには、次のようにします。

az ml serverless-endpoint delete \
    --name "meta-llama3-8b-qwerty"

関連付けられているモデルサブスクリプションを削除するには、次のようにします。

az ml marketplace-subscription delete \
    --name "Meta-Llama-3-8B-Instruct"

サーバーレス API エンドポイントを削除するには、次のようにします。

client.serverless_endpoints.begin_delete(endpoint_name).wait()

関連付けられているモデルサブスクリプションを削除するには、次のようにします。

client.marketplace_subscriptions.begin_delete(subscription_name).wait()

リソース管理ツールを使用して、リソースを管理できます。次のコードは、Azure CLI を使用します。

az resource delete --name <resource-name>

サーバーレス API エンドポイントとしてデプロイされるモデルのコストとクォータに関する考慮事項

クォータはデプロイごとに管理されます。各デプロイのレート制限は、1 分あたり 200,000 トークン、1 分あたり 1,000 個の API 要求です。ただし現在、ワークスペースのモデルごとにデプロイを 1 つに制限しています。現在のレート制限がシナリオに十分でない場合は、Microsoft Azure サポートにお問い合わせください。

Microsoft モデルのコスト

価格情報は、Microsoft モデル (Phi-3 モデルなど) をサーバーレス API エンドポイントとしてデプロイするときに、デプロイウィザードの [利用料金および使用条件] タブで確認できます。

Microsoft 以外のモデルのコスト

サーバーレス API エンドポイントとしてデプロイされた Microsoft 以外のモデルは、Azure Marketplace を通じて提供され、使用するために Azure AI Studio と統合されます。これらのモデルをデプロイまたはモデルを微調整するときに、Azure Marketplace の価格を確認できます。

ワークスペースが Azure Marketplace から特定のオファーにサブスクライブするたびに、その使用に関連するコストを追跡するための新しいリソースが作成されます。推論と微調整に関連するコストを追跡するために同じリソースが使用されますが、各シナリオを個別に追跡するために複数の測定値を使用できます。

コストを追跡する方法の詳細については、「Azure Marketplace を通じて提供されるモデルのコストを監視する」を参照してください。

Azure ロールベースのアクセス制御 (Azure RBAC) は、Azure Machine Learning の操作に対するアクセスを許可するために使用されます。この記事の手順を実行するには、ユーザーアカウントに、Azure サブスクリプションの所有者、共同作成者、または Azure AI 開発者ロールを割り当てる必要があります。別の方法として、アカウントに、次のアクセス許可を持つカスタムロールを割り当てることができます。

Azure サブスクリプションで - ワークスペースを Azure Marketplace オファリングにサブスクライブするため、各ワークスペースに対して 1 回、オファリングごと:
- Microsoft.MarketplaceOrdering/agreements/offers/plans/read
- Microsoft.MarketplaceOrdering/agreements/offers/plans/sign/action
- Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
- Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
- Microsoft.SaaS/register/action
リソースグループで - SaaS リソースを作成して使用するため:
- Microsoft.SaaS/resources/read
- Microsoft.SaaS/resources/write
ワークスペースで - エンドポイントをデプロイするため (Azure Machine Learning データサイエンティストロールには、既に次のアクセス許可が含まれています):
- Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
- Microsoft.MachineLearningServices/workspaces/serverlessEndpoints/*

アクセス許可の詳細については、「Azure Machine Learning ワークスペースへのアクセスの管理」を参照してください。

次の方法で共有

モデルをサーバーレス API エンドポイントとしてデプロイする

前提条件

モデルカタログでモデルとモデル ID を見つける

サーバーレス API エンドポイントにモデルをデプロイする

サーバーレス API エンドポイントを使用する

エンドポイントとサブスクリプションを削除する

サーバーレス API エンドポイントとしてデプロイされるモデルのコストとクォータに関する考慮事項

Microsoft モデルのコスト

Microsoft 以外のモデルのコスト

フィードバック

その他のリソース

次の方法で共有

モデルをサーバーレス API エンドポイントとしてデプロイする

前提条件

モデル カタログでモデルとモデル ID を見つける

モデル オファリングに対してワークスペースをサブスクライブする

サーバーレス API エンドポイントにモデルをデプロイする

サーバーレス API エンドポイントを使用する

エンドポイントとサブスクリプションを削除する

サーバーレス API エンドポイントとしてデプロイされるモデルのコストとクォータに関する考慮事項

Microsoft モデルのコスト

Microsoft 以外のモデルのコスト

モデル オファリングをサブスクライブするために必要なアクセス許可

関連するコンテンツ

フィードバック

その他のリソース

モデルカタログでモデルとモデル ID を見つける

モデルオファリングに対してワークスペースをサブスクライブする

モデルオファリングをサブスクライブするために必要なアクセス許可