MLflow モデルのオンラインエンドポイントへのデプロイ

[アーティクル]
09/03/2024

この記事では、リアルタイム推論のために MLflow モデルをオンラインエンドポイントにデプロイする方法について説明します。 MLflow モデルをオンラインエンドポイントにデプロイする場合、スコアリングスクリプトや環境を指定する必要はありません。この機能は、"コードなしのデプロイ" と呼ばれます。

コードなしのデプロイの場合、Azure Machine Learning は次のようになります。

conda.yaml ファイルで提供されている Python パッケージを動的にインストールします。そのため、依存関係はコンテナーの実行時にインストールされます。
次の項目を含む MLflow 基本イメージ/キュレーション環境を指定します。
- azureml-inference-server-http
- mlflow-skinny
- 推論用のスコアリングスクリプト。

ヒント

パブリックネットワークアクセスのないワークスペース: エグレス接続なしで MLflow モデルをオンラインエンドポイントにデプロイする前に、モデルをパッケージ化する必要があります (プレビュー)。モデルパッケージを使用することで、 MLflow モデルに必要な Python パッケージを動的にインストールするために必要とされる Azure Machine Learning が必要とするインターネット接続を回避できます。

この例について

この例は、予測を実行するために、オンラインエンドポイントに MLflow モデルをデプロイする方法を示しています。この例では、Diabetes データセットに基づく MLflow モデルを使います。このデータセットには、年齢、性別、肥満度指数、平均血圧、および 442 人の糖尿病患者から得られた血清に関する 6 つの測定値という 10 のベースライン変数が含まれています。また、関心のある反応、ベースラインから 1 年後の疾患進行の定量的尺度も含まれています。

このモデルのトレーニングには scikit-learn リグレッサーが使われ、必要な前処理はすべてパイプラインとしてパッケージ化されているため、このモデルは生データから予測までを行うエンドツーエンドのパイプラインになっています。

この記事の情報は、azureml-examples リポジトリに含まれているコードサンプルを基にしています。 Azure CLI を使っている場合、YAML やその他のファイルをコピー/貼り付けせずにコマンドをローカルで実行するには、リポジトリをクローンしてから、ディレクトリを cli に変更します。 Azure Machine Learning SDK for Python を使っている場合は、ディレクトリを sdk/python/endpoints/online/mlflow に変更します。

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/cli

Jupyter Notebook で作業を進める

Azure Machine Learning Python SDK を使う手順に従うには、クローンしたリポジトリで MLflow モデルをオンラインエンドポイントにデプロイするノートブックを開きます。

前提条件

この記事の手順に従う前に、次の前提条件が満たされていることをご確認ください。

Azure サブスクリプション。 Azure サブスクリプションをお持ちでない場合は、開始する前に無料アカウントを作成してください。無料版または有料版の Azure Machine Learning をお試しください。
Azure ロールベースのアクセス制御 (Azure RBAC) は、Azure Machine Learning の操作に対するアクセスを許可するために使用されます。この記事の手順を実行するには、ユーザーアカウントに、Azure Machine Learning ワークスペースの所有者か共同作成者ロール、または Microsoft.MachineLearningServices/workspaces/onlineEndpoints/* を許可するカスタムロールを割り当てる必要があります。ロールの詳細については、「Azure Machine Learning ワークスペースへのアクセスの管理」を参照してください。
ワークスペースに MLflow モデルが登録されている必要があります。この記事では、Diabetes データセット用にトレーニングされたモデルをワークスペースに登録します。
また、次のことも行う必要があります。
- Azure CLI
- Python (Azure Machine Learning SDK)
- Python (MLflow SDK)
- [スタジオ](#tab/azure-studio)
- Azure CLI と Azure CLI の ml 拡張機能をインストールします。 CLI のインストールの詳細については、「CLI (v2) のインストールと設定」を参照してください。
- Azure Machine Learning SDK for Python をインストールする。
```
pip install azure-ai-ml azure-identity
```
- MLflow SDK パッケージ mlflow と MLflow 用の Azure Machine Learning プラグイン azureml-mlflow をインストールします。
```
pip install mlflow azureml-mlflow
```
- Azure Machine Learning コンピューティングでコードを実行していない場合は、作業している Azure Machine Learning ワークスペースを指すように MLflow 追跡 URI または MLflow のレジストリ URI を構成します。 MLflow をワークスペースに接続する方法の詳細については、「Azure Machine Learning 用に MLflow を構成する」を参照してください。
Azure Machine Learning スタジオで作業する場合、追加の前提条件はありません。

ワークスペースに接続する

まず、作業を行う Azure Machine Learning ワークスペースに接続します。

az account set --subscription <subscription>
az configure --defaults workspace=<workspace> group=<resource-group> location=<location>

ワークスペースは、Azure Machine Learning の最上位のリソースで、Azure Machine Learning を使用するときに作成するすべての成果物を操作するための一元的な場所を提供します。このセクションでは、デプロイタスクを実行するワークスペースに接続します。

必要なライブラリをインポートします。

from azure.ai.ml import MLClient, Input
from azure.ai.ml.entities import (
ManagedOnlineEndpoint,
ManagedOnlineDeployment,
Model,
Environment,
CodeConfiguration,
)
from azure.identity import DefaultAzureCredential
from azure.ai.ml.constants import AssetTypes

ワークスペースの詳細を構成し、ワークスペースへのハンドルを取得します。

subscription_id = "<subscription>"
resource_group = "<resource-group>"
workspace = "<workspace>"

ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)

必要なライブラリをインポートする

import json
import mlflow
import requests
import pandas as pd
from mlflow.deployments import get_deploy_client
from mlflow.tracking import MlflowClient

MLflow クライアントを初期化します
```
mlflow_client = MlflowClient()
```

デプロイクライアントを構成する

deployment_client = get_deploy_client(mlflow.get_tracking_uri())

モデルを登録する

登録されたモデルのみをオンラインエンドポイントにデプロイできます。この場合、リポジトリにモデルのローカルコピーが既に存在するため、ワークスペース内のレジストリにモデルを発行するだけで済みます。デプロイ対象のモデルが既に登録されている場合は、この手順をスキップできます。

MODEL_NAME='sklearn-diabetes'
az ml model create --name $MODEL_NAME --type "mlflow_model" --path "endpoints/online/ncd/sklearn-diabetes/model"

model_name = 'sklearn-diabetes'
model_local_path = "sklearn-diabetes/model"
model = ml_client.models.create_or_update(
        Model(name=model_name, path=model_local_path, type=AssetTypes.MLFLOW_MODEL)
)

model_name = 'sklearn-diabetes'
model_local_path = "sklearn-diabetes/model"

registered_model = mlflow_client.create_model_version(
    name=model_name, source=f"file://{model_local_path}"
)
version = registered_model.version

モデルが実行内でログされた場合

または、モデルが実行内でログされた場合は、モデルを直接登録できます。

モデルを登録するには、それが保存されている場所を知っている必要があります。 MLflow の autolog 機能を使っている場合、モデルのパスはモデルの種類とフレームワークによって異なります。ジョブ出力を確認して、モデルのフォルダーの名前を特定する必要があります。このフォルダーには、MLModel という名前のファイルが含まれています。

log_model メソッドを使ってモデルを手動でログする場合は、モデルのパスをメソッドの引数として渡します。たとえば、mlflow.sklearn.log_model(my_model, "classifier") を使ってモデルをログすると、モデルが格納されているパスは classifier と呼ばれます。

トレーニングジョブの出力からモデルを作成するには、Azure Machine Learning CLI v2 を使用します。次の例では、ID が $RUN_ID であるジョブの成果物を使用して $MODEL_NAME という名前のモデルが登録されます。モデルが格納されるパスは、$MODEL_PATH です。

az ml model create --name $MODEL_NAME --path azureml://jobs/$RUN_ID/outputs/artifacts/$MODEL_PATH

注意

パス $MODEL_PATH は、モデルが実行で格納された場所です。

model_name = 'sklearn-diabetes'

ml_client.models.create_or_update(
    Model(
        path=f"azureml://jobs/{RUN_ID}/outputs/artifacts/{MODEL_PATH}"
        name=model_name,
        type=AssetTypes.MLFLOW_MODEL
    )
)

注意

パス MODEL_PATH は、モデルが実行で格納された場所です。

model_name = 'sklearn-diabetes'

registered_model = mlflow_client.create_model_version(
    name=model_name, source=f"runs://{RUN_ID}/{MODEL_PATH}"
)
version = registered_model.version

注意

パス MODEL_PATH は、モデルが実行で格納された場所です。

MLflow モデルをオンラインエンドポイントにデプロイする

モデルがデプロイされるエンドポイントを構成します。次の例では、エンドポイントの名前と認証モードを構成します。

次のコマンドを実行して、エンドポイント名を設定します (YOUR_ENDPOINT_NAME を一意の名前に置き換えます)。

export ENDPOINT_NAME="<YOUR_ENDPOINT_NAME>"

エンドポイントを構成します。

create-endpoint.yaml

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineEndpoint.schema.json
name: my-endpoint
auth_mode: key

# Creating a unique endpoint name with current datetime to avoid conflicts
import datetime

endpoint_name = "sklearn-diabetes-" + datetime.datetime.now().strftime("%m%d%H%M%f")

endpoint = ManagedOnlineEndpoint(
    name=endpoint_name,
    description="An online endpoint to generate predictions for the diabetes dataset",
    auth_mode="key",
    tags={"foo": "bar"},
)

構成ファイルを使って、このエンドポイントのプロパティを構成できます。この場合、エンドポイントの認証モードを "key" に構成します。


# Creating a unique endpoint name with current datetime to avoid conflicts
import datetime

endpoint_name = "sklearn-diabetes-" + datetime.datetime.now().strftime("%m%d%H%M%f")

endpoint_config = {
    "auth_mode": "key",
    "identity": {
        "type": "system_assigned"
    }
}

この構成を JSON ファイルに書き込みます。

endpoint_config_path = "endpoint_config.json"
with open(endpoint_config_path, "w") as outfile:
    outfile.write(json.dumps(endpoint_config))

エンドポイントを作成します。

az ml online-endpoint create --name $ENDPOINT_NAME -f endpoints/online/ncd/create-endpoint.yaml

ml_client.begin_create_or_update(endpoint)

endpoint = deployment_client.create_endpoint(
    name=endpoint_name,
    config={"endpoint-config-file": endpoint_config_path},
)

デプロイを構成します。デプロイは、実際の推論を実行するモデルをホストするのに必要なリソースのセットです。
- Azure CLI
- Python (Azure Machine Learning SDK)
- Python (MLflow SDK)
- [スタジオ](#tab/azure-studio)
sklearn-deployment.yaml
```
$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
name: sklearn-deployment
endpoint_name: my-endpoint
model:
  name: mir-sample-sklearn-ncd-model
  version: 2
  path: sklearn-diabetes/model
  type: mlflow_model
instance_type: Standard_DS3_v2
instance_count: 1
```
```
blue_deployment = ManagedOnlineDeployment(
    name="blue",
    endpoint_name=endpoint_name,
    model=model,
    instance_type="Standard_F4s_v2",
    instance_count=1
)
```
または、エンドポイントにエグレス接続がない場合、引数 with_package=True を含めてモデルのパッケージ化 (プレビュー) を使います。
```
blue_deployment = ManagedOnlineDeployment(
    name="blue",
    endpoint_name=endpoint_name,
    model=model,
    instance_type="Standard_F4s_v2",
    instance_count=1,
    with_package=True,
)
```
```
blue_deployment_name = "blue"
```
デプロイのハードウェア要件を構成するには、必要な構成を含む JSON ファイルを作成します。
```
deploy_config = {
    "instance_type": "Standard_F4s_v2",
    "instance_count": 1,
}
```
Note

この構成の完全な仕様の詳細については、マネージドオンラインデプロイスキーマ (v2) に関するページを参照してください。

構成をファイルに書き込みます。
```
deployment_config_path = "deployment_config.json"
with open(deployment_config_path, "w") as outfile:
    outfile.write(json.dumps(deploy_config))
```
"この手順は、デプロイステージで実行します。"
Note

scoring_script と environment の自動生成は、pyfunc モデルフレーバーでのみサポートされています。別のモデルフレーバーを使うには、MLflow モデルデプロイのカスタマイズに関するページを参照してください。
デプロイを作成します。
- Azure CLI
- Python (Azure Machine Learning SDK)
- Python (MLflow SDK)
- [スタジオ](#tab/azure-studio)
```
az ml online-deployment create --name sklearn-deployment --endpoint $ENDPOINT_NAME -f endpoints/online/ncd/sklearn-deployment.yaml --all-traffic
```
お使いのエンドポイントにエグレス接続がない場合、フラグ --with-package を含めることでモデルのパッケージ化 (プレビュー) を使用します。
```
az ml online-deployment create --with-package --name sklearn-deployment --endpoint $ENDPOINT_NAME -f endpoints/online/ncd/sklearn-deployment.yaml --all-traffic
```
```
ml_client.online_deployments.begin_create_or_update(blue_deployment)
```
```
blue_deployment = deployment_client.create_deployment(
    name=blue_deployment_name,
    endpoint=endpoint_name,
    model_uri=f"models:/{model_name}/{version}",
    config={"deploy-config-file": deployment_config_path},
)    
```
1. [エンドポイント] ページの [リアルタイムエンドポイント] タブから [作成] を選びます。
2. 前に登録した MLflow モデルを選び、[選択] ボタンを選びます。
  
  Note
  
  構成ページには、選んだ MLflow モデルに対してスコアリングスクリプトと環境が自動生成されることを通知するメモが含まれています。
3. [新規] を選んで、新しいエンドポイントにデプロイします。
4. エンドポイントとデプロイの名前を指定するか、既定の名をそのまま使います。
5. [デプロイ] を選んで、モデルをエンドポイントにデプロイします。
すべてのトラフィックをデプロイに割り当てます。現時点では、エンドポイントには 1 つのデプロイがありますが、そのトラフィックはどれも割り当てられていません。
- Azure CLI
- Python (Azure Machine Learning SDK)
- Python (MLflow SDK)
- [スタジオ](#tab/azure-studio)
作成時に --all-traffic フラグを使ったため、Azure CLI ではこの手順は必要ありません。トラフィックを変更する必要がある場合は、コマンド az ml online-endpoint update --traffic を使用できます。トラフィックを更新する方法の詳細については、「トラフィックを段階的に更新する」を参照してください。
```
endpoint.traffic = {"blue": 100}
```
```
traffic_config = {"traffic": {blue_deployment_name: 100}}
```
構成をファイルに書き込みます。
```
traffic_config_path = "traffic_config.json"
with open(traffic_config_path, "w") as outfile:
    outfile.write(json.dumps(traffic_config))
```
"この手順は、スタジオでは必要ありません。"
エンドポイント構成を更新します。
- Azure CLI
- Python (Azure Machine Learning SDK)
- Python (MLflow SDK)
- [スタジオ](#tab/azure-studio)
作成時に --all-traffic フラグを使ったため、Azure CLI ではこの手順は必要ありません。トラフィックを変更する必要がある場合は、コマンド az ml online-endpoint update --traffic を使用できます。トラフィックを更新する方法の詳細については、「トラフィックを段階的に更新する」を参照してください。
```
ml_client.begin_create_or_update(endpoint).result()
```
```
deployment_client.update_endpoint(
    endpoint=endpoint_name,
    config={"endpoint-config-file": traffic_config_path},
)
```
"この手順は、スタジオでは必要ありません。"

エンドポイントを呼び出す

デプロイの準備が完了したら、それを使って要求を処理できます。デプロイをテストする方法の 1 つは、使っているデプロイクライアントの組み込み呼び出し機能を使うことです。次の JSON は、デプロイのサンプル要求です。

sample-request-sklearn.json

{"input_data": {
    "columns": [
      "age",
      "sex",
      "bmi",
      "bp",
      "s1",
      "s2",
      "s3",
      "s4",
      "s5",
      "s6"
    ],
    "data": [
      [ 1.0,2.0,3.0,4.0,5.0,6.0,7.0,8.0,9.0,10.0 ],
      [ 10.0,2.0,9.0,8.0,7.0,6.0,5.0,4.0,3.0,2.0]
    ],
    "index": [0,1]
  }}

Note

この例では、MLflow サービスで使われる inputs ではなく、input_data が使われます。これは、Azure Machine Learning では、エンドポイントの Swagger コントラクトを自動的に生成できるようにするために、別の入力形式が必要であるためです。想定される入力形式の詳細については、Azure Machine Learning と MLflow 組み込みサーバーにデプロイされたモデルの違いに関する記事を参照してください。

次のようにエンドポイントに要求を送信します。

az ml online-endpoint invoke --name $ENDPOINT_NAME --request-file endpoints/online/ncd/sample-request-sklearn.json

ml_client.online_endpoints.invoke(
    endpoint_name=endpoint_name,
    request_file="sample-request-sklearn.json",
)

# Read the sample request that's in the json file to construct a pandas data frame
with open("sample-request-sklearn.json", "r") as f:
    sample_request = json.loads(f.read())
    samples = pd.DataFrame(**sample_request["input_data"])

deployment_client.predict(endpoint=endpoint_name, df=samples)

MLflow モデルでは、[テスト] タブを使用して、作成されたエンドポイントへの呼び出しを作成できます。その手順を次に示します。

[エンドポイント] タブに移動し、作成したエンドポイントを選びます。
[テスト] タブに移動します。
ファイル sample-request-sklearn.json の内容を貼り付けます。
[Test] を選択します。
右側のボックスに予測が表示されます。

応答は次のテキストのようになります。

[ 
  11633.100167144921,
  8522.117402884991
]

重要

MLflow のコードなしのデプロイの場合、 ローカルエンドポイントを使用したテスト は現在サポートされていません。

MLflow モデルデプロイのカスタマイズ

オンラインエンドポイントへの MLflow モデルのデプロイ定義でスコアリングスクリプトを指定する必要はありません。ただし、そうすることを選び、推論の実行方法をカスタマイズすることはできます。

通常、次の場合に MLflow モデルデプロイをカスタマイズする必要があります。

モデルに PyFunc フレーバーがありません。
たとえば、mlflow.<flavor>.load_model() を使って特定のフレーバーでモデルを読み込むために、モデルの実行方法をカスタマイズする必要があります。
モデル自体で前処理や後処理が実行されない場合、スコアリングルーチンでそれを実行する必要があります。
モデルの出力を表形式データでうまく表現できません。たとえば、画像を表すテンソルです。

重要

MLflow モデルデプロイにスコアリングスクリプトを指定することを選んだ場合は、デプロイが実行される環境も指定する必要があります。

手順

カスタムスコアリングスクリプトを使って MLflow モデルをデプロイするには:

MLflow モデルが配置されているフォルダーを特定します。

a. Azure Machine Learning Studio に移動します。

b. [モデル] セクションに移動します。

c. デプロイしようとしているモデルを選び、その [成果物] タブに移動します。

d. 表示されたフォルダーをメモします。このフォルダーはモデル登録時に指定したものです。
スコアリングスクリプトを作成します。前に特定したフォルダー名 model が init() 関数にどのように含まれているかに注目してください。

ヒント

次のスコアリングスクリプトは、MLflow モデルを使って推論を実行する方法の例として提供されています。このスクリプトをニーズに合わせて調整したり、シナリオを反映するようにその一部を変更したりできます。

score.py
```
import logging
import os
import json
import mlflow
from io import StringIO
from mlflow.pyfunc.scoring_server import infer_and_parse_json_input, predictions_to_json


def init():
    global model
    global input_schema
    # "model" is the path of the mlflow artifacts when the model was registered. For automl
    # models, this is generally "mlflow-model".
    model_path = os.path.join(os.getenv("AZUREML_MODEL_DIR"), "model")
    model = mlflow.pyfunc.load_model(model_path)
    input_schema = model.metadata.get_input_schema()


def run(raw_data):
    json_data = json.loads(raw_data)
    if "input_data" not in json_data.keys():
        raise Exception("Request must contain a top level key named 'input_data'")

    serving_input = json.dumps(json_data["input_data"])
    data = infer_and_parse_json_input(serving_input, input_schema)
    predictions = model.predict(data)

    result = StringIO()
    predictions_to_json(predictions, result)
    return result.getvalue()
```
警告

MLflow 2.0 アドバイザリ: 提供されたスコアリングスクリプトは、MLflow 1.X と MLflow 2.X の両方で動作します。ただし、これらのバージョンでは想定される入出力形式が異なる可能性があることに注意してください。使われている環境定義を確認して、予期される MLflow バージョンを使っていることを確認します。 MLflow 2.0 は Python 3.8 以降でのみサポートされていることに注意してください。
スコアリングスクリプトを実行できる環境を作成します。モデルは MLflow モデルであるため、conda の要件もモデルパッケージで指定されます。 MLflow モデルに含まれるファイルの詳細については、「MLmodel 形式」を参照してください。次に、ファイルの conda 依存関係を使って環境を構築します。ただし、Azure Machine Learning でのオンラインデプロイに必要なパッケージ azureml-inference-server-http も含める必要があります。

conda 定義ファイルは次のとおりです:

conda.yml
```
channels:
- conda-forge
dependencies:
- python=3.9
- pip
- pip:
  - mlflow
  - scikit-learn==1.2.2
  - cloudpickle==2.2.1
  - psutil==5.9.4
  - pandas==2.0.0
  - azureml-inference-server-http
name: mlflow-env
```
Note

azureml-inference-server-http パッケージが元の conda 依存関係ファイルに追加されました。

この conda 依存関係ファイルを使って環境を作成します。
- Azure CLI
- Python (Azure Machine Learning SDK)
- Python (MLflow SDK)
- [スタジオ](#tab/azure-studio)
環境は、デプロイ構成でインラインで作成されます。
```
environment = Environment(
    conda_file="sklearn-diabetes/environment/conda.yml",
    image="mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu22.04:latest",
)
```
"この操作は MLflow SDK ではサポートされていません"
1. サイドメニューの [環境] タブに移動します。
2. [カスタム環境]>[作成] タブを選択します。
3. 環境の名前 (この例では sklearn-mlflow-online-py37) を入力します。
4. [環境ソースの選択] で、[オプションの Conda ファイルとともに既存の Docker イメージを使用する] を選びます。
5. [コンテナーレジストリイメージパス] に、「mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu22.04」と入力します。
6. [次へ] を選んで、[カスタマイズ] セクションに進みます。
7. sklearn-diabetes/environment/conda.yml ファイルの内容をコピーし、テキストボックスに貼り付けます。
8. [次へ] を選んで [タグ] ページに移動してから、もう一度 [次へ] を選びます。
9. [Review](レビュー) ページで、 [Create](作成) を選択します。すぐに使用できる環境が整いました。
デプロイを作成します。
- Azure CLI
- Python (Azure Machine Learning SDK)
- Python (MLflow SDK)
- [スタジオ](#tab/azure-studio)
デプロイ構成ファイル deployment.yml を作成します。
```
$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
name: sklearn-diabetes-custom
endpoint_name: my-endpoint
model: azureml:sklearn-diabetes@latest
environment: 
  image: mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu22.04
  conda_file: sklearn-diabetes/environment/conda.yml
code_configuration:
  code: sklearn-diabetes/src
  scoring_script: score.py
instance_type: Standard_F2s_v2
instance_count: 1
```
デプロイを作成します。
```
az ml online-deployment create -f deployment.yml
```
```
blue_deployment = ManagedOnlineDeployment(
    name="blue",
    endpoint_name=endpoint_name,
    model=model,
    environment=environment,
    code_configuration=CodeConfiguration(
        code="sklearn-diabetes/src",
        scoring_script="score.py"
    ),
    instance_type="Standard_F4s_v2",
    instance_count=1,
)
```
"この操作は MLflow SDK ではサポートされていません"
1. [エンドポイント] ページで、[作成] を選択します。
2. 前に登録した MLflow モデルを選びます。
3. エンドポイント作成ウィザードで [その他のオプション] を選んで、詳細オプションを開きます。
4. エンドポイントの名前と認証の種類を指定し、[次へ] を選んで、選んだモデルがデプロイに使われていることを確認します。
5. [次へ] を選んで、[デプロイ] ページに進みます。
6. [次へ] を選んで、[コード + 環境] ページに移動します。 MLflow 形式で登録されたモデルを選ぶ場合、このページでスコアリングスクリプトや環境を指定する必要はありません。ただし、このセクションでは 1 つを指定する必要があります
7. [環境とスコアリングスクリプトをカスタマイズする] の横にあるスライダーを選びます。
8. 先ほど作成したスコアリングスクリプトを参照して選びます。
9. 環境の種類として [カスタム環境] を選びます。
10. 先ほど作成したカスタム環境を選び、[次へ] を選びます。
11. ウィザードを完了して、モデルをエンドポイントにデプロイします。
デプロイが完了すると、要求を処理できるようになります。デプロイをテストする方法の 1 つは、サンプル要求ファイルと invoke メソッドを使うことです。

sample-request-sklearn.json
```
{"input_data": {
    "columns": [
      "age",
      "sex",
      "bmi",
      "bp",
      "s1",
      "s2",
      "s3",
      "s4",
      "s5",
      "s6"
    ],
    "data": [
      [ 1.0,2.0,3.0,4.0,5.0,6.0,7.0,8.0,9.0,10.0 ],
      [ 10.0,2.0,9.0,8.0,7.0,6.0,5.0,4.0,3.0,2.0]
    ],
    "index": [0,1]
  }}
```
次のようにエンドポイントに要求を送信します。
- Azure CLI
- Python (Azure Machine Learning SDK)
- Python (MLflow SDK)
- [スタジオ](#tab/azure-studio)
```
az ml online-endpoint invoke --name $ENDPOINT_NAME --request-file endpoints/online/ncd/sample-request-sklearn.json
```
```
ml_client.online_endpoints.invoke(
    endpoint_name=endpoint_name,
    deployment_name=deployment.name,
    request_file="sample-request-sklearn.json",
)
```
"この操作は MLflow SDK ではサポートされていません"
1. [エンドポイント] タブに移動し、作成された新しいエンドポイントを選択します。
2. [テスト] タブに移動します。
3. sample-request-sklearn.json ファイルの内容を [テストエンドポイントへの入力データ] ボックスに貼り付けます。
4. [Test] を選択します。
5. 予測は、ボックスの右側の "テスト結果" の下に表示されます。
応答は次のテキストのようになります。
```
{
  "predictions": [ 
    11633.100167144921,
    8522.117402884991
  ]
}
```
警告

MLflow 2.0 アドバイザリ: MLflow 1.X には、キー predictions がありません。

リソースをクリーンアップする

エンドポイントの使用が完了したら、関連付けられたリソースを削除します。

az ml online-endpoint delete --name $ENDPOINT_NAME --yes

ml_client.online_endpoints.begin_delete(endpoint_name)

deployment_client.delete_endpoint(endpoint_name)

次の方法で共有

MLflow モデルのオンラインエンドポイントへのデプロイ

この例について

Jupyter Notebook で作業を進める

前提条件

ワークスペースに接続する

モデルを登録する

モデルが実行内でログされた場合

MLflow モデルをオンラインエンドポイントにデプロイする

エンドポイントを呼び出す

MLflow モデルデプロイのカスタマイズ

手順

リソースをクリーンアップする

フィードバック

その他のリソース

次の方法で共有

MLflow モデルのオンライン エンドポイントへのデプロイ

この例について

Jupyter Notebook で作業を進める

前提条件

ワークスペースに接続する

モデルを登録する

モデルが実行内でログされた場合

MLflow モデルをオンライン エンドポイントにデプロイする

エンドポイントを呼び出す

MLflow モデル デプロイのカスタマイズ

手順

リソースをクリーンアップする

関連するコンテンツ

フィードバック

その他のリソース

MLflow モデルのオンラインエンドポイントへのデプロイ

MLflow モデルをオンラインエンドポイントにデプロイする

MLflow モデルデプロイのカスタマイズ