使用自訂容器將模型部署至線上端點

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/cli

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/cli

另請參閱 範例筆記本，但請注意，筆記本中的 3. Test locally 區段假設它會在 azureml-examples/sdk 目錄下執行。

建立要用於端點和部署的 YAML 檔案

您可以使用 YAML 來設定雲端部署。 請參閱此範例的範例 YAML：

tfserving-endpoint.yml

$schema: https://azuremlsdk2.blob.core.windows.net/latest/managedOnlineEndpoint.schema.json
name: tfserving-endpoint
auth_mode: aml_token

tfserving-deployment.yml

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
name: tfserving-deployment
endpoint_name: tfserving-endpoint
model:
  name: tfserving-mounted
  version: {{MODEL_VERSION}}
  path: ./half_plus_two
environment_variables:
  MODEL_BASE_PATH: /var/azureml-app/azureml-models/tfserving-mounted/{{MODEL_VERSION}}
  MODEL_NAME: half_plus_two
environment:
  #name: tfserving
  #version: 1
  image: docker.io/tensorflow/serving:latest
  inference_config:
    liveness_route:
      port: 8501
      path: /v1/models/half_plus_two
    readiness_route:
      port: 8501
      path: /v1/models/half_plus_two
    scoring_route:
      port: 8501
      path: /v1/models/half_plus_two:predict
instance_type: Standard_DS3_v2
instance_count: 1

連線至 Azure Machine Learning 工作區

連線到您的 Azure Machine Learning 工作區、設定工作區詳細資料，以及取得工作區的控制代碼，如下所示：

1. 匯入必要的程式庫：

# import required libraries
from azure.ai.ml import MLClient
from azure.ai.ml.entities import (
   ManagedOnlineEndpoint,
   ManagedOnlineDeployment,
   Model,
   Environment,
   CodeConfiguration,
)
from azure.identity import DefaultAzureCredential

2. 設定工作區詳細資料，並取得工作區的控制代碼：

# enter details of your Azure Machine Learning workspace
subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace = "<AZUREML_WORKSPACE_NAME>"

# get a handle to the workspace
ml_client = MLClient(
   DefaultAzureCredential(), subscription_id, resource_group, workspace
)

如需詳細資訊，請參閱 Python SDK 第 2 版，將機器學習模型部署至受控線上端點。

設定線上端點

選擇性地，您可以將描述、標籤新增至端點。

# Creating a unique endpoint name with current datetime to avoid conflicts
import datetime

online_endpoint_name = "endpoint-" + datetime.datetime.now().strftime("%m%d%H%M%f")

# create an online endpoint
endpoint = ManagedOnlineEndpoint(
    name=online_endpoint_name,
    description="this is a sample online endpoint",
    auth_mode="key",
    tags={"foo": "bar"},
)

設定線上部署

部署是託管執行實際推斷模型所需的一組資源。 使用 ManagedOnlineDeployment 類別為端點建立部署。

# create a blue deployment
model = Model(name="tfserving-mounted", version="1", path="half_plus_two")

env = Environment(
    image="docker.io/tensorflow/serving:latest",
    inference_config={
        "liveness_route": {"port": 8501, "path": "/v1/models/half_plus_two"},
        "readiness_route": {"port": 8501, "path": "/v1/models/half_plus_two"},
        "scoring_route": {"port": 8501, "path": "/v1/models/half_plus_two:predict"},
    },
)

blue_deployment = ManagedOnlineDeployment(
    name="blue",
    endpoint_name=online_endpoint_name,
    model=model,
    environment=env,
    environment_variables={
        "MODEL_BASE_PATH": "/var/azureml-app/azureml-models/tfserving-mounted/1",
        "MODEL_NAME": "half_plus_two",
    },
    instance_type="Standard_DS2_v2",
    instance_count=1,
)

而 tfserving-deployment.yml 包含：

model:
    name: tfserving-mounted
    version: 1
    path: ./half_plus_two

且 Model 類別包含：

model = Model(name="tfserving-mounted", version="1", path="half_plus_two")

例如，您可以將 model_mount_path 參數加入到 tfserving-deployment.yml：

name: tfserving-deployment
endpoint_name: tfserving-endpoint
model:
  name: tfserving-mounted
  version: 1
  path: ./half_plus_two
model_mount_path: /var/tfserving-model-mount
.....

例如，您可以將 model_mount_path 參數加入到 ManagedOnlineDeployment 類別中：

blue_deployment = ManagedOnlineDeployment(
    name="blue",
    endpoint_name=online_endpoint_name,
    model=model,
    environment=env,
    model_mount_path="/var/tfserving-model-mount",
    ...
)

現在您已瞭解 YAML 的建構方式，請建立您的端點。

az ml online-endpoint create --name tfserving-endpoint -f endpoints/online/custom-container/tfserving-endpoint.yml

建立部署可能需要幾分鐘的時間。

az ml online-deployment create --name tfserving-deployment -f endpoints/online/custom-container/tfserving-deployment.yml --all-traffic

使用稍早建立的 MLClient，在工作區中建立端點。 此命令會啟動端點建立，並在端點建立繼續時傳回確認回應。

ml_client.begin_create_or_update(endpoint)

執行下列命令來建立部署：

ml_client.begin_create_or_update(blue_deployment)

RESPONSE=$(az ml online-endpoint invoke -n $ENDPOINT_NAME --request-file $BASE_PATH/sample_request.json)

使用稍早建立的 MLClient，您會取得端點的控制代碼。 您可以使用 invoke 命令搭配下列參數來叫用端點：

• endpoint_name - 端點的名稱
• request_file - 具有要求資料的檔案
• deployment_name - 在端點中測試的特定部署名稱

使用 JSON 檔案傳送範例要求。 範例 JSON 位於 範例存放庫 中。

# test the blue deployment with some sample data
ml_client.online_endpoints.invoke(
    endpoint_name=online_endpoint_name,
    deployment_name="blue",
    request_file="sample-request.json",
)

az ml online-endpoint delete --name tfserving-endpoint

ml_client.online_endpoints.begin_delete(name=online_endpoint_name)