실시간 유추를 위해 새로운 배포를 안전하게 롤아웃합니다.

이 문서의 단계를 수행하기 전에 다음과 같은 필수 구성 요소가 있는지 확인합니다.

• Azure CLI 및 Azure CLI에 대한 ml 확장. 자세한 내용은 CLI(v2) 설치, 설정 및 사용을 참조하세요.

  Important

  이 문서의 CLI 예제에서는 Bash(또는 호환) 셸을 사용한다고 가정합니다. 예를 들어 Linux 시스템 또는 Linux용 Windows 하위 시스템에서 이러한 예제를 사용합니다.

• Azure Machine Learning 작업 영역 없는 경우 CLI(v2) 설치, 설정 및 사용의 단계를 사용하여 새로 만듭니다.

• Azure RBAC(Azure 역할 기반 액세스 제어)는 Azure Machine Learning의 작업에 대한 액세스 권한을 부여하는 데 사용됩니다. 이 문서의 단계를 수행하려면 사용자 계정에 Azure Machine Learning 작업 영역에 대한 소유자 또는 기여자 역할이 할당되거나 Microsoft.MachineLearningServices/workspaces/onlineEndpoints/*를 허용하는 사용자 지정 역할이 할당되어야 합니다. 자세한 내용은 Azure Machine Learning 작업 영역 액세스 관리를 참조하세요.

• (선택 사항) 로컬로 배포하려면 로컬 컴퓨터에 Docker 엔진을 설치해야 합니다. 문제를 더 쉽게 디버그할 수 있도록 이 옵션을 권장합니다.

적용 대상: Python SDK azure-ai-ml v2(현재)

이 문서의 단계를 수행하기 전에 다음과 같은 필수 구성 요소가 있는지 확인합니다.

• Azure Machine Learning 작업 영역 리소스가 없으면 빠른 시작: 작업 영역 리소스 만들기 문서의 단계에서 리소스를 만듭니다.

• Python SDK v2를 설치하려면 다음 명령을 사용합니다.

  pip install azure-ai-ml azure-identity
  

  기존 SDK 설치를 최신 버전으로 업데이트하려면 다음 명령을 사용합니다.

  pip install --upgrade azure-ai-ml azure-identity
  

  자세한 내용은 Azure Machine Learning용 Python SDK v2 설치를 참조하세요.

• Azure RBAC(Azure 역할 기반 액세스 제어)는 Azure Machine Learning의 작업에 대한 액세스 권한을 부여하는 데 사용됩니다. 이 문서의 단계를 수행하려면 사용자 계정에 Azure Machine Learning 작업 영역에 대한 소유자 또는 기여자 역할이 할당되거나 Microsoft.MachineLearningServices/workspaces/onlineEndpoints/*를 허용하는 사용자 지정 역할이 할당되어야 합니다. 자세한 내용은 Azure Machine Learning 작업 영역 액세스 관리를 참조하세요.

• (선택 사항) 로컬로 배포하려면 로컬 컴퓨터에 Docker 엔진을 설치해야 합니다. 문제를 더 쉽게 디버그할 수 있도록 이 옵션을 권장합니다.

이 문서의 단계를 수행하기 전에 다음과 같은 필수 구성 요소가 있는지 확인합니다.

• Azure 구독 Azure 구독이 아직 없는 경우 시작하기 전에 체험 계정을 만듭니다. Azure Machine Learning 평가판 또는 유료 버전을 사용해 보세요.

• Azure Machine Learning 작업 영역 및 컴퓨팅 인스턴스. 이러한 리소스가 없으면 빠른 시작: 작업 영역 리소스 만들기 문서의 단계에서 리소스를 만듭니다.

• Azure RBAC(Azure 역할 기반 액세스 제어)는 Azure Machine Learning의 작업에 대한 액세스 권한을 부여하는 데 사용됩니다. 이 문서의 단계를 수행하려면 사용자 계정에 Azure Machine Learning 작업 영역에 대한 소유자 또는 기여자 역할이 할당되거나 Microsoft.MachineLearningServices/workspaces/onlineEndpoints/*를 허용하는 사용자 지정 역할이 할당되어야 합니다. 자세한 내용은 Azure Machine Learning 작업 영역 액세스 관리를 참조하세요.

환경 변수 설정

Azure CLI에 대한 기본값을 아직 설정하지 않은 경우 기본 설정을 저장합니다. 구독, 작업 영역 및 리소스 그룹에 대한 값을 여러 번 전달하지 않으려면 다음 코드를 실행하세요.

az account set --subscription <subscription id>
az configure --defaults workspace=<Azure Machine Learning workspace name> group=<resource group>

예제 리포지토리 복제

이 문서를 따르려면 먼저 예제 리포지토리(azureml-examples)를 복제합니다. 그런 다음, 리포지토리의 cli/ 디렉터리로 이동합니다.

git clone --depth 1 https://github.com/Azure/azureml-examples
cd azureml-examples
cd cli

이 자습서의 명령은 cli 디렉터리의 deploy-safe-rollout-online-endpoints.sh 파일에 있고 YAML 구성 파일은 endpoints/online/managed/sample/ 하위 디렉터리에 있습니다.

예제 리포지토리 복제

학습 예제를 실행하려면 먼저 예제 리포지토리(azureml-examples)를 복제합니다. 그런 다음, azureml-examples/sdk/python/endpoints/online/managed 디렉터리로 이동합니다.

git clone --depth 1 https://github.com/Azure/azureml-examples
cd azureml-examples/sdk/python/endpoints/online/managed

이 문서의 정보는 online-endpoints-safe-rollout.ipynb Notebook을 기반으로 합니다. 코드 순서는 약간 다르지만 이 문서와 동일한 콘텐츠가 포함되어 있습니다.

Azure Machine Learning 작업 영역에 연결

작업 영역은 Azure Machine Learning의 최상위 리소스로, Azure Machine Learning을 사용할 때 만든 모든 아티팩트를 사용할 수 있는 중앙 집중식 환경을 제공합니다. 이 섹션에서는 배포 작업을 수행할 작업 영역에 연결합니다. 따라하려면 online-endpoints-safe-rollout.ipynb Notebook을 엽니다.

1. 필요한 라이브러리 가져오기:

   # import required libraries
   from azure.ai.ml import MLClient
   from azure.ai.ml.entities import (
       ManagedOnlineEndpoint,
       ManagedOnlineDeployment,
       Model,
       Environment,
       CodeConfiguration,
   )
   from azure.identity import DefaultAzureCredential

   참고 항목

   Kubernetes 온라인 엔드포인트를 사용하는 경우 azure.ai.ml.entities 라이브러리에서 KubernetesOnlineEndpoint 및 KubernetesOnlineDeployment 클래스를 가져옵니다.

2. 작업 영역 세부 정보를 구성하고 작업 영역에 대한 핸들을 가져옵니다.

   작업 영역에 연결하려면 구독, 리소스 그룹 및 작업 영역 이름과 같은 식별자 매개 변수가 필요합니다. azure.ai.ml의 MLClient에서 이러한 세부 정보를 사용하여 필요한 Azure Machine Learning 작업 영역에 대한 핸들을 가져옵니다. 이 예제에서는 기본 Azure 인증을 사용합니다.

   # enter details of your AML workspace
   subscription_id = "<SUBSCRIPTION_ID>"
   resource_group = "<RESOURCE_GROUP>"
   workspace = "<AML_WORKSPACE_NAME>"

   # get a handle to the workspace
   ml_client = MLClient(
       DefaultAzureCredential(), subscription_id, resource_group, workspace
   )

로컬 컴퓨터에 Git이 설치되어 있는 경우 지침에 따라 예제 리포지토리를 복제할 수 있습니다. 그렇지 않으면 지침에 따라 예제 리포지토리에서 파일을 다운로드합니다.

예제 리포지토리 복제

이 문서를 따라하려면 먼저 예제 리포지토리(azureml-examples)를 복제한 다음 azureml-examples/cli/endpoints/online/model-1 디렉터리로 변경합니다.

git clone --depth 1 https://github.com/Azure/azureml-examples
cd azureml-examples/cli/endpoints/online/model-1

예제 리포지토리에서 파일 다운로드

예제 리포지토리를 복제한 경우 로컬 컴퓨터에는 이미 이 예제에 대한 파일 복사본이 있으므로 다음 섹션으로 건너뛸 수 있습니다. 리포지토리를 복제하지 않은 경우 로컬 컴퓨터에 다운로드할 수 있습니다.

1. https://github.com/Azure/azureml-examples/(으)로 이동합니다.
2. 페이지에서 <>코드 단추로 이동한 다음 로컬 탭에서 ZIP 다운로드를 선택합니다.
3. 첫 번째 모델 model-1에 대한 모델 폴더 /cli/endpoints/online/model-1/model 및 채점 스크립트 /cli/endpoints/online/model-1/onlinescoring/score.py를 찾습니다.
4. 두 번째 모델 model-2에 대한 모델 폴더 /cli/endpoints/online/model-2/model 및 채점 스크립트 /cli/endpoints/online/model-2/onlinescoring/score.py를 찾습니다.

온라인 엔드포인트 만들기

먼저 엔드포인트의 이름을 설정한 다음 구성합니다. 이 문서에서는 endpoints/online/managed/sample/endpoint.yml 파일을 사용하여 엔드포인트를 구성합니다. 다음 코드 조각은 파일의 콘텐츠를 보여 줍니다.

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineEndpoint.schema.json
name: my-endpoint
auth_mode: key

엔드포인트 YAML 형식에 대한 참조는 다음 표에 설명되어 있습니다. 이러한 특성을 지정하는 방법을 알아보려면 온라인 엔드포인트 YAML 참조를 참조하세요. 관리형 온라인 엔드포인트와 관련된 한도에 대한 자세한 내용은 온라인 엔드포인트에 대한 한도를 참조하세요.

온라인 엔드포인트를 만들려면 다음을 수행합니다.

1. 엔드포인트 이름을 설정합니다.

   Unix의 경우 이 명령을 실행합니다(YOUR_ENDPOINT_NAME을 고유한 이름으로 바꾸기).

   export ENDPOINT_NAME="<YOUR_ENDPOINT_NAME>"
   

   Important

   엔드포인트 이름은 Azure 지역 내에서 고유해야 합니다. 예를 들어 Azure westus2 지역에는 이름이 my-endpoint인 엔드포인트 하나만 있을 수 있습니다.

2. 클라우드에서 엔드포인트를 만듭니다.

   다음 코드를 실행하여 endpoint.yml 파일을 사용하여 엔드포인트를 구성합니다.

   az ml online-endpoint create --name $ENDPOINT_NAME -f endpoints/online/managed/sample/endpoint.yml
   

'파란색' 배포 만들기

이 문서에서는 endpoints/online/managed/sample/blue-deployment.yml 파일을 사용하여 배포의 주요 측면을 구성합니다. 다음 코드 조각은 파일의 콘텐츠를 보여 줍니다.

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
name: blue
endpoint_name: my-endpoint
model:
  path: ../../model-1/model/
code_configuration:
  code: ../../model-1/onlinescoring/
  scoring_script: score.py
environment: 
  conda_file: ../../model-1/environment/conda.yaml
  image: mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04:latest
instance_type: Standard_DS3_v2
instance_count: 1

엔드포인트에 대해 blue라는 배포를 만들려면 다음 명령을 실행하여 blue-deployment.yml 파일을 사용하여 구성합니다.

az ml online-deployment create --name blue --endpoint-name $ENDPOINT_NAME -f endpoints/online/managed/sample/blue-deployment.yml --all-traffic

blue-deployment.yaml 파일에서 인라인으로 path(파일을 업로드할 위치)를 지정합니다. CLI는 자동으로 파일을 업로드하고 모델과 환경을 등록합니다. 프로덕션 환경에서는 모델 및 환경을 등록하고 YAML에 별도로 등록된 이름 및 버전을 지정하는 것이 모범 사례입니다. model: azureml:my-model:1 또는 environment: azureml:my-env:1 형식을 사용합니다.

등록을 수행하려면 model 및 environment의 YAML 정의를 별도의 YAML 파일에 추출하고 az ml model create 및 az ml environment create 명령을 사용할 수 있습니다. 이러한 명령에 대해 자세히 알아보려면 az ml model create -h 및 az ml environment create -h를 실행합니다.

모델을 자산으로 등록하는 방법에 대한 자세한 내용은 CLI를 사용하여 Machine Learning에서 모델을 자산으로 등록을 참조하세요. 환경을 만드는 방법에 대한 자세한 내용은 CLI & SDK(v2)를 통해 Azure Machine Learning 환경 관리를 참조하세요.

온라인 엔드포인트 만들기

관리형 온라인 엔드포인트를 만들려면 ManagedOnlineEndpoint 클래스를 사용합니다. 이 클래스를 통해 사용자는 엔드포인트의 주요 측면을 구성할 수 있습니다.

1. 엔드포인트 구성:

   # Creating a unique endpoint name with current datetime to avoid conflicts
   import random
   
   online_endpoint_name = "endpt-moe-" + str(random.randint(0, 10000))
   
   # create an online endpoint
   endpoint = ManagedOnlineEndpoint(
       name=online_endpoint_name,
       description="this is a sample online endpoint",
       auth_mode="key",
       tags={"foo": "bar"},
   )

   참고 항목

   Kubernetes 온라인 엔드포인트를 만들려면 KubernetesOnlineEndpoint 클래스를 사용합니다.

2. 엔드포인트 만들기:

   ml_client.online_endpoints.begin_create_or_update(endpoint).result()

'파란색' 배포 만들기

관리형 온라인 엔드포인트에 대한 배포를 만들려면 ManagedOnlineDeployment 클래스를 사용합니다. 이 클래스를 통해 사용자는 배포의 주요 측면을 구성할 수 있습니다. 다음 표는 deployment의 특성을 설명합니다.

1. 파란색 배포 구성:

   # create blue deployment
   model = Model(path="../model-1/model/sklearn_regression_model.pkl")
   env = Environment(
       conda_file="../model-1/environment/conda.yaml",
       image="mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04",
   )
   
   blue_deployment = ManagedOnlineDeployment(
       name="blue",
       endpoint_name=online_endpoint_name,
       model=model,
       environment=env,
       code_configuration=CodeConfiguration(
           code="../model-1/onlinescoring", scoring_script="score.py"
       ),
       instance_type="Standard_DS3_v2",
       instance_count=1,
   )

   이 예제에서는 path(업로드할 파일의 위치)를 인라인으로 지정합니다. DK는 자동으로 파일을 업로드하고 모델과 환경을 등록합니다. 프로덕션 환경에서는 모델 및 환경을 등록하고 코드에 별도로 등록된 이름 및 버전을 지정하는 것이 모범 사례입니다.

   모델을 자산으로 등록하는 방법에 대한 자세한 내용은 SDK를 사용하여 Machine Learning에서 모델을 자산으로 등록을 참조하세요.

   환경을 만드는 방법에 대한 자세한 내용은 CLI & SDK(v2)를 통해 Azure Machine Learning 환경 관리를 참조하세요.

   참고 항목

   Kubernetes 온라인 엔드포인트에 대한 배포를 만들려면 KubernetesOnlineDeployment 클래스를 사용합니다.

2. 배포 만들기:

   ml_client.online_deployments.begin_create_or_update(blue_deployment).result()

   # blue deployment takes 100 traffic
   endpoint.traffic = {"blue": 100}
   ml_client.online_endpoints.begin_create_or_update(endpoint).result()

Azure Machine Learning 스튜디오에서 관리형 온라인 엔드포인트를 만들 때 엔드포인트에 대한 초기 배포를 정의해야 합니다. 배포를 정의하려면 먼저 작업 영역에 등록된 모델이 있어야 합니다. 배포에 사용할 모델을 등록하는 것으로 시작할 예정입니다.

장치 등록

모델 등록은 작업 영역의 논리적 엔터티입니다. 이 엔터티는 단일 모델 파일 또는 여러 파일의 디렉터리를 포함할 수 있습니다. 프로덕션을 위한 모범 사례로 모델 및 환경을 등록해야 합니다. 이 문서에서 엔드포인트 및 배포를 만들 때 모델이 포함된 모델 폴더를 등록했다고 가정합니다.

예제 모델을 등록하려면 다음 단계를 따릅니다.

1. Azure Machine Learning Studio로 이동합니다.

2. 왼쪽 탐색 모음에서 모델 페이지를 선택합니다.

3. 등록을 선택한 다음 로컬 파일에서를 선택합니다.

4. 모델 형식으로 지정되지 않은 형식을 선택합니다.

5. 찾아보기를 선택하고 폴더 찾아보기를 선택합니다.

   

6. 이전에 복제하거나 다운로드한 리포지토리의 로컬 복사본에서 \azureml-examples\cli\endpoints\online\model-1\model 폴더를 선택합니다. 메시지가 표시되면 업로드를 선택하고 업로드가 완료될 때까지 기다립니다.

7. 폴더 업로드가 완료되면 다음을 선택합니다.

8. 모델의 식별 이름을 입력합니다. 이 문서의 단계에서는 모델 이름이 model-1이라고 가정합니다.

9. 다음을 선택한 다음 등록을 선택하여 등록을 완료합니다.

10. 이전 단계를 반복하여 이전에 복제하거나 다운로드한 리포지토리의 로컬 복사본에 있는 \azureml-examples\cli\endpoints\online\model-2\model 폴더의 model-2를 등록합니다.

등록된 모델 작업에 대한 자세한 내용은 모델 등록 및 작업을 참조하세요.

스튜디오에서 환경을 만드는 방법에 대한 자세한 내용은 환경 만들기를 참조하세요.

관리형 온라인 엔드포인트 및 '파란색' 배포 만들기

Azure Machine Learning 스튜디오를 사용하여 브라우저에서 직접 관리형 온라인 엔드포인트를 만듭니다. 스튜디오에서 관리형 온라인 엔드포인트를 만들 때 초기 배포를 정의해야 합니다. 비어 있는 관리형 온라인 엔드포인트를 만들 수 없습니다.

스튜디오에서 관리형 온라인 엔드포인트를 만드는 한 가지 방법은 모델 페이지에서 사용하는 것입니다. 이 방법은 또한 기존의 관리형 온라인 배포에 모델을 추가하는 쉬운 방법을 제공합니다. 이전에 모델 등록 섹션에서 등록한 model-1이라는 모델을 배포하려면 다음을 수행합니다.

1. Azure Machine Learning Studio로 이동합니다.

2. 왼쪽 탐색 모음에서 모델 페이지를 선택합니다.

3. 이름 옆에 있는 원을 확인하여 model-1이라는 모델을 선택합니다.

4. 배포>실시간 엔드포인트를 선택합니다.

   

   이 작업을 수행하면 엔드포인트에 대한 세부 정보를 지정할 수 있는 창이 열립니다.

   

5. 엔드포인트 이름을 입력합니다.

6. 기본 선택을 유지합니다. 컴퓨팅 형식의 경우 관리, 인증 형식의 경우 키 기반 인증입니다.

7. '배포' 페이지에 도달할 때까지 다음을 선택합니다. 여기에서 다음 작업을 수행합니다.

   • 배포 이름을 "파란색"으로 지정합니다.
   • 나중에 스튜디오에서 엔드포인트 작업의 그래프를 볼 수 있도록 Application Insights 진단 및 데이터 수집 사용 확인란을 선택합니다.

8. 다음을 선택하여 "환경" 페이지로 이동합니다. 여기에서 다음 단계를 수행합니다.

   • "채점 파일 및 종속성 선택" 상자에서 이전에 복제하거나 다운로드한 리포지토리에서 \azureml-examples\cli\endpoints\online\model-1\onlinescoring\score.py 파일을 찾아 선택합니다.
   • 환경 목록 위의 검색 상자에 sklearn을 입력하기 시작하고 AzureML-sklearn-0.24 큐레이팅 환경을 선택합니다.

9. 다음을 선택하여 "컴퓨팅" 페이지로 이동합니다. 여기에서 가상 머신 "Standard_DS3_v2"에 대한 기본 선택을 유지하고 인스턴스 수를 1로 변경합니다.

10. 파란색 배포에 대한 기본 트래픽 할당(100%)을 수락하려면 다음을 선택합니다.

11. 배포 설정을 검토하고 만들기 단추를 선택합니다.

    

또는 스튜디오의 엔드포인트 페이지에서 관리형 온라인 엔드포인트를 만들 수 있습니다.

1. Azure Machine Learning Studio로 이동합니다.

2. 왼쪽 탐색 모음에서 엔드포인트 페이지를 선택합니다.

3. + 만들기를 선택합니다.

   

이 작업은 엔드포인트 및 배포에 대한 세부 정보를 지정할 수 있는 창을 엽니다. 이전 5-11단계에 설명된 대로 엔드포인트 및 배포에 대한 설정을 입력하고 배포를 만들라는 메시지가 표시될 때까지 기본값을 수락합니다.

기존 엔드포인트 및 배포의 상태는 다음을 실행하여 확인할 수 있습니다.

az ml online-endpoint show --name $ENDPOINT_NAME 

az ml online-deployment show --name blue --endpoint $ENDPOINT_NAME 

$ENDPOINT_NAME이라고 식별된 엔드포인트 및 blue라는 배포가 표시됩니다.

샘플 데이터로 엔드포인트 테스트

invoke 명령을 사용하여 엔드포인트를 호출할 수 있습니다. json 파일을 사용하여 샘플 요청을 보내드립니다.

az ml online-endpoint invoke --name $ENDPOINT_NAME --request-file endpoints/online/model-1/sample-request.json

상태를 확인하여 모델이 오류 없이 배포되었는지 확인합니다.

ml_client.online_endpoints.get(name=online_endpoint_name)

샘플 데이터로 엔드포인트 테스트

앞에서 만든 MLClient를 사용하여 엔드포인트에 대한 핸들을 가져옵니다. 다음 매개 변수와 함께 invoke 명령을 사용하여 엔드포인트를 호출할 수 있습니다.

• endpoint_name - 엔드포인트 이름
• request_file - 요청 데이터가 있는 파일입니다.
• deployment_name - 엔드포인트에서 테스트할 특정 배포 이름

json 파일을 사용하여 샘플 요청을 보내드립니다.

# test the blue deployment with some sample data
ml_client.online_endpoints.invoke(
    endpoint_name=online_endpoint_name,
    deployment_name="blue",
    request_file="../model-1/sample-request.json",
)

관리형 온라인 엔드포인트 보기

엔드포인트 페이지에서 모든 관리형 온라인 엔드포인트를 볼 수 있습니다. 엔드포인트 세부 정보 페이지로 이동하여 엔드포인트 URI, 상태, 테스트 도구, 작업 모니터, 배포 로그 및 샘플 사용 코드를 비롯한 중요한 정보를 찾을 수 있습니다.

1. 왼쪽 탐색 모음에서 엔드포인트를 선택합니다. 여기에서 작업 영역의 모든 엔드포인트 목록을 볼 수 있습니다.
2. (선택 사항) 관리형 컴퓨팅 유형만 표시하도록 컴퓨팅 유형에 대한 필터를 만듭니다.
3. 엔드포인트의 세부 정보 페이지를 보려면 엔드포인트 이름을 선택합니다.

샘플 데이터로 엔드포인트 테스트

엔드포인트 세부 정보 페이지의 테스트 탭을 사용하여 관리형 온라인 배포를 테스트합니다. 샘플 입력을 입력하고 결과를 봅니다.

1. 엔드포인트의 세부 정보 페이지에서 테스트 탭을 선택합니다. 파란색 배포는 드롭다운 메뉴에서 이미 선택되어 있습니다.
2. json 파일에서 샘플 입력 복사
3. 테스트 상자에 샘플 입력을 붙여넣습니다.
4. 테스트를 선택합니다.

배포 yaml 파일에서 온라인 엔드포인트를 통해 기계 학습 모델 배포 및 채점에 설명된 배포에서 instance_count의 값을 1로 설정합니다. update 명령을 사용하여 스케일 아웃할 수 있습니다.

az ml online-deployment update --name blue --endpoint-name $ENDPOINT_NAME --set instance_count=2

앞에서 만든 MLClient를 사용하여 배포에 대한 핸들을 얻습니다. instance_count를 늘리거나 줄여 배포를 크기 조정할 수 있습니다.

# scale the deployment
blue_deployment = ml_client.online_deployments.get(
    name="blue", endpoint_name=online_endpoint_name
)
blue_deployment.instance_count = 2
ml_client.online_deployments.begin_create_or_update(blue_deployment).result()

엔드포인트 세부 정보 가져오기

# Get the details for online endpoint
endpoint = ml_client.online_endpoints.get(name=online_endpoint_name)

# existing traffic details
print(endpoint.traffic)

# Get the scoring URI
print(endpoint.scoring_uri)

다음 지침에 따라 인스턴스 수를 조정하여 배포의 크기를 조정하거나 크기 조정합니다.

1. 엔드포인트 세부 정보 페이지에서. 파란색 배포용 카드를 찾습니다.
2. 파란색 배포 카드의 헤더에서 편집 아이콘을 선택합니다.
3. 인스턴스 수를 2로 변경합니다.
4. 업데이트를 선택합니다.

green이라는 새 배포를 만듭니다.

az ml online-deployment create --name green --endpoint-name $ENDPOINT_NAME -f endpoints/online/managed/sample/green-deployment.yml

green에 트래픽을 명시적으로 할당하지 않았으므로 할당된 트래픽이 없습니다. 다음 명령을 사용하여 확인할 수 있습니다.

az ml online-endpoint show -n $ENDPOINT_NAME --query traffic

새 배포 테스트

green에는 0%의 트래픽이 할당되지만 --deployment 이름을 지정하여 직접 호출할 수 있습니다.

az ml online-endpoint invoke --name $ENDPOINT_NAME --deployment-name green --request-file endpoints/online/model-2/sample-request.json

REST 클라이언트를 사용하여 트래픽 규칙을 거치지 않고 배포를 직접 호출하려면 다음 HTTP 헤더를 설정합니다. azureml-model-deployment: <deployment-name> 아래 코드 조각에서는 curl을 사용하여 배포를 직접 호출합니다. 코드 조각은 Unix/WSL 환경에서 작동해야 합니다.

# get the scoring uri
SCORING_URI=$(az ml online-endpoint show -n $ENDPOINT_NAME -o tsv --query scoring_uri)
# use curl to invoke the endpoint
curl --request POST "$SCORING_URI" --header "Authorization: Bearer $ENDPOINT_KEY" --header 'Content-Type: application/json' --header "azureml-model-deployment: green" --data @endpoints/online/model-2/sample-request.json

관리형 온라인 엔드포인트에 대한 새 배포를 만들고 배포의 이름을 green으로 지정합니다.

# create green deployment
model2 = Model(path="../model-2/model/sklearn_regression_model.pkl")
env2 = Environment(
    conda_file="../model-2/environment/conda.yaml",
    image="mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04",
)

green_deployment = ManagedOnlineDeployment(
    name="green",
    endpoint_name=online_endpoint_name,
    model=model2,
    environment=env2,
    code_configuration=CodeConfiguration(
        code="../model-2/onlinescoring", scoring_script="score.py"
    ),
    instance_type="Standard_DS3_v2",
    instance_count=1,
)

# use MLClient to create green deployment
ml_client.online_deployments.begin_create_or_update(green_deployment).result()

새 배포 테스트

green에는 트래픽의 0%가 할당되어 있지만 json 파일을 사용하여 엔드포인트 및 배포를 계속 호출할 수 있습니다.

ml_client.online_endpoints.invoke(
    endpoint_name=online_endpoint_name,
    deployment_name="green",
    request_file="../model-2/sample-request.json",
)

관리형 온라인 엔드포인트에 추가할 새 배포를 만들고 배포 이름을 green으로 지정합니다.

엔드포인트 세부 정보 페이지에서 다음을 수행합니다.

1. 엔드포인트 "세부 정보" 페이지에서 + 배포 추가 단추를 선택합니다.

2. 모델 배포를 선택합니다.

3. 다음을 선택하여 "모델" 페이지로 이동하고 모델 model-2를 선택합니다.

4. 다음을 선택하여 "배포" 페이지로 이동하고 다음 작업을 수행합니다.

   1. 배포 이름을 "녹색"으로 지정합니다.
   2. Application Insights 진단 및 데이터 수집 사용

5. 다음을 선택하여 "환경" 페이지로 이동합니다. 여기에서 다음 단계를 수행합니다.

   • "채점 파일 및 종속성 선택" 상자에서 이전에 복제하거나 다운로드한 리포지토리에서 \azureml-examples\cli\endpoints\online\model-2\onlinescoring\score.py 파일을 찾아 선택합니다.
   • 환경 목록 위의 검색 상자에 sklearn을 입력하기 시작하고 AzureML-sklearn-0.24 큐레이팅 환경을 선택합니다.

6. 다음을 선택하여 "컴퓨팅" 페이지로 이동합니다. 여기에서 가상 머신 "Standard_DS3_v2"에 대한 기본 선택을 유지하고 인스턴스 수를 1로 변경합니다.

7. 다음을 선택하여 "트래픽" 페이지로 이동합니다. 여기에서 배포에 대한 기본 트래픽 할당을 유지합니다("파란색"에 대한 100% 트래픽 및 "녹색"에 대한 0% 트래픽).

8. 다음을 선택하여 배포 설정을 검토합니다.

   

9. 만들기를 선택하여 배포를 만듭니다.

또는 모델 페이지를 사용하여 배포를 추가할 수 있습니다.

1. 왼쪽 탐색 모음에서 모델 페이지를 선택합니다.
2. 모델 이름 옆에 있는 원을 선택하여 모델을 선택합니다.
3. 배포>실시간 엔드포인트를 선택합니다.
4. 기존의 관리형 온라인 엔드포인트에 배포하도록 선택합니다.
5. 이전 3~9단계에 따라 녹색 배포 만들기를 완료합니다.

새 배포 테스트

green에 0%의 트래픽이 할당되었지만 여전히 엔드포인트와 배포를 호출할 수 있습니다. 엔드포인트 세부 정보 페이지의 테스트 탭을 사용하여 관리형 온라인 배포를 테스트합니다. 샘플 입력을 입력하고 결과를 봅니다.

1. 엔드포인트의 세부 정보 페이지에서 테스트 탭을 선택합니다.
2. 드롭다운 메뉴에서 녹색 배포를 선택합니다.
3. json 파일에서 샘플 입력을 복사합니다.
4. 테스트 상자에 샘플 입력을 붙여넣습니다.
5. 테스트를 선택합니다.

다음 명령은 트래픽의 10%를 green 배포로 미러링합니다.

az ml online-endpoint update --name $ENDPOINT_NAME --mirror-traffic "green=10"

수신 트래픽을 수신하도록 배포를 지정하지 않고 엔드포인트를 여러 번 호출하여 미러 트래픽을 테스트할 수 있습니다.

for i in {1..20} ; do
    az ml online-endpoint invoke --name $ENDPOINT_NAME --request-file endpoints/online/model-1/sample-request.json
done

배포에서 로그를 확인하여 트래픽의 특정 백분율이 green 배포로 전송되었는지 확인할 수 있습니다.

az ml online-deployment get-logs --name blue --endpoint $ENDPOINT_NAME

테스트 후 미러 트래픽을 0으로 설정하여 미러링을 사용하지 않도록 설정할 수 있습니다.

az ml online-endpoint update --name $ENDPOINT_NAME --mirror-traffic "green=0"

다음 명령은 트래픽의 10%를 green 배포로 미러링합니다.

endpoint.mirror_traffic = {"green": 10}
ml_client.begin_create_or_update(endpoint).result()

수신 트래픽을 수신하도록 배포를 지정하지 않고 엔드포인트를 여러 번 호출하여 미러 트래픽을 테스트할 수 있습니다.

# You can test mirror traffic by invoking the endpoint several times
for i in range(20):
    ml_client.online_endpoints.invoke(
        endpoint_name=online_endpoint_name,
        request_file="../model-1/sample-request.json",
    )

배포에서 로그를 확인하여 트래픽의 특정 백분율이 green 배포로 전송되었는지 확인할 수 있습니다.

ml_client.online_deployments.get_logs(
    name="green", endpoint_name=online_endpoint_name, lines=50
)

테스트 후 미러 트래픽을 0으로 설정하여 미러링을 사용하지 않도록 설정할 수 있습니다.

endpoint.mirror_traffic = {"green": 0}
ml_client.begin_create_or_update(endpoint).result()

트래픽의 10%를 green 배포로 미러링하려면:

1. 엔드포인트 세부 정보 페이지에서 트래픽 업데이트를 선택합니다.
2. 단추를 미러링된 트래픽 사용으로 슬라이드합니다.
3. "배포 이름" 드롭다운 메뉴에서 녹색 배포를 선택합니다.
4. 기본 트래픽 할당을 10%로 유지합니다.
5. 업데이트를 선택합니다.

이제 엔드포인트 세부 정보 페이지에 green 배포에 대한 10%의 미러링된 트래픽 할당이 표시됩니다.

미러링된 트래픽을 테스트하려면 Azure CLI 또는 Python 탭을 참조하여 엔드포인트를 여러 번 호출합니다. 배포에서 로그를 확인하여 트래픽의 특정 백분율이 green 배포로 전송되었는지 확인합니다. 엔드포인트의 배포 로그 탭에서 배포 로그에 액세스할 수 있습니다. 메트릭 및 로그를 사용하여 미러링된 트래픽의 성능을 모니터링할 수도 있습니다. 자세한 내용은 온라인 엔드포인트 모니터링을 참조하세요.

테스트 후 미러링을 사용하지 않도록 설정할 수 있습니다.

1. 엔드포인트 세부 정보 페이지에서 트래픽 업데이트를 선택합니다.
2. 미러링된 트래픽을 사용하지 않도록 설정하려면 미러링된 트래픽 사용 옆의 단추를 다시 슬라이드합니다.
3. 업데이트를 선택합니다.

green 배포를 테스트한 후에는 적은 비율의 트래픽을 할당합니다.

az ml online-endpoint update --name $ENDPOINT_NAME --traffic "blue=90 green=10"

green 배포를 테스트한 후에는 적은 비율의 트래픽을 할당합니다.

endpoint.traffic = {"blue": 90, "green": 10}
ml_client.begin_create_or_update(endpoint).result()

green 배포를 테스트한 후에는 적은 비율의 트래픽을 할당합니다.

1. 엔드포인트 세부 정보 페이지에서 트래픽 업데이트를 선택합니다.
2. 녹색 배포에 10%, 파란색 배포에 90%를 할당하여 배포 트래픽을 조정합니다.
3. 업데이트를 선택합니다.

green 배포가 완전히 만족스러우면 모든 트래픽을 여기로 전환합니다.

az ml online-endpoint update --name $ENDPOINT_NAME --traffic "blue=0 green=100"

green 배포가 완전히 만족스러우면 모든 트래픽을 여기로 전환합니다.

endpoint.traffic = {"blue": 0, "green": 100}
ml_client.begin_create_or_update(endpoint).result()

green 배포가 완전히 만족스러우면 모든 트래픽을 여기로 전환합니다.

1. 엔드포인트 세부 정보 페이지에서 트래픽 업데이트를 선택합니다.
2. 녹색 배포에 100%, 파란색 배포에 0%를 할당하여 배포 트래픽을 조정합니다.
3. 업데이트를 선택합니다.

az ml online-deployment delete --name blue --endpoint $ENDPOINT_NAME --yes --no-wait

ml_client.online_deployments.begin_delete(
    name="blue", endpoint_name=online_endpoint_name
).wait()

1. 엔드포인트 세부 정보 페이지에서 파란색 배포를 찾습니다.
2. 배포 이름 옆에 있는 삭제 아이콘을 선택합니다.

엔드포인트와 배포를 사용하지 않으려면 삭제해야 합니다. 엔드포인트를 삭제하면 모든 기본 배포도 삭제됩니다.

az ml online-endpoint delete --name $ENDPOINT_NAME --yes --no-wait

엔드포인트와 배포를 사용하지 않으려면 삭제해야 합니다. 엔드포인트를 삭제하면 모든 기본 배포도 삭제됩니다.

ml_client.online_endpoints.begin_delete(name=online_endpoint_name)

엔드포인트와 배포를 사용하지 않으려면 삭제해야 합니다. 엔드포인트를 삭제하면 모든 기본 배포도 삭제됩니다.

1. Azure Machine Learning Studio로 이동합니다.
2. 왼쪽 탐색 모음에서 엔드포인트 페이지를 선택합니다.
3. 모델 이름 옆에 있는 원을 선택하여 엔드포인트를 선택합니다.
4. 삭제를 선택합니다.

또는 엔드포인트 세부 정보 페이지에서 삭제 아이콘을 선택하여 관리형 온라인 엔드포인트를 직접 삭제할 수 있습니다.