Aggiornare gli endpoint di distribuzione all'SDK v2

Con SDK/CLI v1 è possibile distribuire modelli in ACI o in servizio Azure Kubernetes come servizi Web. Le distribuzioni di modelli v1 esistenti e i servizi Web continueranno a funzionare così come sono, ma l'uso dell'SDK/dell'interfaccia della riga di comando v1 per distribuire modelli in ACI o nel servizio Azure Kubernetes come servizi Web ora è considerato legacy. Per le nuove distribuzioni di modelli, è consigliabile eseguire l'aggiornamento alla versione 2.

Nella versione 2 sono disponibili endpoint gestiti o endpoint Kubernetes. Per un confronto tra v1 e v2, vedere Endpoint e distribuzione.

Esistono diversi imbuti di distribuzione, ad esempio endpoint online gestiti, endpoint online kubernetes (tra cui servizio Azure Kubernetes e Kubernetes abilitati per Arc) nella versione 2 e Istanze di Azure Container (ACI) e i servizi Web Kubernetes nella versione 1. In questo articolo verrà illustrato il confronto tra la distribuzione in servizi Web ACI (v1) e gli endpoint online gestiti (v2).

Esempi in questo articolo illustrano come:

• Distribuire il modello in Azure
• Assegnare un punteggio usando l'endpoint
• Eliminare il servizio Web/endpoint

Creare risorse di inferenza

• SDK v1

  1. Configurare un modello, un ambiente e uno script di assegnazione dei punteggi:

     # configure a model. example for registering a model 
     from azureml.core.model import Model
     model = Model.register(ws, model_name="bidaf_onnx", model_path="./model.onnx")
     
     # configure an environment
     from azureml.core import Environment
     env = Environment(name='myenv')
     python_packages = ['nltk', 'numpy', 'onnxruntime']
     for package in python_packages:
         env.python.conda_dependencies.add_pip_package(package)
     
     # configure an inference configuration with a scoring script
     from azureml.core.model import InferenceConfig
     inference_config = InferenceConfig(
         environment=env,
         source_directory="./source_dir",
         entry_script="./score.py",
     )
     

  2. Configurare e distribuire un servizio Web ACI:

     from azureml.core.webservice import AciWebservice
     
     # defince compute resources for ACI
     deployment_config = AciWebservice.deploy_configuration(
         cpu_cores=0.5, memory_gb=1, auth_enabled=True
     )
     
     # define an ACI webservice
     service = Model.deploy(
         ws,
         "myservice",
         [model],
         inference_config,
         deployment_config,
         overwrite=True,
     )
     
     # create the service 
     service.wait_for_deployment(show_output=True)
     

Per altre informazioni sulla registrazione dei modelli, vedere Registrare un modello da un file locale.

• SDK v2

  1. Configurare un modello, un ambiente e uno script di assegnazione dei punteggi:

     from azure.ai.ml.entities import Model
     # configure a model
     model = Model(path="../model-1/model/sklearn_regression_model.pkl")
     
     # configure an environment
     from azure.ai.ml.entities import Environment
     env = Environment(
         conda_file="../model-1/environment/conda.yml",
         image="mcr.microsoft.com/azureml/openmpi3.1.2-ubuntu18.04:20210727.v1",
     )
     
     # configure an inference configuration with a scoring script
     from azure.ai.ml.entities import CodeConfiguration
     code_config = CodeConfiguration(
             code="../model-1/onlinescoring", scoring_script="score.py"
         )
     

  2. Configurare e creare un endpoint online:

     import datetime
     from azure.ai.ml.entities import ManagedOnlineEndpoint
     
     # create a unique endpoint name with current datetime to avoid conflicts
     online_endpoint_name = "endpoint-" + datetime.datetime.now().strftime("%m%d%H%M%f")
     
     # define an online endpoint
     endpoint = ManagedOnlineEndpoint(
         name=online_endpoint_name,
         description="this is a sample online endpoint",
         auth_mode="key",
         tags={"foo": "bar"},
     )
     
     # create the endpoint:
     ml_client.begin_create_or_update(endpoint)
     

  3. Configurare e creare una distribuzione online:

     from azure.ai.ml.entities import ManagedOnlineDeployment
     
     # define a deployment
     blue_deployment = ManagedOnlineDeployment(
         name="blue",
         endpoint_name=online_endpoint_name,
         model=model,
         environment=env,
         code_configuration=code_config,
         instance_type="Standard_F2s_v2",
         instance_count=1,
     )
     
     # create the deployment:
     ml_client.begin_create_or_update(blue_deployment)
     
     # blue deployment takes 100 traffic
     endpoint.traffic = {"blue": 100}
     ml_client.begin_create_or_update(endpoint)
     

Per altre informazioni sui concetti relativi a endpoint e distribuzioni, vedere Che cosa sono gli endpoint online?

Inviare una richiesta

• SDK v1

  import json
  data = {
      "query": "What color is the fox",
      "context": "The quick brown fox jumped over the lazy dog.",
  }
  data = json.dumps(data)
  predictions = service.run(input_data=data)
  print(predictions)
  

• SDK v2

  # test the endpoint (the request will route to blue deployment as set above)
  ml_client.online_endpoints.invoke(
      endpoint_name=online_endpoint_name,
      request_file="../model-1/sample-request.json",
  )
  
  # test the specific (blue) deployment
  ml_client.online_endpoints.invoke(
      endpoint_name=online_endpoint_name,
      deployment_name="blue",
      request_file="../model-1/sample-request.json",
  )
  

Eliminare risorse

• SDK v1

  service.delete()
  

• SDK v2

  ml_client.online_endpoints.begin_delete(name=online_endpoint_name)
  

Mapping delle funzionalità chiave in SDK v1 e SDK v2

Documenti correlati

Per ulteriori informazioni, vedere,

v2 docs:

• Che cosa sono gli endpoint?
• Distribuire modelli di Machine Learning nell'endpoint online gestito con Python SDK v2

v1 docs:

• MLOps: Gestione modelli ml v1
• Distribuire modelli di Machine Learning