Scalabilità automatica di endpoint online in Azure Machine Learning

SI APPLICA A: estensione ML dell'interfaccia della riga di comando di Azure v2 (corrente)

Se le impostazioni predefinite per l'interfaccia della riga di comando di Azure non sono già state impostate, salvare le proprie impostazioni predefinite. Per evitare di passare più volte i valori per la sottoscrizione, l'area di lavoro e il gruppo di risorse, eseguire questo codice:

az account set --subscription <subscription ID>
az configure --defaults workspace=<Azure Machine Learning workspace name> group=<resource group>

1. Impostare i nomi di endpoint e distribuzione:

   # set your existing endpoint name
   ENDPOINT_NAME=your-endpoint-name
   DEPLOYMENT_NAME=blue
   

2. Ottenere l'ID della distribuzione e dell'endpoint per Azure Resource Manager:

   # ARM id of the deployment
   DEPLOYMENT_RESOURCE_ID=$(az ml online-deployment show -e $ENDPOINT_NAME -n $DEPLOYMENT_NAME -o tsv --query "id")
   # ARM id of the deployment. todo: change to --query "id"
   ENDPOINT_RESOURCE_ID=$(az ml online-endpoint show -n $ENDPOINT_NAME -o tsv --query "properties.\"azureml.onlineendpointid\"")
   # set a unique name for autoscale settings for this deployment. The below will append a random number to make the name unique.
   AUTOSCALE_SETTINGS_NAME=autoscale-$ENDPOINT_NAME-$DEPLOYMENT_NAME-`echo $RANDOM`
   

3. Creare il profilo di scalabilità automatica:

   az monitor autoscale create \
     --name $AUTOSCALE_SETTINGS_NAME \
     --resource $DEPLOYMENT_RESOURCE_ID \
     --min-count 2 --max-count 5 --count 2
   

SI APPLICA A: Python SDK azure-ai-ml v2 (corrente)

1. Importare i moduli necessari:

   from azure.ai.ml import MLClient
   from azure.identity import DefaultAzureCredential
   from azure.mgmt.monitor import MonitorManagementClient
   from azure.mgmt.monitor.models import AutoscaleProfile, ScaleRule, MetricTrigger, ScaleAction, Recurrence, RecurrentSchedule
   import random 
   import datetime 
   

2. Definire variabili per l'area di lavoro, l'endpoint e la distribuzione:

   subscription_id = "<YOUR-SUBSCRIPTION-ID>"
   resource_group = "<YOUR-RESOURCE-GROUP>"
   workspace = "<YOUR-WORKSPACE>"
   
   endpoint_name = "<YOUR-ENDPOINT-NAME>"
   deployment_name = "blue"
   

3. Ottenere i client di Azure Machine Learning e Monitoraggio di Azure:

   credential = DefaultAzureCredential()
   ml_client = MLClient(
       credential, subscription_id, resource_group, workspace
   )
   
   mon_client = MonitorManagementClient(
       credential, subscription_id
   )
   

4. Ottenere gli oggetti endpoint e distribuzione:

   deployment = ml_client.online_deployments.get(
       deployment_name, endpoint_name
   )
   
   endpoint = ml_client.online_endpoints.get(
       endpoint_name
   )
   

5. Creare un profilo di scalabilità automatica:

   # Set a unique name for autoscale settings for this deployment. The following code appends a random number to create a unique name.
   autoscale_settings_name = f"autoscale-{endpoint_name}-{deployment_name}-{random.randint(0,1000)}"
   
   mon_client.autoscale_settings.create_or_update(
       resource_group, 
       autoscale_settings_name, 
       parameters = {
           "location" : endpoint.location,
           "target_resource_uri" : deployment.id,
           "profiles" : [
               AutoscaleProfile(
                   name="my-scale-settings",
                   capacity={
                       "minimum" : 2, 
                       "maximum" : 5,
                       "default" : 2
                   },
                   rules = []
               )
           ]
       }
   )
   

1. In studio di Azure Machine Learning passare all'area di lavoro e selezionare Endpoint dal menu a sinistra.

2. Nell'elenco degli endpoint disponibili selezionare l'endpoint da configurare:

   

3. Nella scheda Dettagli per l'endpoint scelto, selezionare Configura ridimensionamento automatico:

   

4. Per l'opzione Scegliere come ridimensionare le risorse, selezionare Scalabilità automatica personalizzata per avviare la configurazione.

5. Per l'opzione condizione di scalabilità predefinita, configurare i valori seguenti:

   • Modalità ridimensionamento: selezionare Ridimensiona in base a una metrica.
   • Limiti dell'istanza>Minimo: impostare il valore su 2.
   • Limiti dell'istanza>Massimo: impostare il valore su 5.
   • Limiti dell'istanza>Predefinito: impostare il valore su 2.

   

Lasciare aperto il riquadro di configurazione. Nella sezione successiva si configurano le impostazioni per le regole.

SI APPLICA A: estensione ML dell'interfaccia della riga di comando di Azure v2 (corrente)

az monitor autoscale rule create \
  --autoscale-name $AUTOSCALE_SETTINGS_NAME \
  --condition "CpuUtilizationPercentage > 70 avg 5m" \
  --scale out 2

La regola è parte del profilo my-scale-settings dove autoscale-name corrisponde alla parte name del profilo. Il valore dell'argomento per la regola condition indica che la regola viene attivata quando "Il consumo medio della CPU tra le istanze di VM supera il 70% per cinque minuti". Quando la condizione è soddisfatta, vengono allocate altre due istanze di VM.

SI APPLICA A: Python SDK azure-ai-ml v2 (corrente)

1. Creare la definizione della regola:

   rule_scale_out = ScaleRule(
       metric_trigger = MetricTrigger(
           metric_name="CpuUtilizationPercentage",
           metric_resource_uri = deployment.id, 
           time_grain = datetime.timedelta(minutes = 1),
           statistic = "Average",
           operator = "GreaterThan", 
           time_aggregation = "Last",
           time_window = datetime.timedelta(minutes = 5), 
           threshold = 70
       ), 
       scale_action = ScaleAction(
           direction = "Increase", 
           type = "ChangeCount", 
           value = 2, 
           cooldown = datetime.timedelta(hours = 1)
       )
   )
   

   Questa regola fa riferimento alla media degli ultimi cinque minuti del valore CPUUtilizationpercentage degli argomenti metric_name, time_window e time_aggregation. Se il valore della metrica è maggiore del threshold di 70, la distribuzione alloca altre due istanze di VM.

2. Aggiornare il profilo my-scale-settings per includere questa regola:

   mon_client.autoscale_settings.create_or_update(
       resource_group, 
       autoscale_settings_name, 
       parameters = {
           "location" : endpoint.location,
           "target_resource_uri" : deployment.id,
           "profiles" : [
               AutoscaleProfile(
                   name="my-scale-settings",
                   capacity={
                       "minimum" : 2, 
                       "maximum" : 5,
                       "default" : 2
                   },
                   rules = [
                       rule_scale_out
                   ]
               )
           ]
       }
   )
   

I passi seguenti proseguono la configurazione della scalabilità automatica.

1. Per l'opzione Regole, selezionare il collegamento Aggiungi una regola. Si apre la pagina Regola di scalabilità.

2. Nella pagina Regola di scalabilità configurare i valori seguenti:

   • Nome metrica: selezionare Percentuale utilizzo CPU.
   • Operatore: impostato su Maggiore di.
   • Soglia metrica: impostare il valore su 70.
   • Durata (minuti): impostare il valore su 5.
   • Statistica intervallo di tempo: selezionare Media.
   • Operazione: selezionare Aumenta conteggio di.
   • Numero di istanze: impostare il valore su 2.

3. Selezionare Aggiungi per creare la regola:

   

Lasciare aperto il riquadro di configurazione. Nella sezione successiva si regolano le impostazioni di Regole.

SI APPLICA A: estensione ML dell'interfaccia della riga di comando di Azure v2 (corrente)

az monitor autoscale rule create \
  --autoscale-name $AUTOSCALE_SETTINGS_NAME \
  --condition "CpuUtilizationPercentage < 25 avg 5m" \
  --scale in 1

SI APPLICA A: Python SDK azure-ai-ml v2 (corrente)

1. Creare la definizione della regola:

   rule_scale_in = ScaleRule(
       metric_trigger = MetricTrigger(
           metric_name="CpuUtilizationPercentage",
           metric_resource_uri = deployment.id, 
           time_grain = datetime.timedelta(minutes = 1),
           statistic = "Average",
           operator = "LessThan", 
           time_aggregation = "Last",
           time_window = datetime.timedelta(minutes = 5), 
           threshold = 30
       ), 
       scale_action = ScaleAction(
           direction = "Increase", 
           type = "ChangeCount", 
           value = 1, 
           cooldown = datetime.timedelta(hours = 1)
       )
   )
   

2. Aggiornare il profilo my-scale-settings per includere questa regola:

   mon_client.autoscale_settings.create_or_update(
       resource_group, 
       autoscale_settings_name, 
       parameters = {
           "location" : endpoint.location,
           "target_resource_uri" : deployment.id,
           "profiles" : [
               AutoscaleProfile(
                   name="my-scale-settings",
                   capacity={
                       "minimum" : 2, 
                       "maximum" : 5,
                       "default" : 2
                   },
                   rules = [
                       rule_scale_out, 
                       rule_scale_in
                   ]
               )
           ]
       }
   )
   

I passi seguenti regolano la configurazione di Regole per supportare una regola di riduzione.

1. Per l'opzione Regole, selezionare il collegamento Aggiungi una regola. Si apre la pagina Regola di scalabilità.

2. Nella pagina Regola di scalabilità configurare i valori seguenti:

   • Nome metrica: selezionare Percentuale utilizzo CPU.
   • Operatore: impostato su Minore di.
   • Soglia metrica: impostare il valore su 30.
   • Durata (minuti): impostare il valore su 5.
   • Statistica intervallo di tempo: selezionare Media.
   • Operazione: selezionare Riduci conteggio di.
   • Numero di istanze: impostare il valore su 1.

3. Selezionare Aggiungi per creare la regola:

   

   Se si configurano regole sia di scale-out sia di riduzione, saranno simili alla schermata seguente. Le regole specificano che se il carico medio della CPU supera il 70% per cinque minuti, devono essere allocati altri due nodi, fino al limite di cinque. Se il carico della CPU è inferiore al 30% per cinque minuti, deve essere rilasciato un nodo singolo fino a lasciarne un minimo di due.

   

Lasciare aperto il riquadro di configurazione. Nella sezione successiva si specificano altre impostazioni di scalabilità.

SI APPLICA A: estensione ML dell'interfaccia della riga di comando di Azure v2 (corrente)

az monitor autoscale rule create \
 --autoscale-name $AUTOSCALE_SETTINGS_NAME \
 --condition "RequestLatency > 70 avg 5m" \
 --scale out 1 \
 --resource $ENDPOINT_RESOURCE_ID

SI APPLICA A: Python SDK azure-ai-ml v2 (corrente)

1. Creare la definizione della regola:

   rule_scale_out_endpoint = ScaleRule(
       metric_trigger = MetricTrigger(
           metric_name="RequestLatency",
           metric_resource_uri = endpoint.id, 
           time_grain = datetime.timedelta(minutes = 1),
           statistic = "Average",
           operator = "GreaterThan", 
           time_aggregation = "Last",
           time_window = datetime.timedelta(minutes = 5), 
           threshold = 70
       ), 
       scale_action = ScaleAction(
           direction = "Increase", 
           type = "ChangeCount", 
           value = 1, 
           cooldown = datetime.timedelta(hours = 1)
       )
   )
   

   Il campo metric_resource_uri di questa regola ora fa riferimento all'endpoint anziché alla distribuzione.

2. Aggiornare il profilo my-scale-settings per includere questa regola:

   mon_client.autoscale_settings.create_or_update(
       resource_group, 
       autoscale_settings_name, 
       parameters = {
           "location" : endpoint.location,
           "target_resource_uri" : deployment.id,
           "profiles" : [
               AutoscaleProfile(
                   name="my-scale-settings",
                   capacity={
                       "minimum" : 2, 
                       "maximum" : 5,
                       "default" : 2
                   },
                   rules = [
                       rule_scale_out, 
                       rule_scale_in,
                       rule_scale_out_endpoint
                   ]
               )
           ]
       }
   )
   

I passi seguenti continuano la configurazione della regola nella pagina Scalabilità automatica personalizzata.

1. Nella parte inferiore della pagina selezionare il collegamento Aggiungi una condizione di scalabilità.

2. Nella pagina Condizione di scalabilità, selezionare Ridimensiona in base alla metrica e quindi selezionare il collegamento Aggiungi una regola. Si apre la pagina Regola di scalabilità.

3. Nella pagina Regola di scalabilità configurare i valori seguenti:

   • Origine metrica: selezionare Altra risorsa.
   • Tipo di risorsa: selezionare Endpoint online di Machine Learning.
   • Risorsa: selezionare l'endpoint.
   • Nome metrica: selezionare Latenza della richiesta.
   • Operatore: impostato su Maggiore di.
   • Soglia metrica: impostare il valore su 70.
   • Durata (minuti): impostare il valore su 5.
   • Statistica intervallo di tempo: selezionare Media.
   • Operazione: selezionare Aumenta conteggio di.
   • Numero di istanze: impostare il valore su 1.

4. Selezionare Aggiungi per creare la regola:

   

SI APPLICA A: estensione ML dell'interfaccia della riga di comando di Azure v2 (corrente)

az monitor autoscale profile create \
  --name weekend-profile \
  --autoscale-name $AUTOSCALE_SETTINGS_NAME \
  --min-count 2 --count 2 --max-count 2 \
  --recurrence week sat sun --timezone "Pacific Standard Time"

SI APPLICA A: Python SDK azure-ai-ml v2 (corrente)

mon_client.autoscale_settings.create_or_update(
    resource_group, 
    autoscale_settings_name, 
    parameters = {
        "location" : endpoint.location,
        "target_resource_uri" : deployment.id,
        "profiles" : [
            AutoscaleProfile(
                name="Default",
                capacity={
                    "minimum" : 2, 
                    "maximum" : 2,
                    "default" : 2
                },
                recurrence = Recurrence(
                    frequency = "Week", 
                    schedule = RecurrentSchedule(
                        time_zone = "Pacific Standard Time", 
                        days = ["Saturday", "Sunday"], 
                        hours = [], 
                        minutes = []
                    )
                )
            )
        ]
    }
)

I passi seguenti consentono di configurare la regola con le opzioni nella pagina Scalabilità automatica personalizzata in Studio.

1. Nella parte inferiore della pagina selezionare il collegamento Aggiungi una condizione di scalabilità.

2. Nella pagina Condizione di scalabilità selezionare Ridimensiona in un numero di istanze specifico, quindi selezionare il collegamento Aggiungi una regola. Si apre la pagina Regola di scalabilità.

3. Nella pagina Regola di scalabilità configurare i valori seguenti:

   • Numero di istanze: impostare il valore su 2.
   • Pianificazione: selezionare Ripeti in giorni specifici.
   • Impostare il criterio di pianificazione: selezionare Ripeti ogni e sabato e domenica.

4. Selezionare Aggiungi per creare la regola:

   

SI APPLICA A: estensione ML dell'interfaccia della riga di comando di Azure v2 (corrente)

az monitor autoscale update \
  --autoscale-name $AUTOSCALE_SETTINGS_NAME \
  --enabled false

SI APPLICA A: Python SDK azure-ai-ml v2 (corrente)

mon_client.autoscale_settings.create_or_update(
    resource_group, 
    autoscale_settings_name, 
    parameters = {
        "location" : endpoint.location,
        "target_resource_uri" : deployment.id,
        "enabled" : False
    }
)

• Per disabilitare un profilo di scalabilità automatica in uso, selezionare Scalabilità manuale e poi selezionare Salva.

• Per abilitare un profilo di scalabilità automatica, selezionare Scalabilità automatica personalizzata. Studio elenca tutti i profili di scalabilità automatica riconosciuti per l'area di lavoro. Per abilitare, selezionare un profilo e poi selezionare Salva.

SI APPLICA A: estensione ML dell'interfaccia della riga di comando di Azure v2 (corrente)

# delete the autoscaling profile
az monitor autoscale delete -n "$AUTOSCALE_SETTINGS_NAME"

# delete the endpoint
az ml online-endpoint delete --name $ENDPOINT_NAME --yes --no-wait

SI APPLICA A: Python SDK azure-ai-ml v2 (corrente)

mon_client.autoscale_settings.delete(
    resource_group, 
    autoscale_settings_name
)

ml_client.online_endpoints.begin_delete(endpoint_name)

1. In studio di Azure Machine Learning, passare all'area di lavoro e selezionare Endpoint dal menu a sinistra.

2. Nell'elenco degli endpoint selezionare quello da eliminare (selezionare il cerchio accanto al nome del modello).

3. Selezionare Elimina.

In alternativa, è possibile eliminare un endpoint online gestito direttamente nella pagina dei dettagli dell'endpoint.