Schema YAML dell'interfaccia della riga di comando (v2) per la pianificazione del monitoraggio dei modelli (anteprima)

SI APPLICA A: estensione ML dell'interfaccia della riga di comando di Azure v2 (corrente)

La sintassi YAML descritta in dettaglio in questo documento si basa sullo schema JSON per la versione più recente dell'estensione dell'interfaccia della riga di comando di Machine Learning v2. Il funzionamento di questa sintassi è garantito solo con la versione più recente dell'estensione dell'interfaccia della riga di comando di Machine Learning v2. Lo schema JSON completo può essere visualizzato in https://azuremlschemas.azureedge.net/latest/monitorSchedule.schema.json. È possibile trovare gli schemi per le versioni di estensione precedenti in https://azuremlschemasprod.azureedge.net/.

Sintassi YAML

Configurazione trigger

Trigger di ricorrenza

Pianificazione ricorrenza

La pianificazione ricorrenza definisce il criterio di ricorrenza, contenente hours, minutese weekdays.

• Quando la frequenza è day, il criterio può specificare hours e minutes.
• Quando la frequenza è week e month, il criterio può specificare hours, minutes e weekdays.

CronTrigger

Monitorare la definizione

Segnali di monitoraggio

Deriva dei dati

Man mano che i dati usati per eseguire il training del modello si evolvono nell'ambiente di produzione, la distribuzione dei dati può cambiare, causando una mancata corrispondenza tra i dati di training e i dati reali usati dal modello per la stima. La deriva dei dati è un fenomeno che si verifica nell'apprendimento automatico quando le proprietà statistiche dei dati di input usati per eseguire il training della modifica del modello nel tempo.

Deriva della stima

La deviazione della stima tiene traccia delle modifiche nella distribuzione degli output di stima di un modello confrontandoli con dati di convalida o test etichettati o recenti dati di produzione precedenti.

Qualità dei dati

Il segnale di qualità dei dati tiene traccia dei problemi di qualità dei dati nell'ambiente di produzione confrontando i dati di training o i dati di produzione precedenti recenti.

Deriva dell'attribuzione delle caratteristiche (anteprima)

L'attribuzione di funzionalità di un modello può cambiare nel tempo a causa delle modifiche nella distribuzione dei dati, delle modifiche nelle relazioni tra le funzionalità o delle modifiche apportate al problema sottostante risolto. La deriva dell'attribuzione delle funzionalità è un fenomeno che si verifica nei modelli di Machine Learning quando l'importanza o il contributo delle funzionalità all'output della stima cambia nel tempo.

Segnale di monitoraggio personalizzato

Segnale di monitoraggio personalizzato tramite un componente personalizzato di Azure Machine Learning.

Prestazioni modello (anteprima)

Le prestazioni del modello tengono traccia delle prestazioni obiettivo dell'output di un modello nell'ambiente di produzione confrontandolo con i dati di verità di base raccolti.

Osservazioni:

Il az ml schedule comando può essere usato per la gestione dei modelli di Azure Machine Learning.

Esempi

Gli esempi dell'interfaccia della riga di comando di monitoraggio sono disponibili nel repository GitHub di esempi. Un paio sono i seguenti:

YAML: monitor istanza predefinita

SI APPLICA A: estensione ML dell'interfaccia della riga di comando di Azure v2 (corrente)

# out-of-box-monitoring.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: credit_default_model_monitoring
display_name: Credit default model monitoring
description: Credit default model monitoring setup with minimal configurations

trigger:
  # perform model monitoring activity daily at 3:15am
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 # #every day
  schedule: 
    hours: 3 # at 3am
    minutes: 15 # at 15 mins after 3am

create_monitor:

  compute: # specify a spark compute for monitoring job
    instance_type: standard_e4s_v3
    runtime_version: "3.3"

  monitoring_target: 
    ml_task: classification # model task type: [classification, regression, question_answering]
    endpoint_deployment_id: azureml:credit-default:main # azureml endpoint deployment id

  alert_notification: # emails to get alerts
    emails:
      - abc@example.com
      - def@example.com

YAML: Monitoraggio avanzato

SI APPLICA A: estensione ML dell'interfaccia della riga di comando di Azure v2 (corrente)

# advanced-model-monitoring.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: fraud_detection_model_monitoring
display_name: Fraud detection model monitoring
description: Fraud detection model monitoring with advanced configurations

trigger:
  # perform model monitoring activity daily at 3:15am
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 # #every day
  schedule: 
    hours: 3 # at 3am
    minutes: 15 # at 15 mins after 3am

create_monitor:

  compute: 
    instance_type: standard_e4s_v3
    runtime_version: "3.3"

  monitoring_target:
    ml_task: classification
    endpoint_deployment_id: azureml:credit-default:main
  
  monitoring_signals:
    advanced_data_drift: # monitoring signal name, any user defined name works
      type: data_drift
      # reference_dataset is optional. By default referece_dataset is the production inference data associated with Azure Machine Learning online endpoint
      reference_data:
        input_data:
          path: azureml:credit-reference:1 # use training data as comparison reference dataset
          type: mltable
        data_context: training
        data_column_names:
          target_column: DEFAULT_NEXT_MONTH
      features: 
        top_n_feature_importance: 10 # monitor drift for top 10 features
      alert_enabled: true
      metric_thresholds:
        numerical:
          jensen_shannon_distance: 0.01
        categorical:
          pearsons_chi_squared_test: 0.02
    advanced_data_quality:
      type: data_quality
      # reference_dataset is optional. By default reference_dataset is the production inference data associated with Azure Machine Learning online endpoint
      reference_data:
        input_data:
          path: azureml:credit-reference:1
          type: mltable
        data_context: training
      features: # monitor data quality for 3 individual features only
        - SEX
        - EDUCATION
      alert_enabled: true
      metric_thresholds:
        numerical:
          null_value_rate: 0.05
        categorical:
          out_of_bounds_rate: 0.03

    feature_attribution_drift_signal:
      type: feature_attribution_drift
      # production_data: is not required input here
      # Please ensure Azure Machine Learning online endpoint is enabled to collected both model_inputs and model_outputs data
      # Azure Machine Learning model monitoring will automatically join both model_inputs and model_outputs data and used it for computation
      reference_data:
        input_data:
          path: azureml:credit-reference:1
          type: mltable
        data_context: training
        data_column_names:
          target_column: DEFAULT_NEXT_MONTH
      alert_enabled: true
      metric_thresholds:
        normalized_discounted_cumulative_gain: 0.9
  
  alert_notification:
    emails:
      - abc@example.com
      - def@example.com

Appendice

FusoOrario

La pianificazione corrente supporta i fusi orari seguenti. La chiave può essere usata direttamente in Python SDK, mentre il valore può essere usato nel processo YAML. La tabella è organizzata in base all'ora UTC (Coordinated Universal Time).