CLI (v2)-Zeitplan-YAML-Schema für Modellüberwachung (Vorschau)

GILT FÜR Azure CLI-ML-Erweiterung v2 (aktuell)

Die in diesem Dokument beschriebene YAML-Syntax basiert auf dem JSON-Schema für die neueste Version der ML CLI v2-Erweiterung. Die Funktion dieser Syntax wird nur mit der neuesten Version der ML CLI v2-Erweiterung garantiert. Das umfassende JSON-Schema kann unter https://azuremlschemas.azureedge.net/latest/monitorSchedule.schema.jsonangezeigt werden. Die Schemas für ältere Erweiterungsversionen finden Sie unter https://azuremlschemasprod.azureedge.net/.

YAML-Syntax

Triggerkonfiguration

Recurrence-Trigger

Wiederholung – Zeitplan

Der Serienplan definiert das Serienmuster, das hours enthält, minutesund weekdays.

• Wenn die Häufigkeit ist day, kann das Muster angeben hours und angeben und minutes.
• Wenn die Häufigkeit ist week, kann das Muster angeben month und angeben und hours.

CronTrigger

Definition von Monitor

Überwachen von Signalen

Datendrift

Während sich die Daten, die zum Trainieren des Modells verwendet werden, in der Produktion weiterentwickeln, kann sich die Verteilung der Daten verschieben, was zu einem Konflikt zwischen den Trainingsdaten und den realen Daten führt, die das Modell für Vorhersagen verwendet. Datendrift ist ein Phänomen, das beim maschinellen Lernen auftritt, wenn sich die statistischen Eigenschaften der Eingabedaten, die zum Trainieren des Modells verwendet werden, im Laufe der Zeit ändern.

Vorhersagedrift

Die Vorhersagedrift verfolgt Veränderungen in der Verteilung der Vorhersageausgaben eines Modells, indem sie mit als Test- oder Validierungsdaten gekennzeichneten Daten oder mit Produktionsdaten der kürzeren Vergangenheit verglichen werden.

Datenqualität

Das Datenqualitätssignal verfolgt Probleme mit der Datenqualität in der Produktion, indem es einen Vergleich mit Trainingsdaten oder Produktionsdaten aus der jüngsten Vergangenheit durchführt.

Featurezuordnungsdrift (Vorschau)

Die Featurezuordnung eines Modells kann sich im Laufe der Zeit aufgrund von Änderungen in der Verteilung der Daten, Änderungen in den Beziehungen zwischen Features oder Änderungen im zugrunde liegenden und zu lösenden Problem ändern. Die Abweichung der Featurezuordnung ist ein Phänomen, das in Machine Learning-Modellen auftritt, wenn sich die Bedeutung oder der Beitrag von Features zur Vorhersageausgabe im Laufe der Zeit ändert.

Benutzerdefiniertes Überwachungssignal

Benutzerdefiniertes Überwachungssignal über eine benutzerdefinierte Azure Machine Learning-Komponente.

Modellleistung (Vorschau)

Die Modellleistung verfolgt die objektive Leistung der Ausgabe eines Modells in der Produktion, indem sie mit gesammelten Ground-Truth-Daten verglichen wird.

Hinweise

Mit dem Befehl az ml schedule können Sie Azure Machine Learning-Modelle verwalten.

Beispiele

Monitoring CLI-Beispiele sind in den Beispielen GitHub-Repository verfügbar. Einige sind wie folgt:

YAML: Out-of-Box-Monitor

GILT FÜR Azure CLI-ML-Erweiterung v2 (aktuell)

# out-of-box-monitoring.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: credit_default_model_monitoring
display_name: Credit default model monitoring
description: Credit default model monitoring setup with minimal configurations

trigger:
  # perform model monitoring activity daily at 3:15am
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 # #every day
  schedule: 
    hours: 3 # at 3am
    minutes: 15 # at 15 mins after 3am

create_monitor:

  compute: # specify a spark compute for monitoring job
    instance_type: standard_e4s_v3
    runtime_version: "3.3"

  monitoring_target: 
    ml_task: classification # model task type: [classification, regression, question_answering]
    endpoint_deployment_id: azureml:credit-default:main # azureml endpoint deployment id

  alert_notification: # emails to get alerts
    emails:
      - abc@example.com
      - def@example.com

YAML: Erweiterter Monitor

GILT FÜR Azure CLI-ML-Erweiterung v2 (aktuell)

# advanced-model-monitoring.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: fraud_detection_model_monitoring
display_name: Fraud detection model monitoring
description: Fraud detection model monitoring with advanced configurations

trigger:
  # perform model monitoring activity daily at 3:15am
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 # #every day
  schedule: 
    hours: 3 # at 3am
    minutes: 15 # at 15 mins after 3am

create_monitor:

  compute: 
    instance_type: standard_e4s_v3
    runtime_version: "3.3"

  monitoring_target:
    ml_task: classification
    endpoint_deployment_id: azureml:credit-default:main
  
  monitoring_signals:
    advanced_data_drift: # monitoring signal name, any user defined name works
      type: data_drift
      # reference_dataset is optional. By default referece_dataset is the production inference data associated with Azure Machine Learning online endpoint
      reference_data:
        input_data:
          path: azureml:credit-reference:1 # use training data as comparison reference dataset
          type: mltable
        data_context: training
        data_column_names:
          target_column: DEFAULT_NEXT_MONTH
      features: 
        top_n_feature_importance: 10 # monitor drift for top 10 features
      metric_thresholds:
        numerical:
          jensen_shannon_distance: 0.01
        categorical:
          pearsons_chi_squared_test: 0.02
    advanced_data_quality:
      type: data_quality
      # reference_dataset is optional. By default reference_dataset is the production inference data associated with Azure Machine Learning online endpoint
      reference_data:
        input_data:
          path: azureml:credit-reference:1
          type: mltable
        data_context: training
      features: # monitor data quality for 3 individual features only
        - SEX
        - EDUCATION
      metric_thresholds:
        numerical:
          null_value_rate: 0.05
        categorical:
          out_of_bounds_rate: 0.03

    feature_attribution_drift_signal:
      type: feature_attribution_drift
      # production_data: is not required input here
      # Please ensure Azure Machine Learning online endpoint is enabled to collected both model_inputs and model_outputs data
      # Azure Machine Learning model monitoring will automatically join both model_inputs and model_outputs data and used it for computation
      reference_data:
        input_data:
          path: azureml:credit-reference:1
          type: mltable
        data_context: training
        data_column_names:
          target_column: DEFAULT_NEXT_MONTH
      metric_thresholds:
        normalized_discounted_cumulative_gain: 0.9
  
  alert_notification:
    emails:
      - abc@example.com
      - def@example.com

Anhang

Zeitzone

Der aktuelle Zeitplan unterstützt die folgenden Zeitzonen. Der Schlüssel kann direkt im Python SDK verwendet werden, während der Wert im YAML-Auftrag verwendet werden kann. Die Tabelle wird von UTC(Koordinierte Universelle Zeit) organisiert.