CLI (v2) 排程模型監視的 YAML 結構描述 (預覽)

適用於：Azure CLI ml 延伸模組 v2 (目前)

本文件中詳述的 YAML 語法是以最新版 ML CLI v2 延伸模組的 JSON 結構描述為基礎。 此語法僅保證能與最新版的 ML CLI v2 延伸模組搭配運作。 您可以在 檢視 https://azuremlschemas.azureedge.net/latest/monitorSchedule.schema.json完整的 JSON 架構。 您可以在 https://azuremlschemasprod.azureedge.net/ 找到舊版延伸模組的結構描述。

YAML 語法

觸發程式設定

週期性觸發程序

週期排程

週期排程會定義週期模式，其中包含 hours、 minutes和 weekdays。

• 當 frequency 為 day時，模式可以指定 hours 和 minutes。
• 當 frequency 為 week 與 month時，模式可以指定 hours、 minutes 與 weekdays。

CronTrigger

監視定義

監視訊號

資料漂移

當用來定型模型的數據在生產環境中發展時，數據的分佈可能會改變，導致定型數據與模型用來預測的實際數據不符。 數據漂移是機器學習中用來定型模型隨時間變化之輸入數據的統計屬性時所發生的現象。

預測漂移

預測漂移會藉由比較模型預測輸出與驗證或測試標籤資料或最近的生產數據，來追蹤模型的預測輸出分佈變更。

資料品質

相較於定型數據或最近的生產數據，數據品質訊號會追蹤生產中的數據質量問題。

特徵屬性漂移 (預覽)

模型的特徵屬性可能會隨著時間而變更，因為數據分佈變更、特徵之間的關聯性變更，或正在解決的基礎問題變更。 特徵屬性漂移是一種現象，當特徵對預測輸出的重要性或貢獻隨著時間變化時，機器學習模型就會發生。

自定義監視訊號

透過自定義 Azure 機器學習 元件自定義監視訊號。

模型效能 (預覽)

模型效能會追蹤模型輸出在生產階段的目標效能，方法是將其與收集到的有根據事實資料進行比較。

備註

命令az ml schedule可用於管理 Azure 機器學習 模型。

範例

GitHub 存放庫範例中提供監視 CLI 範例。 一對夫婦如下所示：

YAML：現用監視器

適用於：Azure CLI ml 延伸模組 v2 (目前)

# out-of-box-monitoring.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: credit_default_model_monitoring
display_name: Credit default model monitoring
description: Credit default model monitoring setup with minimal configurations

trigger:
  # perform model monitoring activity daily at 3:15am
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 # #every day
  schedule: 
    hours: 3 # at 3am
    minutes: 15 # at 15 mins after 3am

create_monitor:

  compute: # specify a spark compute for monitoring job
    instance_type: standard_e4s_v3
    runtime_version: "3.3"

  monitoring_target: 
    ml_task: classification # model task type: [classification, regression, question_answering]
    endpoint_deployment_id: azureml:credit-default:main # azureml endpoint deployment id

  alert_notification: # emails to get alerts
    emails:
      - abc@example.com
      - def@example.com

YAML：進階監視器

適用於：Azure CLI ml 延伸模組 v2 (目前)

# advanced-model-monitoring.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: fraud_detection_model_monitoring
display_name: Fraud detection model monitoring
description: Fraud detection model monitoring with advanced configurations

trigger:
  # perform model monitoring activity daily at 3:15am
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 # #every day
  schedule: 
    hours: 3 # at 3am
    minutes: 15 # at 15 mins after 3am

create_monitor:

  compute: 
    instance_type: standard_e4s_v3
    runtime_version: "3.3"

  monitoring_target:
    ml_task: classification
    endpoint_deployment_id: azureml:credit-default:main
  
  monitoring_signals:
    advanced_data_drift: # monitoring signal name, any user defined name works
      type: data_drift
      # reference_dataset is optional. By default referece_dataset is the production inference data associated with Azure Machine Learning online endpoint
      reference_data:
        input_data:
          path: azureml:credit-reference:1 # use training data as comparison reference dataset
          type: mltable
        data_context: training
        data_column_names:
          target_column: DEFAULT_NEXT_MONTH
      features: 
        top_n_feature_importance: 10 # monitor drift for top 10 features
      metric_thresholds:
        numerical:
          jensen_shannon_distance: 0.01
        categorical:
          pearsons_chi_squared_test: 0.02
    advanced_data_quality:
      type: data_quality
      # reference_dataset is optional. By default reference_dataset is the production inference data associated with Azure Machine Learning online endpoint
      reference_data:
        input_data:
          path: azureml:credit-reference:1
          type: mltable
        data_context: training
      features: # monitor data quality for 3 individual features only
        - SEX
        - EDUCATION
      metric_thresholds:
        numerical:
          null_value_rate: 0.05
        categorical:
          out_of_bounds_rate: 0.03

    feature_attribution_drift_signal:
      type: feature_attribution_drift
      # production_data: is not required input here
      # Please ensure Azure Machine Learning online endpoint is enabled to collected both model_inputs and model_outputs data
      # Azure Machine Learning model monitoring will automatically join both model_inputs and model_outputs data and used it for computation
      reference_data:
        input_data:
          path: azureml:credit-reference:1
          type: mltable
        data_context: training
        data_column_names:
          target_column: DEFAULT_NEXT_MONTH
      metric_thresholds:
        normalized_discounted_cumulative_gain: 0.9
  
  alert_notification:
    emails:
      - abc@example.com
      - def@example.com

附錄

時區

目前的排程支援下列時區。 密鑰可以直接在 Python SDK 中使用，而值可以在 YAML 作業中使用。 表格由 UTC（國際標準時間）組織。