Kayıt defterleriyle çalışma alanları arasında modelleri, bileşenleri ve ortamları paylaşma

CLI örneği için, örnek deponuzun yerel kopyasında dizinleri cli/jobs/pipelines-with-components/nyc_taxi_data_regression olarak değiştirin.

cd cli/jobs/pipelines-with-components/nyc_taxi_data_regression

Python SDK örneği için örnek deposundaki örneği kullanınnyc_taxi_data_regression. Share-models-components-environments.ipynb örnek not defteri klasörde bulunursdk/python/assets/assets-in-registry. Bileşenler, model eğitim kodu, eğitim için örnek veriler ve çıkarım için tüm örnek YAML'ler içinde cli/jobs/pipelines-with-components/nyc_taxi_data_regressionmevcuttur. Bu belgedeki sdk/resources/registry share-models-components-environments.ipynb kodu denemek için bir not defterinde adım adım gezinmek isterseniz, dizine geçin ve not defterini açın.

Docker görüntüsünü kullanan ve SciKit Learn çerçevesini python:3.8 kullanarak bir eğitim işi çalıştırmak için gereken Python paketlerini yükleyen bir ortam oluşturacağız. Örnek depoyu kopyaladıysanız ve klasöründeyseniz cli/jobs/pipelines-with-components/nyc_taxi_data_regressiondocker dosyasına başvuran ortam tanımı dosyasını env_train.yml env_train/Dockerfilegörebilmeniz gerekir. env_train.yml, başvurunuz için aşağıda gösterilmiştir:

$schema: https://azuremlschemas.azureedge.net/latest/environment.schema.json
name: SKLearnEnv
version: 1
build:
  path: ./env_train

aşağıdaki gibi kullanarak az ml environment create ortamı oluşturun

az ml environment create --file env_train.yml --registry-name <registry-name>

Kayıt defterinde bu ada ve sürüme sahip bir ortamın zaten var olduğuna ilişkin bir hata alırsanız, içindeki alanını env_train.yml düzenleyebilir version veya CLI'da içindeki sürüm değerini env_train.ymlgeçersiz kılan farklı bir sürüm belirtebilirsiniz.

# use shell epoch time as the version
version=$(date +%s)
az ml environment create --file env_train.yml --registry-name <registry-name> --set version=$version

Komutun name çıkışından az ml environment create ortamın ve version değerlerini not alın ve bunları aşağıdaki komutlarla az ml environment show kullanın. Kayıt defterinde bir bileşen oluştururken sonraki bölümde ve version gerekirname.

az ml environment show --name SKLearnEnv --version 1 --registry-name <registry-name>

Kayıt defterindeki tüm ortamları listelemek için de kullanabilirsiniz az ml environment list --registry-name <registry-name> .

Docker görüntüsünü kullanan ve SciKit Learn çerçevesini python:3.8 kullanarak bir eğitim işi çalıştırmak için gereken Python paketlerini yükleyen bir ortam oluşturacağız. Dockerfile ile temel görüntüsü ve yüklenecek Python paketlerinin listesi içinde cli/jobs/pipelines-with-components/nyc_taxi_data_regression/env_trainkullanılabilir. Ortam nesnesini başlatın ve ortamı oluşturun.

env_docker_context = Environment(
    build=BuildContext(path="../../../../cli/jobs/pipelines-with-components/nyc_taxi_data_regression/env_train/"),
    name="SKLearnEnv",
    version=str(1),
    description="Scikit Learn environment",
)
ml_client_registry.environments.create_or_update(env_docker_context)

Çıkıştan name ortamın ve version değerlerini not alın ve ortamı kayıt defterinden ml_client_registry.environments.get() getirmek için yöntemine geçirin.

Kayıt defterindeki tüm ortamları listelemek için de kullanabilirsiniz ml_client_registry.environments.list() .

klasöründe cli/jobs/pipelines-with-components/nyc_taxi_data_regressionolduğunuzdan emin olun. Scikit Learn eğitim betiğini train_src/train.py ve seçilmiş ortamı AzureML-sklearn-0.24-ubuntu18.04-py37-cpu paketleyen bileşen tanım dosyasını train.yml bulacaksınız. Seçilen ortam yerine, sapkın adımda oluşturulan Scikit Learn ortamını kullanacağız. Scikit Learn ortamınıza başvurmak için içindeki alanını train.yml düzenleyebilirsinizenvironment. Sonuçta elde edilen bileşen tanım dosyası train.yml aşağıdaki örneğe benzer olacaktır:

# <component>
$schema: https://azuremlschemas.azureedge.net/latest/commandComponent.schema.json
name: train_linear_regression_model
display_name: TrainLinearRegressionModel
version: 1
type: command
inputs:
  training_data: 
    type: uri_folder
  test_split_ratio:
    type: number
    min: 0
    max: 1
    default: 0.2
outputs:
  model_output:
    type: mlflow_model
  test_data:
    type: uri_folder
code: ./train_src
environment: azureml://registries/<registry-name>/environments/SKLearnEnv/versions/1`
command: >-
  python train.py 
  --training_data ${{inputs.training_data}} 
  --test_data ${{outputs.test_data}} 
  --model_output ${{outputs.model_output}}
  --test_split_ratio ${{inputs.test_split_ratio}}

Farklı bir ad veya sürüm kullandıysanız, daha genel gösterim şöyle görünür: environment: azureml://registries/<registry-name>/environments/<sklearn-environment-name>/versions/<sklearn-environment-version>, bu nedenle ve <sklearn-environment-name> <sklearn-environment-version> değerini buna göre değiştirdiğinizden <registry-name>emin olun. Ardından komutunu çalıştırarak az ml component create bileşeni aşağıdaki gibi oluşturursunuz.

az ml component create --file train.yml --registry-name <registry-name>

öğesini düzenlememek train.ymlisterseniz, CLI'da ortam adını aşağıdaki gibi geçersiz kılabilirsiniz:

az ml component create --file train.yml --registry-name <registry-name>` --set environment=azureml://registries/<registry-name>/environments/SKLearnEnv/versions/1
# or if you used a different name or version, replace `<sklearn-environment-name>` and `<sklearn-environment-version>` accordingly
az ml component create --file train.yml --registry-name <registry-name>` --set environment=azureml://registries/<registry-name>/environments/<sklearn-environment-name>/versions/<sklearn-environment-version>

Komutun name çıkışından az ml component create bileşenin ve version değerlerini not alın ve bunları aşağıdaki komutlarla az ml component show kullanın. name Çalışma alanında bir eğitim işi gönderirken sonraki bölümde ve version gerekir.

az ml component show --name <component_name> --version <component_version> --registry-name <registry-name>

Kayıt defterindeki tüm bileşenleri listelemek için de kullanabilirsiniz az ml component list --registry-name <registry-name> .

Klasörde bulunan cli/jobs/pipelines-with-components/nyc_taxi_data_regression Scikit Learn kullanarak bir regresyon modelini eğitmek için bileşen tanımı dosyasını train.yml ve Python kodunu train_src/train.py gözden geçirin. bileşen tanımı dosyasından train.ymlbileşen nesnesini yükleyin.

parent_dir = "../../../../cli/jobs/pipelines-with-components/nyc_taxi_data_regression"
train_model = load_component(path=parent_dir + "/train.yml")
print(train_model)

öğesini environment önceki bölümde oluşturulan ortama işaret etmek için SKLearnEnv güncelleştirin ve ortamı oluşturun.

train_model.environment=env_from_registry
ml_client_registry.components.create_or_update(train_model)

Çıkıştan bileşenin name ve version değerlerini not alın ve bileşeni kayıt defterinden ml_client_registry.components.get() getirmek için yöntemine geçirin.

Ayrıca, kayıt defterindeki tüm bileşenleri listelemek veya Azure Machine Learning stüdyosu kullanıcı arabirimindeki tüm bileşenlere göz atmak için de kullanabilirsinizml_client_registry.components.list(). Genel kullanıcı arabirimine gidip Kayıt Defterleri hub'ını aradığınızdan emin olun.

Modeli eğitmek için önceki bölümde oluşturulan Scikit Learn eğitim bileşeniyle bir işlem hattı işi çalıştıracağız. klasöründe cli/jobs/pipelines-with-components/nyc_taxi_data_regressionolup olmadığını denetleyin. Eğitim veri kümesi klasöründe bulunur data_transformed . component Önceki bölümde train_job oluşturulan eğitim bileşenine başvurmak için dosyasının bölümündeki single-job-pipeline.yml bölümünü düzenleyin. single-job-pipeline.yml Sonuç aşağıda gösterilmiştir.

$schema: https://azuremlschemas.azureedge.net/latest/pipelineJob.schema.json
type: pipeline
display_name: nyc_taxi_data_regression_single_job
description: Single job pipeline to train regression model based on nyc taxi dataset

jobs:
  train_job:
    type: command
    component: azureml://registries/<registry-name>/component/train_linear_regression_model/versions/1
    compute: azureml:cpu-cluster
    inputs:
      training_data: 
        type: uri_folder
        path: ./data_transformed
    outputs:
      model_output: 
        type: mlflow_model
      test_data: 

Önemli olan, bu işlem hattının belirli bir çalışma alanında olmayan bir bileşeni kullanarak çalışma alanında çalıştırılacak olmasıdır. Bileşen, kuruluşunuzdaki herhangi bir çalışma alanıyla kullanılabilecek bir kayıt defterindedir. Bu eğitim işini, eğitim kodunu ve ortamı söz konusu çalışma alanında kullanılabilir hale getirme konusunda endişelenmeden erişiminiz olan herhangi bir çalışma alanında çalıştırabilirsiniz.

komutuyla az ml job create işlem hattı işini çalıştırın.

az ml job create --file single-job-pipeline.yml 

Alternatif olarak, ou düzenlemeyi atlayabilir single-job-pipeline.yml ve CLI'da tarafından train_job kullanılan bileşen adını geçersiz kılabilir.

az ml job create --file single-job-pipeline.yml --set jobs.train_job.component=azureml://registries/<registry-name>/component/train_linear_regression_model/versions/1

Eğitim işinde kullanılan bileşen bir kayıt defteri aracılığıyla paylaşıldığından, işi farklı aboneliklerde bile kuruluşunuzda erişiminiz olan herhangi bir çalışma alanına gönderebilirsiniz. Örneğin, dev-workspacetest-workspace prod-workspaceeğitim işini bu üç çalışma alanında çalıştırmak, üç komutu çalıştırmak az ml job create kadar kolaydır.

az ml job create --file single-job-pipeline.yml --workspace-name dev-workspace --resource-group <resource-group-of-dev-workspace>
az ml job create --file single-job-pipeline.yml --workspace-name test-workspace --resource-group <resource-group-of-test-workspace>
az ml job create --file single-job-pipeline.yml --workspace-name prod-workspace --resource-group <resource-group-of-prod-workspace>

Modeli eğitmek için önceki bölümde oluşturulan Scikit Learn eğitim bileşeniyle bir işlem hattı işi çalıştıracaksınız. Eğitim veri kümesi klasöründe bulunur cli/jobs/pipelines-with-components/nyc_taxi_data_regression/data_transformed . Önceki adımda oluşturulan bileşeni kullanarak işlem hattını oluşturun.

Önemli olan, bu işlem hattının belirli bir çalışma alanında olmayan bir bileşeni kullanarak çalışma alanında çalıştırılacak olmasıdır. Bileşen, kuruluşunuzdaki herhangi bir çalışma alanıyla kullanılabilecek bir kayıt defterindedir. Bu eğitim işini, eğitim kodunu ve ortamı söz konusu çalışma alanında kullanılabilir hale getirme konusunda endişelenmeden erişiminiz olan herhangi bir çalışma alanında çalıştırabilirsiniz.

@pipeline()
def pipeline_with_registered_components(
    training_data
):
    train_job = train_component_from_registry(
        training_data=training_data,
    )
pipeline_job = pipeline_with_registered_components(
    training_data=Input(type="uri_folder", path=parent_dir + "/data_transformed/"),
)
pipeline_job.settings.default_compute = "cpu-cluster"
print(pipeline_job)

İşlem hattı işini çalıştırın ve tamamlanmasını bekleyin.

pipeline_job = ml_client_workspace.jobs.create_or_update(
    pipeline_job, experiment_name="sdk_job_component_from_registry" ,  skip_validation=True
)
ml_client_workspace.jobs.stream(pipeline_job.name)
pipeline_job=ml_client_workspace.jobs.get(pipeline_job.name)
pipeline_job

Eğitim işinde kullanılan bileşen bir kayıt defteri aracılığıyla paylaşıldığından, işi farklı aboneliklerde bile kuruluşunuzda erişiminiz olan herhangi bir çalışma alanına gönderebilirsiniz. Örneğin, ve kullanıyorsanız dev-workspacetest-workspace prod-workspace, bu çalışma alanlarına bağlanabilir ve işi yeniden gönderebilirsiniz.

değerini önceki bölümdeki işin adıyla değiştirerek <job-name> çıktısı train_job olarak kullanılabilen modeli indirin. Modelin yanı sıra MLflow meta veri dosyaları da içinde ./artifacts/model/kullanılabilir olmalıdır.

# fetch the name of the train_job by listing all child jobs of the pipeline job
train_job_name=$(az ml job list --parent-job-name <job-name> --query [0].name | sed 's/\"//g')
# download the default outputs of the train_job
az ml job download --name $train_job_name 
# review the model files
ls -l ./artifacts/model/

Modeli indiremiyorsanız, klasördeki önceki bölümde cli/jobs/pipelines-with-components/nyc_taxi_data_regression/artifacts/model/ eğitim işi tarafından eğitilen örnek MLflow modelini bulabilirsiniz.

Modeli kayıt defterinde oluşturun:

# create model in registry
az ml model create --name nyc-taxi-model --version 1 --type mlflow_model --path ./artifacts/model/ --registry-name <registry-name>

önceki bölümdeki nesnesini kullandığınızdan pipeline_job emin olun veya işlem hattındaki alt işlerin listesini almak için yöntemini kullanarak ml_client_workspace.jobs.get(name="<pipeline-job-name>") işlem hattı işini getirin. Ardından ile train_job işi display_name arar ve eğitilen modeli çıkıştan train_job indirirsiniz. MLflow meta veri dosyalarıyla birlikte indirilen model içinde ./artifacts/model/kullanılabilir olmalıdır.

jobs=ml_client_workspace.jobs.list(parent_job_name=pipeline_job.name)
for job in jobs:
    if (job.display_name == "train_job"):
        print (job.name)
        ml_client_workspace.jobs.download(job.name)

Modeli indiremiyorsanız, klasördeki önceki bölümde sdk/resources/registry/model eğitim işi tarafından eğitilen örnek MLflow modelini bulabilirsiniz.

Modeli kayıt defterinde oluşturun.

mlflow_model = Model(
    path="./artifacts/model/",
    type=AssetTypes.MLFLOW_MODEL,
    name="nyc-taxi-model",
    version=str(1), # use str(int(time.time())) if you want a random model number
    description="MLflow model created from local path",
)
ml_client_registry.models.create_or_update(mlflow_model)

Önceki bölümde yer alan işlem hattı işinin adına sahip olduğunuzdan emin olun ve aşağıdaki eğitim işi adını getirmek için komutta bunu değiştirin. Ardından modeli eğitim işinin çıkışından çalışma alanına kaydedeceksiniz. Parametresinin --path söz dizimiyle çıkış train_job çıkışına nasıl başvurduğuna azureml://jobs/$train_job_name/outputs/artifacts/paths/model dikkat edin.

# fetch the name of the train_job by listing all child jobs of the pipeline job
train_job_name=$(az ml job list --parent-job-name <job-name> --workspace-name <workspace-name> --resource-group <workspace-resource-group> --query [0].name | sed 's/\"//g')
# create model in workspace
az ml model create --name nyc-taxi-model --version 1 --type mlflow_model --path azureml://jobs/$train_job_name/outputs/artifacts/paths/model 

Model adını ve sürümünü not edin. Modelin çalışma alanına kaydedilip kaydedilmediğini Studio kullanıcı arabiriminde göz atarak veya komutunu kullanarak az ml model show --name nyc-taxi-model --version $model_version doğrulayabilirsiniz.

Şimdi modeli çalışma alanından kayıt defteriyle paylaşacaksınız.

# share model registered in workspace to registry
az ml model share --name nyc-taxi-model --version 1 --registry-name <registry-name> --share-with-name <new-name> --share-with-version <new-version>

az ml model show --name <model_name> --version <model_version> --registry-name <registry-name>

Kayıt defterindeki tüm modelleri listelemek veya Azure Machine Learning stüdyosu kullanıcı arabirimindeki tüm bileşenlere göz atmak için de kullanabilirsinizaz ml model list --registry-name <registry-name>. Genel kullanıcı arabirimine gidip Kayıt Defterleri hub'ını aradığınızdan emin olun.

önceki bölümdeki nesnesini kullandığınızdan pipeline_job emin olun veya işlem hattındaki alt işlerin listesini almak için yöntemini kullanarak ml_client_workspace.jobs.get(name="<pipeline-job-name>") işlem hattı işini getirin. Ardından ile işini display_name arar ve model çıkışını işaret eden yolu oluşturmak için öğesini kullanırsınız name train_job. Bu, şuna benzer: azureml://jobs/<job_name>/outputs/artifacts/paths/model.train_job

jobs=ml_client_workspace.jobs.list(parent_job_name=pipeline_job.name)
for job in jobs:
    if (job.display_name == "train_job"):
        print (job.name)
        model_path_from_job="azureml://jobs/{job_name}/outputs/artifacts/paths/model".format(job_name=job.name)

print(model_path_from_job)

Yukarıda oluşturulmuş yolu kullanarak eğitim işinin çıktısından modeli çalışma alanına kaydedin.

mlflow_model = Model(
    path=model_path_from_job,
    type=AssetTypes.MLFLOW_MODEL,
    name="nyc-taxi-model",
    version=version_timestamp,
    description="MLflow model created from job output",
)
ml_client_workspace.models.create_or_update(mlflow_model)

Model adını ve sürümünü not edin. Modelin çalışma alanına kaydedilip kaydedilmediğini doğrulamak için Studio kullanıcı arabiriminde göz atabilir veya yöntemini kullanarak ml_client_workspace.model.get() getirebilirsiniz.

Şimdi modeli çalışma alanından kayıt defteriyle paylaşacaksınız.

# share the model from registry to workspace
ml_client.models.share(name="nyc-taxi-model", version=1, registry_name=<registry_name>, share_with_name=<new-name>, share_with_version=<new-version>)

Çıkıştan modelin name ve version değerlerini not alın ve bunları aşağıdaki komutlarla ml_client_workspace.model.get() kullanın. Modeli çıkarım için çevrimiçi bir uç noktaya dağıtırken sonraki bölümde ve version gerekirname.

mlflow_model_from_registry = ml_client_registry.models.get(name="nyc-taxi-model", version=str(1))
print(mlflow_model_from_registry)

Kayıt defterindeki tüm modelleri listelemek veya Azure Machine Learning stüdyosu kullanıcı arabirimindeki tüm bileşenlere göz atmak için de kullanabilirsinizml_client_registry.models.list(). Genel kullanıcı arabirimine gidip Kayıt Defterleri hub'ını aradığınızdan emin olun.

Çevrimiçi uç nokta oluşturma.

az ml online-endpoint create --name reg-ep-1234

model: Klasördeki cli/jobs/pipelines-with-components/nyc_taxi_data_regression kullanılabilir satırıdeploy.yml, model adına ve sürümüne kötü amaçlı adımdan başvuracak şekilde güncelleştirin. Çevrimiçi uç noktaya çevrimiçi dağıtım oluşturun. deploy.yml aşağıda başvuru için gösterilmiştir.

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
name: demo
endpoint_name: reg-ep-1234
model: azureml://registries/<registry-name>/models/nyc-taxi-model/versions/1
instance_type: Standard_DS2_v2
instance_count: 1

Çevrimiçi dağıtımı oluşturun. Dağıtımın tamamlanması birkaç dakika sürer.

az ml online-deployment create --file deploy.yml --all-traffic

Puanlama URI'sini getirin ve örnek bir puanlama isteği gönderin. Puanlama isteği için örnek veriler klasöründe bulunur scoring-data.json cli/jobs/pipelines-with-components/nyc_taxi_data_regression .

ENDPOINT_KEY=$(az ml online-endpoint get-credentials -n reg-ep-1234 -o tsv --query primaryKey)
SCORING_URI=$(az ml online-endpoint show -n reg-ep-1234 -o tsv --query scoring_uri)
curl --request POST "$SCORING_URI" --header "Authorization: Bearer $ENDPOINT_KEY" --header 'Content-Type: application/json' --data @./scoring-data.json

Çevrimiçi uç nokta oluşturma.

online_endpoint_name = "endpoint-" + datetime.datetime.now().strftime("%m%d%H%M%f")
endpoint = ManagedOnlineEndpoint(
    name=online_endpoint_name,
    description="this is a sample online endpoint for mlflow model",
    auth_mode="key"
)
ml_client_workspace.begin_create_or_update(endpoint)

Önceki bölümdeki model nesnesine mlflow_model_from_registry sahip olduğunuzdan emin olun veya yöntemini kullanarak ml_client_registry.models.get() modeli kayıt defterinden getirin. Bunu dağıtım yapılandırma nesnesine geçirin ve çevrimiçi dağıtımı oluşturun. Dağıtımın tamamlanması birkaç dakika sürer. Tüm trafiği yeni dağıtıma yönlendirilecek şekilde ayarlayın.

demo_deployment = ManagedOnlineDeployment(
    name="demo",
    endpoint_name=online_endpoint_name,
    model=mlflow_model_from_registry,
    instance_type="Standard_F4s_v2",
    instance_count=1
)
ml_client_workspace.online_deployments.begin_create_or_update(demo_deployment)

endpoint.traffic = {"demo": 100}
ml_client_workspace.begin_create_or_update(endpoint)

Örnek veri dosyasını scoring-data.jsonkullanarak örnek bir puanlama isteği gönderin. Bu dosya klasörde kullanılabilir cli/jobs/pipelines-with-components/nyc_taxi_data_regression .

# test the  deployment with some sample data
ml_client_workspace.online_endpoints.invoke(
    endpoint_name=online_endpoint_name,
    deployment_name="demo",
    request_file=parent_dir + "/scoring-data.json"
)

az ml online-endpoint delete --name reg-ep-1234 --yes --no-wait

ml_client_workspace.online_endpoints.begin_delete(name=online_endpoint_name)