Spåra Maskininlärningsexperiment i Azure Databricks med MLflow och Azure Machine Learning

MLflow är ett bibliotek med öppen källkod för att hantera livscykeln för dina maskininlärningsexperiment. Du kan använda MLflow för att integrera Azure Databricks med Azure Machine Learning för att säkerställa att du får ut det bästa av båda produkterna.

I den här artikel får du lära dig om:

Förutsättningar

• Paketet azureml-mlflow , som hanterar anslutningen med Azure Machine Learning, inklusive autentisering.
• En Azure Databricks-arbetsyta och ett kluster.
• En Azure Machine Learning-arbetsyta.

Se vilka åtkomstbehörigheter du behöver för att utföra dina MLflow-åtgärder med din arbetsyta.

Exempelnotebook-filer

Träningsmodellerna i Azure Databricks och distributionen av dem på Azure Machine Learning-lagringsplatsen visar hur du tränar modeller i Azure Databricks och distribuerar dem i Azure Machine Learning. Den beskriver också hur du spårar experiment och modeller med MLflow-instansen i Azure Databricks. Den beskriver hur du använder Azure Machine Learning för distribution.

Installera bibliotek

Så här installerar du bibliotek i klustret:

1. Gå till fliken Bibliotek och välj Installera ny.

   

2. I fältet Paket skriver du azureml-mlflow och väljer sedan Installera. Upprepa det här steget efter behov för att installera andra paket i klustret för experimentet.

   

Spåra Azure Databricks-körningar med MLflow

Du kan konfigurera Azure Databricks för att spåra experiment med MLflow på två sätt:

• Spåra på både Azure Databricks-arbetsytan och Azure Machine Learning-arbetsytan (dubbel spårning)
• Spåra exklusivt på Azure Machine Learning

När du länkar din Azure Databricks-arbetsyta konfigureras dubbelspårning som standard åt dig.

Dubbelspår på Azure Databricks och Azure Machine Learning

Genom att länka din Azure Databricks-arbetsyta till din Azure Machine Learning-arbetsyta kan du spåra dina experimentdata på Azure Machine Learning-arbetsytan och Azure Databricks-arbetsytan samtidigt. Den här konfigurationen kallas dubbelspårning.

Dubbel spårning i en privat länkaktiverad Azure Machine Learning-arbetsyta stöds för närvarande inte, oavsett konfiguration av utgående regler eller om Azure Databricks distribuerades i ditt eget nätverk (VNet-inmatning). Konfigurera exklusiv spårning med din Azure Machine Learning-arbetsyta i stället. Observera att detta inte innebär att VNet matas in

Dubbel spårning stöds för närvarande inte i Microsoft Azure som drivs av 21Vianet. Konfigurera exklusiv spårning med din Azure Machine Learning-arbetsyta i stället.

Så här länkar du din Azure Databricks-arbetsyta till en ny eller befintlig Azure Machine Learning-arbetsyta:

1. Logga in på Azure-portalen.

2. Gå till översiktssidan för Azure Databricks-arbetsytan.

3. Välj Länka Azure Machine Learning-arbetsyta.

   

När du har länkat din Azure Databricks-arbetsyta till din Azure Machine Learning-arbetsyta spåras MLflow-spårning automatiskt på följande platser:

• Den länkade Azure Machine Learning-arbetsytan.
• Din ursprungliga Azure Databricks-arbetsyta.

Du kan använda MLflow i Azure Databricks på samma sätt som du är van vid. I följande exempel anges experimentnamnet som vanligt i Azure Databricks och några parametrar börjar loggas.

import mlflow 

experimentName = "/Users/{user_name}/{experiment_folder}/{experiment_name}" 
mlflow.set_experiment(experimentName) 

with mlflow.start_run():
   mlflow.log_param('epochs', 20)
   pass

Spåra exklusivt på Azure Machine Learning-arbetsytan

Om du föredrar att hantera dina spårade experiment på en central plats kan du ange att MLflow-spårning endast ska spåras på din Azure Machine Learning-arbetsyta. Den här konfigurationen har fördelen att du kan aktivera enklare distributionsväg med hjälp av Distributionsalternativ för Azure Machine Learning.

Konfigurera MLflow-spårnings-URI:n så att den endast pekar på Azure Machine Learning, som du ser i följande exempel:

Konfigurera spårnings-URI

1. Hämta spårnings-URI:n för din arbetsyta.

   • Azure CLI
   • Python
   • Studio
   • Manuellt

   GÄLLER FÖR: Azure CLI ml-tillägget v2 (aktuellt)

   1. Logga in och konfigurera din arbetsyta.

      az account set --subscription <subscription>
      az configure --defaults workspace=<workspace> group=<resource-group> location=<location> 
      

   2. Du kan hämta spårnings-URI:n med hjälp av az ml workspace kommandot .

      az ml workspace show --query mlflow_tracking_uri
      

2. Konfigurera spårnings-URI:n.

   • Använda MLflow SDK
   • Använda miljövariabler

   Metoden set_tracking_uri() pekar MLflow-spårnings-URI:n till den URI:n.

   import mlflow
   
   mlflow.set_tracking_uri(mlflow_tracking_uri)
   

Konfigurera autentisering

När du har konfigurerat spårning konfigurerar du hur du autentiserar till den associerade arbetsytan. Som standard öppnar Azure Machine Learning-plugin-programmet för MLflow en webbläsare för att interaktivt fråga efter autentiseringsuppgifter. Andra sätt att konfigurera autentisering för MLflow på Azure Machine Learning-arbetsytor finns i Konfigurera MLflow för Azure Machine Learning: Konfigurera autentisering.

För interaktiva jobb där en användare är ansluten till sessionen kan du förlita dig på interaktiv autentisering. Ingen ytterligare åtgärd krävs.

För scenarier som kräver obevakad körning måste du konfigurera ett huvudnamn för tjänsten för att kommunicera med Azure Machine Learning. Information om hur du skapar ett huvudnamn för tjänsten finns i Konfigurera ett huvudnamn för tjänsten.

Använd klientorganisations-ID, klient-ID och klienthemlighet för tjänstens huvudnamn i följande kod:

import os

os.environ["AZURE_TENANT_ID"] = "<Azure-tenant-ID>"
os.environ["AZURE_CLIENT_ID"] = "<Azure-client-ID>"
os.environ["AZURE_CLIENT_SECRET"] = "<Azure-client-secret>"

export AZURE_TENANT_ID="<Azure-tenant-ID>"
export AZURE_CLIENT_ID="<Azure-client-ID>"
export AZURE_CLIENT_SECRET="<Azure-client-secret>"

Namnexperiment i Azure Machine Learning

När du konfigurerar MLflow för att uteslutande spåra experiment på Azure Machine Learning-arbetsytan måste namngivningskonventionen för experiment följa den som används av Azure Machine Learning. I Azure Databricks namnges experiment med sökvägen till där experimentet sparas, till exempel /Users/alice@contoso.com/iris-classifier. I Azure Machine Learning anger du dock experimentnamnet direkt. Samma experiment skulle namnges iris-classifier direkt.

mlflow.set_experiment(experiment_name="experiment-name")

Spåra parametrar, mått och artefakter

Efter den här konfigurationen kan du använda MLflow i Azure Databricks på samma sätt som du är van vid. Mer information finns i Logga och visa mått och loggfiler.

Loggmodeller med MLflow

När din modell har tränats kan du logga den till spårningsservern med mlflow.<model_flavor>.log_model() metoden . <model_flavor> refererar till det ramverk som är associerat med modellen. Lär dig vilka modellsmaker som stöds.

I följande exempel registreras en modell som skapats med Spark-biblioteket MLLib.

mlflow.spark.log_model(model, artifact_path = "model")

Smaken spark motsvarar inte det faktum att du tränar en modell i ett Spark-kluster. I stället följer det av träningsramverket som används. Du kan träna en modell med TensorFlow med Spark. Den smak som ska användas är tensorflow.

Modeller loggas inuti körningen som spåras. Det innebär att modeller är tillgängliga i både Azure Databricks och Azure Machine Learning (standard) eller exklusivt i Azure Machine Learning om du konfigurerade spårnings-URI:n så att den pekar på den.

Registrera modeller i registret med MLflow

I stället för spårning kan modellregister inte fungera samtidigt i Azure Databricks och Azure Machine Learning. De måste använda antingen den ena eller den andra. Som standard använder modellregister Azure Databricks-arbetsytan. Om du väljer att ange att MLflow-spårning endast ska spåras på din Azure Machine Learning-arbetsyta är modellregistret Azure Machine Learning-arbetsytan.

Om du använder standardkonfigurationen loggar följande kod en modell i motsvarande körningar av både Azure Databricks och Azure Machine Learning, men den registrerar den endast på Azure Databricks.

mlflow.spark.log_model(model, artifact_path = "model", 
                       registered_model_name = 'model_name')  

• Om det inte finns någon registrerad modell med namnet registrerar metoden en ny modell, skapar version 1 och returnerar ett ModelVersion MLflow-objekt.
• Om det redan finns en registrerad modell med namnet skapar metoden en ny modellversion och returnerar versionsobjektet.

Använda Azure Machine Learning-registret med MLflow

Om du vill använda Azure Machine Learning Model Registry i stället för Azure Databricks rekommenderar vi att du anger att MLflow-spårning endast ska spåras på din Azure Machine Learning-arbetsyta. Den här metoden tar bort tvetydigheten i var modeller registreras och förenklar konfigurationen.

Om du vill fortsätta använda funktionerna för dubbel spårning men registrera modeller i Azure Machine Learning kan du instruera MLflow att använda Azure Machine Learning för modellregister genom att konfigurera URI:n för MLflow Model Registry. Den här URI:n har samma format och värde som det MLflow som spårar URI.

mlflow.set_registry_uri(azureml_mlflow_uri)

Ett fullständigt exempel på det här scenariot finns i Träningsmodeller i Azure Databricks och distribuera dem i Azure Machine Learning.

Distribuera och använda modeller som registrerats i Azure Machine Learning

Modeller som registrerats i Azure Machine Learning Service med MLflow kan användas som:

• En Azure Machine Learning-slutpunkt (realtid och batch). Med den här distributionen kan du använda Azure Machine Learning-distributionsfunktioner för både realtids- och batchinferens i Azure Container Instances, Azure Kubernetes eller Managed Inference Endpoints.
• MLFlow-modellobjekt eller användardefinierade Pandas-funktioner (UDF: er), som kan användas i Notebook-filer i Azure Databricks i strömnings- eller batchpipelines.

Distribuera modeller till Azure Machine Learning-slutpunkter

Du kan använda plugin-programmet azureml-mlflow för att distribuera en modell till din Azure Machine Learning-arbetsyta. Mer information om hur du distribuerar modeller till de olika målen Så här distribuerar du MLflow-modeller.

Distribuera modeller till Azure Databricks för batchbedömning med hjälp av UDF:er

Du kan välja Azure Databricks-kluster för batchbedömning. Med mlflow kan du lösa alla modeller från registret som du är ansluten till. Du använder vanligtvis någon av följande metoder:

• Om din modell har tränats och skapats med Spark-bibliotek som MLLibanvänder du mlflow.pyfunc.spark_udf för att läsa in en modell och använda den som en Spark Pandas UDF för att poängsätta nya data.
• Om din modell inte har tränats eller skapats med Spark-bibliotek använder mlflow.pyfunc.load_model du eller mlflow.<flavor>.load_model läser in modellen i klusterdrivrutinen. Du måste samordna alla parallelliseringar eller arbetsdistributioner som du vill ska ske i klustret. MLflow installerar inte något bibliotek som din modell kräver för att köras. Dessa bibliotek måste installeras i klustret innan du kör det.

I följande exempel visas hur du läser in en modell från registret med namnet uci-heart-classifier och använder den som en Spark Pandas UDF för att poängsätta nya data.

from pyspark.sql.types import ArrayType, FloatType 

model_name = "uci-heart-classifier"
model_uri = "models:/"+model_name+"/latest"

#Create a Spark UDF for the MLFlow model 
pyfunc_udf = mlflow.pyfunc.spark_udf(spark, model_uri) 

Fler sätt att referera till modeller från registret finns i Läsa in modeller från registret.

När modellen har lästs in kan du använda det här kommandot för att poängsätta nya data.

#Load Scoring Data into Spark Dataframe 
scoreDf = spark.table({table_name}).where({required_conditions}) 

#Make Prediction 
preds = (scoreDf 
           .withColumn('target_column_name', pyfunc_udf('Input_column1', 'Input_column2', ' Input_column3', …)) 
        ) 

display(preds) 

Rensa resurser

Om du vill behålla din Azure Databricks-arbetsyta, men inte längre behöver Azure Machine Learning-arbetsytan, kan du ta bort Azure Machine Learning-arbetsytan. Den här åtgärden resulterar i att din Azure Databricks-arbetsyta och Azure Machine Learning-arbetsytan kopplas bort.

Om du inte planerar att använda de loggade måtten och artefakterna på arbetsytan tar du bort resursgruppen som innehåller lagringskontot och arbetsytan.

1. Sök efter Resursgrupper i Azure-portalen. Under tjänster väljer du Resursgrupper.
2. I listan Resursgrupper letar du upp och väljer den resursgrupp som du skapade för att öppna den.
3. På sidan Översikt väljer du Ta bort resursgrupp.
4. Om du vill verifiera borttagningen anger du resursgruppens namn.

Relaterat innehåll

• Distribuera MLflow-modeller som en Azure-webbtjänst
• Hantera dina modeller
• Spåra experimentjobb med MLflow och Azure Machine Learning
• Azure Databricks och MLflow