Trenowanie za pomocą projektów MLflow w usłudze Azure Machine Learning (wersja zapoznawcza)

Z tego artykułu dowiesz się, jak przesyłać zadania szkoleniowe za pomocą projektów MLflow korzystających z obszarów roboczych usługi Azure Machine Learning do śledzenia. Możesz przesyłać zadania i śledzić je tylko za pomocą usługi Azure Machine Learning lub migrować przebiegi do chmury w celu całkowitego uruchomienia w usłudze Azure Machine Learning Compute.

Projekty MLflow umożliwiają organizowanie i opisywanie kodu w celu umożliwienia uruchamiania go przez innych analityków danych (lub zautomatyzowanych narzędzi). Projekty MLflow z usługą Azure Machine Learning umożliwiają śledzenie przebiegów trenowania i zarządzanie nimi w obszarze roboczym.

Dowiedz się więcej na temat integracji platform MLflow i usługi Azure Machine Learning.

Wymagania wstępne

• Zainstaluj pakiet zestawu MLflow SDK mlflow i wtyczkę usługi Azure Machine Learning azureml-mlflow dla biblioteki MLflow w następujący sposób:

  pip install mlflow azureml-mlflow
  

  Napiwek

  Możesz użyć mlflow-skinny pakietu, który jest lekkim pakietem MLflow bez magazynu SQL, serwera, interfejsu użytkownika lub zależności nauki o danych. Ten pakiet jest zalecany dla użytkowników, którzy potrzebują głównie funkcji śledzenia i rejestrowania MLflow bez importowania pełnego zestawu funkcji, w tym wdrożeń.

• Tworzenie obszaru roboczego usługi Azure Machine Learning. Aby utworzyć obszar roboczy, zobacz Tworzenie zasobów, które należy rozpocząć. Przejrzyj uprawnienia dostępu potrzebne do wykonywania operacji MLflow w obszarze roboczym.

• Aby przeprowadzić zdalne śledzenie lub śledzić eksperymenty uruchomione poza usługą Azure Machine Learning, skonfiguruj rozwiązanie MLflow, aby wskazywało identyfikator URI śledzenia obszaru roboczego usługi Azure Machine Learning. Aby uzyskać więcej informacji na temat łączenia platformy MLflow z obszarem roboczym, zobacz Konfigurowanie biblioteki MLflow dla usługi Azure Machine Learning.

• Korzystanie z usługi Azure Machine Learning jako zaplecza dla projektów MLflow wymaga pakietu azureml-core:

  pip install azureml-core
  

Nawiązywanie połączenia z obszarem roboczym

Jeśli pracujesz poza usługą Azure Machine Learning, musisz skonfigurować rozwiązanie MLflow, aby wskazywało identyfikator URI śledzenia obszaru roboczego usługi Azure Machine Learning. Instrukcje można znaleźć w temacie Configure MLflow for Azure Machine Learning (Konfigurowanie platformy MLflow dla usługi Azure Machine Learning).

Śledzenie projektów MLflow w obszarach roboczych usługi Azure Machine Learning

W tym przykładzie pokazano, jak przesyłać projekty MLflow i śledzić je w usłudze Azure Machine Learning.

1. azureml-mlflow Dodaj pakiet jako zależność do pliku konfiguracji środowiska, aby śledzić metryki i kluczowe artefakty w obszarze roboczym.

   conda.yaml

   name: mlflow-example
   channels:
     - defaults
   dependencies:
     - numpy>=1.14.3
     - pandas>=1.0.0
     - scikit-learn
     - pip:
       - mlflow
       - azureml-mlflow
   

2. Prześlij przebieg lokalny i upewnij się, że ustawiono parametr backend = "azureml", który dodaje obsługę automatycznego śledzenia, przechwytywania modelu, plików dziennika, migawek i błędów drukowanych w obszarze roboczym. W tym przykładzie założono, że projekt MLflow, który próbujesz uruchomić, znajduje się w tym samym folderze, uri="."w którym obecnie znajdujesz się .

   • Interfejs wiersza polecenia platformy MLflow
   • Python

   mlflow run . --experiment-name  --backend azureml --env-manager=local -P alpha=0.3
   

   Wyświetlanie przebiegów i metryk w usłudze Azure Machine Learning Studio.

Trenowanie projektów MLflow w zadaniach usługi Azure Machine Learning

W tym przykładzie pokazano, jak przesyłać projekty MLflow jako zadanie uruchomione w środowisku obliczeniowym usługi Azure Machine Learning.

1. Utwórz obiekt konfiguracji zaplecza, w tym przypadku wskażemy wartość COMPUTE. Ten parametr odwołuje się do nazwy zdalnego klastra obliczeniowego, którego chcesz użyć do uruchamiania projektu. Jeśli COMPUTE jest obecny, projekt zostanie automatycznie przesłany jako zadanie usługi Azure Machine Learning do wskazanego środowiska obliczeniowego.

   • Interfejs wiersza polecenia platformy MLflow
   • Python

   backend_config.json

   {
       "COMPUTE": "cpu-cluster"
   }
   
   

2. azureml-mlflow Dodaj pakiet jako zależność do pliku konfiguracji środowiska, aby śledzić metryki i kluczowe artefakty w obszarze roboczym.

   conda.yaml

   name: mlflow-example
   channels:
     - defaults
   dependencies:
     - numpy>=1.14.3
     - pandas>=1.0.0
     - scikit-learn
     - pip:
       - mlflow
       - azureml-mlflow
   

3. Prześlij przebieg lokalny i upewnij się, że ustawiono parametr backend = "azureml", który dodaje obsługę automatycznego śledzenia, przechwytywania modelu, plików dziennika, migawek i błędów drukowanych w obszarze roboczym. W tym przykładzie założono, że projekt MLflow, który próbujesz uruchomić, znajduje się w tym samym folderze, uri="."w którym obecnie znajdujesz się .

   • Interfejs wiersza polecenia platformy MLflow
   • Python

   mlflow run . --backend azureml --backend-config backend_config.json -P alpha=0.3
   

   Uwaga

   Ponieważ zadania usługi Azure Machine Learning są zawsze uruchamiane w kontekście środowisk, parametr env_manager jest ignorowany.

   Wyświetlanie przebiegów i metryk w usłudze Azure Machine Learning Studio.

Czyszczenie zasobów

Jeśli nie planujesz używania zarejestrowanych metryk i artefaktów w obszarze roboczym, możliwość ich usunięcia indywidualnie jest obecnie niedostępna. Zamiast tego usuń grupę zasobów zawierającą konto magazynu i obszar roboczy, aby nie ponosić żadnych opłat:

1. W witrynie Azure Portal na końcu z lewej strony wybierz pozycję Grupy zasobów.

   

2. Wybierz utworzoną grupę zasobów z listy.

3. Wybierz pozycję Usuń grupę zasobów.

4. Wpisz nazwę grupy zasobów. Następnie wybierz Usuń.

Przykładowe notesy

Notesy MLflow z usługą Azure Machine Learning pokazują i rozszerzają koncepcje przedstawione w tym artykule.

• Trenowanie projektu MLflow w lokalnym środowisku obliczeniowym
• Trenowanie projektu MLflow na zdalnych obliczeniach.

Następne kroki

• Śledzenie przebiegów usługi Azure Databricks za pomocą biblioteki MLflow.
• Wykonywanie zapytań i porównywanie eksperymentów i przebiegów za pomocą biblioteki MLflow.
• Zarządzanie rejestrami modeli w usłudze Azure Machine Learning przy użyciu biblioteki MLflow.
• Wskazówki dotyczące wdrażania modeli MLflow.