Erstellen eines Computeclusters für Azure Machine Learning

• Wenn Sie Ihren Code nicht auf einer Compute-Instanz ausführen, installieren Sie das Python-SDK für Azure Machine Learning. Dieses SDK ist auf einer Compute-Instanz bereits installiert.

• Fügen Sie den Arbeitsbereich in Ihrem Python-Skript an:

  Führen Sie diesen Code aus, um eine Verbindung mit Ihrem Azure Machine Learning-Arbeitsbereich herzustellen.

  Ersetzen Sie Ihre Abonnement-ID, den Namen der Ressourcengruppe und den Namen des Arbeitsbereichs im folgenden Code. So finden Sie diese Werte:

  1. Melden Sie sich bei Azure Machine Learning Studio an.
  2. Öffnen Sie den Arbeitsbereich, den Sie verwenden möchten.
  3. Wählen Sie in der Azure Machine Learning Studio-Symbolleiste oben rechts den Namen Ihres Arbeitsbereichs aus.
  4. Kopieren Sie den Wert für Arbeitsbereich, Ressourcengruppe und Abonnement-ID in den Code.

  GILT FÜR: Python SDK azure-ai-ml v2 (aktuell)

  # Enter details of your AML workspace
  subscription_id = "<SUBSCRIPTION_ID>"
  resource_group = "<RESOURCE_GROUP>"
  workspace = "<AML_WORKSPACE_NAME>"

  # get a handle to the workspace
  from azure.ai.ml import MLClient
  from azure.identity import DefaultAzureCredential
  
  ml_client = MLClient(
      DefaultAzureCredential(), subscription_id, resource_group, workspace
  )

  ml_client ist ein Handler für den Arbeitsbereich, den Sie für die Verwaltung anderer Ressourcen und Aufträge verwenden.

• Wenn Sie diese Befehle nicht auf einer Compute-Instanz ausführen, installieren Sie die Azure CLI-Erweiterung für den Machine Learning-Dienst (V2). Diese Erweiterung ist auf einer Compute-Instanz bereits installiert.

• Authentifizieren Sie sich, und legen Sie den Standardarbeitsbereich und die Ressourcengruppe fest. Lassen Sie das Terminal geöffnet, um die restlichen Befehle in diesem Artikel auszuführen.

  • Wenn Sie sich auf einer Compute-Instanz befinden:

    az login --identity
    # next line needed only if you have multiple subscriptions:
    az account set --subscription "<SUBSCRIPTION-NAME>" # replace with your subscription name
    az configure --defaults group=$CI_RESOURCE_GROUP workspace=$CI_WORKSPACE
    

  • Wenn Sie die Befehle lokal ausführen, lassen Sie --identity weg, und folgen Sie den Anweisungen für die Authentifizierung. Ersetzen Sie außerdem $CI_RESOURCE_GROUP und $CI_WORKSPACE durch Ihre eigenen Werte.

Beginnen Sie in Azure Machine Learning Studio.

Um eine persistente Azure Machine Learning Compute-Ressource in Python zu erstellen, geben Sie die Eigenschaften size und max_instances an. Azure Machine Learning verwendet dann für die restlichen Eigenschaften intelligente Standardwerte.

• size: Die VM-Familie der von Azure Machine Learning Compute erstellten Knoten.
• max_instances: Die maximale Anzahl von Knoten, auf die das Computeziel bei der Ausführung eines Auftrags in Azure Machine Learning Compute automatisch hochskaliert wird.

GILT FÜR: Python SDK azure-ai-ml v2 (aktuell)

from azure.ai.ml.entities import AmlCompute

cluster_basic = AmlCompute(
    name="basic-example",
    type="amlcompute",
    size="STANDARD_DS3_v2",
    location="westus",
    min_instances=0,
    max_instances=2,
    idle_time_before_scale_down=120,
)
ml_client.begin_create_or_update(cluster_basic).result()

Sie können beim Erstellen von Azure Machine Learning Compute auch mehrere erweiterte Eigenschaften konfigurieren. Mithilfe der Eigenschaften können Sie einen persistenten Cluster mit einer festen Größe oder in einem vorhandenen virtuellen Azure-Netzwerk in Ihrem Abonnement erstellen. Weitere Informationen finden Sie in der AmlCompute-Klasse.

GILT FÜR Azure CLI-ML-Erweiterung v2 (aktuell)

az ml compute create -f create-cluster.yml

Wo sich die Datei create-cluster.yml befindet:

$schema: https://azuremlschemas.azureedge.net/latest/amlCompute.schema.json 
name: location-example
type: amlcompute
size: STANDARD_DS3_v2
min_instances: 0
max_instances: 2
idle_time_before_scale_down: 120
location: westus

Erstellen Sie einen Computecluster mit einem oder mehreren Knoten für Ihre Workloads in den Bereichen Training, Batchrückschlüsse und vertiefendes Lernen.

1. Navigieren Sie zu Azure Machine Learning Studio.

2. Wählen Sie unter Verwalten die Option Compute aus.

3. Wenn Sie keine Computeressourcen haben, wählen Sie in der Mitte der Seite Neu aus.

   

4. Wenn eine Liste der Computeressourcen angezeigt wird, wählen Sie oberhalb der Liste + Neu aus.

   

5. Wählen Sie auf den Registerkarten oben Compute-Cluster aus.

6. Füllen Sie das Formular wie folgt aus:

   Feld	BESCHREIBUNG
   Standort	Die Azure-Region, in der der Computecluster erstellt wird. Standardmäßig ist dies derselbe Standort wie für den Arbeitsbereich. Wenn Ihr Kontingent in der Standardregion nicht ausreicht, wählen Sie eine andere Region aus, um mehr Optionen zu haben. Wenn Sie eine andere Region als für Ihren Arbeitsbereich oder Ihre Datenspeicher nutzen, können möglicherweise erhöhte Netzwerklatenz und Datenübertragungskosten die Folge sein. Latenz und Kosten können beim Erstellen des Clusters und beim Anwenden von Aufträgen auf den Cluster anfallen.
   Typ des virtuellen Computers	Wählen Sie CPU oder GPU aus. Dieser Typ kann nach der Erstellung nicht mehr geändert werden.
   VM-Priorität	Wählen Sie Dediziert oder Mit niedriger Priorität aus. Virtuelle Computer mit niedriger Priorität sind kostengünstiger, bieten jedoch keine garantierten Computeknoten. Ihr Auftrag wird unter Umständen vorzeitig entfernt.
   Größe des virtuellen Computers	Die Größe der unterstützten virtuellen Computer kann in Ihrer Region eingeschränkt sein. Überprüfen Sie die Verfügbarkeitsliste.

7. Wählen Sie Weiter aus, um mit Erweiterte Einstellungen fortzufahren, und füllen Sie das Formular wie folgt aus:

   Feld	BESCHREIBUNG
   Computename	* Der Name ist erforderlich und muss zwischen 3 und 24 Zeichen lang sein. * Gültige Zeichen sind Groß- und Kleinbuchstaben, Ziffern und das - Zeichen. * Der Name muss mit einem Buchstaben beginnen. * Der Name muss für alle vorhandenen Compute innerhalb einer Azure-Region eindeutig sein. Es wird eine Warnung angezeigt, wenn der von Ihnen gewählte Name nicht eindeutig ist. * Wenn ein --Zeichen verwendet wird, muss darauf im Namen mindestens ein Buchstabe folgen.
   Mindestanzahl von Knoten	Mindestanzahl von Knoten, die Sie bereitstellen möchten. Wenn Sie eine dedizierte Anzahl von Knoten verwenden möchten, legen Sie diese Anzahl hier fest. Sparen Sie Geld, indem Sie die Mindestanzahl auf 0 festlegen, sodass Sie nicht für Knoten bezahlen, wenn sich der Cluster im Leerlauf befindet.
   Maximale Knotenanzahl	Maximale Anzahl von Knoten, die Sie bereitstellen möchten. Computevorgänge werden automatisch auf diese maximale Knotenanzahl skaliert, wenn ein Auftrag übermittelt wird.
   Leerlauf in Sekunden vor dem Herunterskalieren	Leerlaufzeit, bevor der Cluster auf die Mindestknotenanzahl herunterskaliert wird.
   Aktivieren des SSH-Zugriffs	Befolgen Sie dieselben Anweisungen wie bei Aktivieren des SSH-Zugriffs für eine Compute-Instanz.
   Erweiterte Einstellungen	Optional. Konfigurieren der Netzwerkeinstellungen * Geben Sie im Fall eines virtuellen Azure-Netzwerks die Ressourcengruppe, das virtuelle Netzwerk und das Subnetz an, um die Compute-Instanz im Netzwerk zu erstellen. Weitere Informationen finden Sie unter Netzwerkanforderungen. * Im Fall eines verwalteten Azure Machine Learning-Netzwerks befindet sich der Computecluster automatisch im verwalteten Netzwerk. Weitere Informationen finden Sie unter Verwaltete Computer mit einem verwalteten Netzwerk. * Mit „Keine öffentliche IP-Adresse“ wird konfiguriert, ob der Computecluster über eine öffentliche IP-Adresse verfügt, wenn er sich in einem Netzwerk befindet. * Weisen Sie eine verwaltete Identität zu, um Zugriff auf Ressourcen zu gewähren.

8. Wählen Sie Erstellen aus.

Aktivieren des SSH-Zugriffs

Der SSH-Zugriff ist standardmäßig deaktiviert. Der SSH-Zugriff kann nach der Erstellung nicht geändert werden. Stellen Sie sicher, dass Sie den Zugriff aktivieren, wenn Sie vorhaben, interaktiv mit VS Code Remote zu debuggen.

Nach Auswahl von Weiter: Erweiterte Einstellungen:

1. Aktivieren Sie die Option SSH-Zugriff aktivieren.
2. Wählen Sie als Quelle für öffentlichen SSH-Schlüssel eine der folgenden Optionen in der Dropdownliste aus:
   • Bei Verwendung von Neues Schlüsselpaar generieren:
     1. Geben Sie in Name des Schlüsselpaars einen Namen für den Schlüssel ein.
     2. Klicken Sie auf Erstellen.
     3. Wählen Sie Privaten Schlüssel herunterladen und Computeressource erstellen aus. Der Schlüssel wird üblicherweise in den Ordner Downloads heruntergeladen.
   • Wenn Sie In Azure vorhandenen öffentlichen Schlüssel verwenden auswählen, suchen Sie unter Gespeicherter Schlüssel nach dem Schlüssel, und wählen Sie ihn aus.
   • Wenn Sie Vorhandenen öffentlichen Schlüssel verwenden auswählen, geben Sie einen öffentlichen RSA-Schlüssel im einzeiligen Format (beginnend mit „ssh-rsa“) oder im mehrzeiligen PEM-Format an. Sie können die SSH-Schlüssel mithilfe von „ssh-keygen“ unter Linux und OS X oder mit PuTTYGen unter Windows generieren.

Herstellen einer Verbindung mit SSH-Zugriff

Nachdem Sie eine Compute mit aktiviertem SSH-Zugriff erstellt haben, verwenden Sie diese Schritte für den Zugriff.

1. Suchen Sie die Computeressourcen in Ihren Arbeitsbereichsressourcen:

   1. Wählen Sie links Compute aus.
   2. Verwenden Sie die Registerkarten oben, um Compute-Instanz oder Computecluster für die Suche nach Ihrem Computer auszuwählen.

2. Wählen Sie den Namen der Computeressource in der Liste der Ressourcen aus.

3. Suchen Sie die Verbindungszeichenfolge:

   • Wählen Sie für eine Compute-Instanz die Option Verbinden am oberen Rand des Abschnitts Details aus.

     

   • Wählen Sie für einen Compute-Cluster oben die Option Knoten und dann in der Tabelle die Verbindungszeichenfolge für Ihren Knoten aus.

4. Kopieren Sie die Verbindungszeichenfolge.

5. Unter Windows öffnen Sie PowerShell oder eine Eingabeaufforderung:

   1. Wechseln Sie in das Verzeichnis oder den Ordner, in dem Ihr Schlüssel gespeichert ist.

   2. Fügen Sie der Verbindungszeichenfolge das Flag „-i“ hinzu, um den privaten Schlüssel zu finden und auf seinen Speicherort zu verweisen:

      ssh -i <keyname.pem> azureuser@... (rest of connection string)

6. Führen Sie für Linux-Benutzer die Schritte unter Erstellen und Verwenden eines SSH-Schlüsselpaars für virtuelle Linux-Computer in Azure aus.

7. Für die SCP-Verwendung:

   scp -i key.pem -P {port} {fileToCopyFromLocal } azureuser@yourComputeInstancePublicIP:~/{destination}

GILT FÜR: Python SDK azure-ai-ml v2 (aktuell)

from azure.ai.ml.entities import AmlCompute

cluster_low_pri = AmlCompute(
    name="low-pri-example",
    size="STANDARD_DS3_v2",
    min_instances=0,
    max_instances=2,
    idle_time_before_scale_down=120,
    tier="low_priority",
)
ml_client.begin_create_or_update(cluster_low_pri).result()

GILT FÜR Azure CLI-ML-Erweiterung v2 (aktuell)

Legen Sie die vm-priority fest:

az ml compute create -f create-cluster.yml

Wo sich die Datei create-cluster.yml befindet:

$schema: https://azuremlschemas.azureedge.net/latest/amlCompute.schema.json 
name: low-pri-example
type: amlcompute
size: STANDARD_DS3_v2
min_instances: 0
max_instances: 2
idle_time_before_scale_down: 120
tier: low_priority

Wählen Sie in Studio beim Erstellen einer VM Niedrige Priorität aus.

GILT FÜR: Python SDK azure-ai-ml v2 (aktuell)

Dadurch wird der grundlegende Computecluster gelöscht, der zuvor in diesem Artikel mit dem create_basic-Objekt erstellt wurde.

from azure.ai.ml.entities import AmlCompute

ml_client.compute.begin_delete(cluster_basic.name).wait()

GILT FÜR Azure CLI-ML-Erweiterung v2 (aktuell)

Dadurch wird ein Computecluster mit dem Namen basic-examplegelöscht.

az ml compute delete --name basic-example 

1. Navigieren Sie zu Azure Machine Learning Studio.
2. Wählen Sie im linken Menü unter Verwalten die Option Compute aus.
3. Wählen Sie oben auf der Seite „Compute“ die Option Computecluster aus.
4. Wählen Sie den Cluster aus, den Sie löschen möchten.
5. Wählen Sie oben auf der Seite Löschen aus.