Proteggere un ambiente di training di Azure Machine Learning con reti virtuali (SDKv1)

Si applica a: Python SDK azureml v1

Il presente articolo illustra come proteggere gli ambienti di training con una rete virtuale in Azure Machine Learning utilizzando Python SDK v1.

È possibile usare l'istanza di ambiente di calcolo e il cluster di elaborazione di Azure Machine Learning per eseguire il training sicuro dei modelli in una rete virtuale. Quando si pianifica l'ambiente, è possibile configurare l'istanza di ambiente di calcolo o il cluster di elaborazione con o senza un indirizzo IP pubblico. Le differenze generali tra i due sono:

• Senza IP pubblico: riduce i costi perché non ha gli stessi requisiti delle risorse di rete. Migliora la sicurezza rimuovendo il requisito per il traffico in ingresso da Internet. Tuttavia, sono necessarie modifiche di configurazione aggiuntive per abilitare l'accesso in uscita alle risorse necessarie (Microsoft Entra ID, Azure Resource Manager e così via).
• IP pubblico: funziona per impostazione predefinita, ma costa di più a causa delle risorse di rete aggiuntive di Azure. Richiede la comunicazione in ingresso dal servizio Azure Machine Learning tramite Internet pubblico.

La tabella seguente mostra le differenze tra queste configurazioni:

È anche possibile usare Azure Databricks o HDInsight per eseguire il training dei modelli in una rete virtuale.

Il presente articolo illustra come proteggere le seguenti risorse di calcolo di training in una rete virtuale:

Prerequisiti

• Per comprendere gli scenari di rete virtuale comuni e l'architettura complessiva della rete virtuale leggere l'articolo Panoramica della sicurezza di rete.

• Una rete virtuale e una subnet esistenti da usare con le risorse di calcolo. Questa rete virtuale deve trovarsi nella stessa sottoscrizione dell'area di lavoro di Azure Machine Learning.

  • È consigliabile inserire gli account di archiviazione utilizzati dall'area di lavoro e i processi di training nella stessa area di Azure che si prevede di usare per le istanze di ambiente di calcolo e i cluster di elaborazione. Se non si trovano nella stessa area di Azure, è possibile che si verifichino costi di trasferimento dei dati e una maggiore latenza di rete.
  • Assicurarsi che la comunicazione WebSocket sia consentita per *.instances.azureml.net e *.instances.azureml.ms nella rete virtuale. I WebSocket vengono usati da Jupyter nelle istanze di calcolo.

• Una subnet esistente nella rete virtuale. Questa subnet viene usata durante la creazione di istanze di ambiente di calcolo e di cluster di elaborazione.

  • Assicurarsi che la subnet non sia delegata ad altri servizi di Azure.
  • Assicurarsi che la subnet contenga un numero sufficiente di indirizzi IP liberi. Ogni istanza di ambiente di calcolo richiede un indirizzo IP. Ogni nodo all'interno di un cluster di elaborazione richiede un indirizzo IP.

• Se si dispone del proprio server DNS, è consigliabile usare l'inoltro DNS per risolvere i nomi di dominio completi (FQDN) delle istanze di ambiente di calcolo e dei cluster di elaborazione. Per altre informazioni vedere Usare un DNS personalizzato con Azure Machine Learning.

• Per distribuire le risorse in una rete virtuale o in una subnet, l'account utente deve disporre delle autorizzazioni per eseguire le azioni seguenti nel controllo degli accessi in base al ruolo di Azure:

  • "Microsoft.Network/*/read" nella risorsa della rete virtuale. Questa autorizzazione non è necessaria per le distribuzioni di modelli di Azure Resource Manager (ARM).
  • "Microsoft.Network/virtualNetworks/join/action" nella risorsa della rete virtuale.
  • "Microsoft.Network/virtualNetworks/subnets/join/action" nella risorsa della subnet.

  Per altre informazioni sul controllo degli accessi in base al ruolo di Azure nella rete vedere Ruoli predefiniti di rete

Limiti

Cluster di elaborazione/istanza di ambiente di calcolo di Azure Machine Learning

• I cluster di elaborazione possono essere creati in un'area e una rete virtuali diverse rispetto all'area di lavoro dell'utente. Tuttavia, questa funzionalità è accessibile solo usando SDK v2, CLI v2 o Studio. Per altre informazioni, vedere la versione v2 degli ambienti di training sicuri.

• La distribuzione di istanze di ambiente di calcolo e di cluster di elaborazione nella rete virtuale non è supportata con Azure Lighthouse.

• La porta 445 deve essere aperta per le comunicazioni di rete privata tra le istanze di calcolo e l'account di archiviazione predefinito durante il training. Ad esempio, se i calcoli si trovano in una rete virtuale e l'account di archiviazione si trova in un altro, non bloccare la porta 445 nella rete virtuale dell'account di archiviazione.

Azure Databricks

• La rete virtuale deve trovarsi nella stessa sottoscrizione e area dell'area di lavoro di Azure Machine Learning.
• Se anche gli account di archiviazione di Azure per l'area di lavoro sono protetti in una rete virtuale, devono trovarsi nella stessa rete virtuale del cluster di Azure Databricks.
• Oltre alle subnet databricks-private e databricks-public usate da Azure Databricks, è necessaria anche la subnet predefinita creata per la rete virtuale.
• Azure Databricks non utilizza un endpoint privato per comunicare con la rete virtuale.

Per altre informazioni sull'uso di Azure Databricks in una rete virtuale, vedere Distribuire Azure Databricks nella rete virtuale di Azure.

Azure HDInsight o macchina virtuale

• Azure Machine Learning supporta solo macchine virtuali che eseguono Ubuntu.

Istanze di ambiente di calcolo e cluster di elaborazione senza IP pubblico

Le configurazioni seguenti sono aggiunte a quelle elencate nella sezione Prerequisiti e sono specifiche per la creazione di istanze di ambiente di calcolo e di cluster di elaborazione configurati per nessun indirizzo IP pubblico:

• È necessario usare un endpoint privato dell'area di lavoro per la risorsa di calcolo per la comunicazione con i servizi di Azure Machine Learning dalla rete virtuale. Per altre informazioni vedere Configurare un endpoint privato per l'area di lavoro di Azure Machine Learning.

• Nella rete virtuale consentire il traffico in uscita ai tag di servizio seguenti o ai nomi di dominio completi (FQDN):

  Tag di servizio	Protocollo	Port	Note
  AzureMachineLearning	TCP UDP	443/8787/18881 5831	Comunicazione con il servizio Azure Machine Learning.
  BatchNodeManagement.<region>	QUALSIASI	443	Sostituire <region> con l'area di Azure che contiene l'area di lavoro di Azure Machine Learning. Comunicazione con Azure Batch. L'istanza di calcolo e il cluster di elaborazione vengono implementati usando il servizio Azure Batch.
  Storage.<region>	TCP	443	Sostituire <region> con l'area di Azure che contiene l'area di lavoro di Azure Machine Learning. Questo tag del servizio viene usato per comunicare con l'account di archiviazione di Azure usato da Azure Batch.

  Importante

  L'accesso in uscita a Storage.<region> può essere potenzialmente usato per esfiltrare i dati dall'area di lavoro. Usando i criteri dell’endpoint di servizio è possibile attenuare questa vulnerabilità. Per altre informazioni vedere l'articolo Prevenzione dell'esfiltrazione dei dati di Azure Machine Learning.

  FQDN	Protocollo	Port	Note
  <region>.tundra.azureml.ms	UDP	5831	Sostituire <region> con l'area di Azure che contiene l'area di lavoro di Azure Machine Learning.
  graph.windows.net	TCP	443	Comunicazione con l'API Microsoft Graph.
  *.instances.azureml.ms	TCP	443/8787/18881	Comunicazione con Azure Machine Learning.
  *.<region>.batch.azure.com	QUALSIASI	443	Sostituire <region> con l'area di Azure che contiene l'area di lavoro di Azure Machine Learning. Comunicazione con Azure Batch.
  *.<region>.service.batch.azure.com	QUALSIASI	443	Sostituire <region> con l'area di Azure che contiene l'area di lavoro di Azure Machine Learning. Comunicazione con Azure Batch.
  *.blob.core.windows.net	TCP	443	Comunicazione con archiviazione BLOB di Azure.
  *.queue.core.windows.net	TCP	443	Comunicazione con archiviazione code di Azure.
  *.table.core.windows.net	TCP	443	Comunicazione con archiviazione tabelle di Azure.

• Per consentire il traffico in uscita, creare un firewall e regole in uscita o un gateway NAT e gruppi di servizi di rete. Poiché l'ambiente di calcolo non ha un indirizzo IP pubblico, non può comunicare con le risorse su Internet pubblico senza questa configurazione. Ad esempio, non sarebbe in grado di comunicare con Microsoft Entra ID o Azure Resource Manager. Anche l'installazione di pacchetti Python da origini pubbliche richiederebbe questa configurazione.

  Per altre informazioni sul traffico in uscita usato da Azure Machine Learning, vedere gli articoli seguenti:

  • Configurare il traffico di rete in ingresso e in uscita.
  • Metodi di connettività in uscita di Azure.

Usare le informazioni seguenti per creare un'istanza di ambiente di calcolo o un cluster di elaborazione senza indirizzo IP pubblico:

Per ottenere un'istanza di ambiente di calcolo o un cluster di elaborazione senza IP pubblico, usare l'interfaccia utente di studio di Azure Machine Learning per creare la risorsa:

1. Accedere a studio di Azure Machine Learning, quindi selezionare la sottoscrizione e l'area di lavoro.

2. Selezionare la pagina Calcolo nella barra di spostamento a sinistra.

3. Selezionare + Nuovo dalla barra di spostamento dell'istanza di ambiente di calcolo o del cluster di elaborazione.

4. Impostare le dimensioni e la configurazione della macchina virtuale necessarie, quindi selezionare Avanti.

5. In Impostazioni avanzate selezionare Abilita rete virtuale, scegliere la rete virtuale e la subnet e infine selezionare l'opzione Senza IP pubblico nella sezione Rete virtuale/subnet.

   

Istanza di ambiente di calcolo/cluster di elaborazione con indirizzo IP pubblico

Le configurazioni seguenti sono aggiunte a quelle elencate nella sezione Prerequisiti e sono specifiche per la creazione di istanze di ambiente di calcolo e di cluster di elaborazione con un indirizzo IP pubblico:

• Se si inseriscono più istanze di ambiente di calcolo e cluster di elaborazione in una rete virtuale, potrebbe essere necessario richiedere un aumento della quota per una o più risorse. L'istanza di ambiente di calcolo o il cluster di elaborazione di Machine Learning allocano automaticamente le risorse di rete nel gruppo di risorse contenente la rete virtuale. Per ogni istanza o cluster, il servizio alloca le risorse seguenti:

  • Viene creato automaticamente un gruppo di sicurezza di rete. Questo gruppo di sicurezza di rete consente il traffico TCP in ingresso sulla porta 44224 dal tag di servizio AzureMachineLearning.

    Importante

    L'istanza di ambiente di calcolo e il cluster di elaborazione creano automaticamente un gruppo di sicurezza di rete con le regole necessarie.

    Se si dispone di un altro gruppo di sicurezza di rete a livello di subnet, le regole nel gruppo di sicurezza di rete a livello di subnet non devono essere in conflitto con le regole nel gruppo di sicurezza di rete creato automaticamente.

    Per informazioni su come i gruppi di sicurezza di rete filtrano il traffico di rete vedere Come i gruppi di sicurezza di rete filtrano il traffico di rete.

  • Un bilanciamento del carico

  Per i cluster di elaborazione queste risorse vengono eliminate ogni volta che il cluster si ridimensiona a 0 nodi e create con l’aumento delle dimensioni del cluster.

  Per un'istanza di calcolo, queste risorse vengono mantenute fino a quando l'istanza non viene eliminata. L'arresto dell'istanza non rimuove le risorse.

  Importante

  Queste risorse sono limitate in base alle quote delle risorse della sottoscrizione. Se il gruppo di risorse della rete virtuale è bloccato, l'eliminazione del cluster di elaborazione o dell'istanza di ambiente di calcolo avrà esito negativo. Non è possibile eliminare il bilanciamento del carico, finché non viene eliminato il cluster di elaborazione o l'istanza di ambiente di calcolo. Assicurarsi anche che non vi sia un’assegnazione dei Criteri di Azure ad impedire la creazione di gruppi di sicurezza di rete.

• Nella rete virtuale consentire il traffico TCP in ingresso sulla porta 44224 dal tag di servizio AzureMachineLearning.

  Importante

  All'istanza di ambiente di calcolo e al cluster di elaborazione viene assegnato dinamicamente un indirizzo IP al momento della creazione. Poiché l'indirizzo non è noto prima della creazione e l'accesso in ingresso è obbligatorio come parte del processo di creazione, non è possibile assegnarlo in modo statico nel firewall. Se, invece, si usa un firewall con la rete virtuale, è necessario creare una route definita dall'utente per consentire il traffico in ingresso.

• Nella rete virtuale consentire il traffico in uscita ai seguenti tag del servizio:

  Tag di servizio	Protocollo	Port	Note
  AzureMachineLearning	TCP UDP	443/8787/18881 5831	Comunicazione con il servizio Azure Machine Learning.
  BatchNodeManagement.<region>	QUALSIASI	443	Sostituire <region> con l'area di Azure che contiene l'area di lavoro di Azure Machine Learning. Comunicazione con Azure Batch. L'istanza di calcolo e il cluster di elaborazione vengono implementati usando il servizio Azure Batch.
  Storage.<region>	TCP	443	Sostituire <region> con l'area di Azure che contiene l'area di lavoro di Azure Machine Learning. Questo tag del servizio viene usato per comunicare con l'account di archiviazione di Azure usato da Azure Batch.

  Importante

  L'accesso in uscita a Storage.<region> può essere potenzialmente usato per esfiltrare i dati dall'area di lavoro. Usando i criteri dell’endpoint di servizio è possibile attenuare questa vulnerabilità. Per altre informazioni vedere l'articolo Prevenzione dell'esfiltrazione dei dati di Azure Machine Learning.

  FQDN	Protocollo	Port	Note
  <region>.tundra.azureml.ms	UDP	5831	Sostituire <region> con l'area di Azure che contiene l'area di lavoro di Azure Machine Learning.
  graph.windows.net	TCP	443	Comunicazione con l'API Microsoft Graph.
  *.instances.azureml.ms	TCP	443/8787/18881	Comunicazione con Azure Machine Learning.
  *.<region>.batch.azure.com	QUALSIASI	443	Sostituire <region> con l'area di Azure che contiene l'area di lavoro di Azure Machine Learning. Comunicazione con Azure Batch.
  *.<region>.service.batch.azure.com	QUALSIASI	443	Sostituire <region> con l'area di Azure che contiene l'area di lavoro di Azure Machine Learning. Comunicazione con Azure Batch.
  *.blob.core.windows.net	TCP	443	Comunicazione con archiviazione BLOB di Azure.
  *.queue.core.windows.net	TCP	443	Comunicazione con archiviazione code di Azure.
  *.table.core.windows.net	TCP	443	Comunicazione con archiviazione tabelle di Azure.

import datetime
import time

from azureml.core.compute import ComputeTarget, ComputeInstance
from azureml.core.compute_target import ComputeTargetException

# Choose a name for your instance
# Compute instance name should be unique across the azure region
compute_name = "ci{}".format(ws._workspace_id)[:10]

# Verify that instance does not exist already
try:
    instance = ComputeInstance(workspace=ws, name=compute_name)
    print('Found existing instance, use it.')
except ComputeTargetException:
    compute_config = ComputeInstance.provisioning_configuration(
        vm_size='STANDARD_D3_V2',
        ssh_public_access=False,
        vnet_resourcegroup_name='vnet_resourcegroup_name',
        vnet_name='vnet_name',
        subnet_name='subnet_name',
        # admin_user_ssh_public_key='<my-sshkey>'
    )
    instance = ComputeInstance.create(ws, compute_name, compute_config)
    instance.wait_for_completion(show_output=True)

from azureml.core.compute import ComputeTarget, AmlCompute
from azureml.core.compute_target import ComputeTargetException

# The Azure virtual network name, subnet, and resource group
vnet_name = 'mynetwork'
subnet_name = 'default'
vnet_resourcegroup_name = 'mygroup'

# Choose a name for your CPU cluster
cpu_cluster_name = "cpucluster"

# Verify that cluster does not exist already
try:
    cpu_cluster = ComputeTarget(workspace=ws, name=cpu_cluster_name)
    print("Found existing cpucluster")
except ComputeTargetException:
    print("Creating new cpucluster")

    # Specify the configuration for the new cluster
    compute_config = AmlCompute.provisioning_configuration(vm_size="STANDARD_D2_V2",
                                                           min_nodes=0,
                                                           max_nodes=4,
                                                           location="westus2",
                                                           vnet_resourcegroup_name=vnet_resourcegroup_name,
                                                           vnet_name=vnet_name,
                                                           subnet_name=subnet_name)

    # Create the cluster with the specified name and configuration
    cpu_cluster = ComputeTarget.create(ws, cpu_cluster_name, compute_config)

    # Wait for the cluster to be completed, show the output log
    cpu_cluster.wait_for_completion(show_output=True)

Al termine del processo di creazione, eseguire il training del modello. Per altre informazioni, vedere Configurare le destinazioni di calcolo per il training del modello.

Azure Databricks

• La rete virtuale deve trovarsi nella stessa sottoscrizione e area dell'area di lavoro di Azure Machine Learning.
• Se anche gli account di archiviazione di Azure per l'area di lavoro sono protetti in una rete virtuale, devono trovarsi nella stessa rete virtuale del cluster di Azure Databricks.
• Oltre alle subnet databricks-private e databricks-public usate da Azure Databricks, è necessaria anche la subnet predefinita creata per la rete virtuale.
• Azure Databricks non utilizza un endpoint privato per comunicare con la rete virtuale.

Per informazioni specifiche sull'uso di Azure Databricks con una rete virtuale, vedere Distribuire Azure Databricks nella rete virtuale di Azure.

L'accesso a Internet pubblico è necessario per l'esecuzione del training dei modelli

Azure Machine Learning richiede l'accesso in ingresso e in uscita alla rete Internet pubblica. Le tabelle seguenti offrono una panoramica dell’accesso obbligatorio e del relativo scopo. Per i tag di servizio che terminano in .region, sostituire region con l'area di Azure che contiene l'area di lavoro. Ad esempio, Storage.westus:

Potrebbe anche essere necessario consentire il traffico in uscita verso Visual Studio Code e siti non Microsoft per l'installazione di pacchetti richiesti dal progetto di apprendimento automatico. La tabella seguente elenca i repository comunemente usati per l'apprendimento automatico:

Quando si usa il servizio Azure Kubernetes con Azure Machine Learning, consentire il traffico seguente alla rete virtuale del servizio Azure Kubernetes:

• Requisiti generali in ingresso/in uscita per il servizio Azure Kubernetes come descritti nell'articolo Limitare il traffico in uscita nel servizio Azure Kubernetes.
• In uscita verso mcr.microsoft.com.
• Quando si distribuisce un modello in un cluster del servizio Azure Kubernetes, utilizzare le linee guida nell'articolo Distribuire modelli di apprendimento automatico nel servizio Azure Kubernetes.

Per informazioni sull'uso di una soluzione firewall vedere Usare un firewall con Azure Machine Learning.

Passaggi successivi

Il presente articolo fa parte di una serie di articoli sulla protezione del flusso di lavoro di Azure Machine Learning. Vedere gli altri articoli di questa serie:

• Panoramica della rete virtuale (v1)
• Proteggere le risorse dell'area di lavoro
• Ambiente di inferenza sicura (v1)
• Abilitare la funzionalità di Studio
• Usare DNS personalizzato
• Usare un firewall