Condividi tramite

Creare e configurare cluster Enterprise Security Package in Azure HDInsight

  • Articolo

Enterprise Security Package (ESP) per Azure HDInsight consente di accedere all'autenticazione basata su ID Di Microsoft Entra, al supporto multiutente e al controllo degli accessi in base al ruolo per i cluster Apache Hadoop in Azure. I cluster ESP HDInsight consentono alle organizzazioni che rispettano criteri di sicurezza aziendali rigorosi di elaborare i dati sensibili in modo sicuro.

Questa guida illustra come creare un cluster Azure HDInsight abilitato per ESP. Viene inoltre illustrato come creare una macchina virtuale IaaS Windows in cui sono abilitati l'ID Microsoft Entra e il DNS (Domain Name System). Usare questa guida per configurare le risorse necessarie per consentire agli utenti locali di accedere a un cluster HDInsight abilitato per ESP.

Il server creato fungerà da sostituzione per l'ambiente locale effettivo. Verrà usato per i passaggi di installazione e configurazione. Successivamente si ripeteranno i passaggi nel proprio ambiente.

Questa guida consente anche di creare un ambiente di identità ibrida usando la sincronizzazione dell'hash delle password con Microsoft Entra ID. La guida integra Uso di ESP in HDInsight.

Prima di usare questo processo nel proprio ambiente:

  • Configurare Microsoft Entra ID e DNS.
  • Abilitare Microsoft Entra ID.
  • Sincronizzare gli account utente locali con Microsoft Entra ID.

Diagramma dell'architettura di Microsoft Entra.

Creare un ambiente locale

In questa sezione si userà un modello di distribuzione di avvio rapido di Azure per creare nuove macchine virtuali, configurare DNS e aggiungere una nuova foresta MICROSOFT Entra ID.

  1. Passare al modello di distribuzione Avvio rapido per creare una macchina virtuale di Azure con una nuova foresta ID Di Ingresso Microsoft.

  2. Selezionare Distribuisci in Azure.

  3. Accedere alla sottoscrizione di Azure.

  4. Nella pagina Creare una macchina virtuale di Azure con una nuova foresta di Active Directory, specificare le informazioni seguenti:

    Proprietà valore
    Subscription Selezionare la sottoscrizione in cui si vogliono distribuire le risorse.
    Gruppo di risorse Selezionare Crea nuovo e immettere il nome OnPremADVRG
    Ufficio Selezionare una località.
    Nome utente amministratore HDIFabrikamAdmin
    Password amministratore Immettere una password.
    Nome dominio HDIFabrikam.com
    Prefisso DNS hdifabrikam

    Lasciare i valori predefiniti restanti.

    Modello per Creare una macchina virtuale di Azure con una nuova foresta di Microsoft Entra.

  5. Rivedere le Condizioni e quindi selezionare Accetto le condizioni riportate sopra.

  6. Selezionare Acquista, monitorare la distribuzione e attendere il completamento. Il completamento della distribuzione richiede circa 30 minuti.

Configurare gli utenti e i gruppi per l'accesso al cluster

In questa sezione verranno creati gli utenti che avranno accesso al cluster HDInsight alla fine di questa guida.

  1. Connettersi al controller di dominio usando Desktop remoto.

    1. Dal portale di Azure, passare a Gruppi di risorse>OnPremADVRG>adVM>Connect.
    2. Nell'elenco a discesa Indirizzo IP selezionare l'indirizzo IP pubblico.
    3. Selezionare Scarica il file RDP, quindi aprire il file.
    4. Usare HDIFabrikam\HDIFabrikamAdmin come nome utente.
    5. Immettere la password scelta per l'account amministratore.
    6. Seleziona OK.

  2. Dal dashboard di Server Manager del controller di dominio passare a Strumenti>Utenti e computer Microsoft Entra ID.

    Nel dashboard di Server Manager aprire Microsoft Entra ID Management.

  3. Creare due nuovi utenti: HDIAdmin e HDIUser. Questi due utenti accederanno ai cluster HDInsight.

    1. Nella pagina Utenti e computer di Microsoft Entra ID fare clic con il pulsante destro del mouse HDIFabrikam.comsu e quindi passare a Nuovo>utente.

      Creare un nuovo utente di Microsoft Entra ID.

    2. Nella pagina Nuovo oggetto - Utente, immettere HDIUser per Nome e Nome di accesso utente. Gli altri campi verranno popolati automaticamente. Quindi seleziona Avanti.

      Creare il primo oggetto utente amministratore.

    3. Nella finestra popup visualizzata immettere una password per il nuovo account. Selezionare La password non scade mai e quindi OK nel messaggio popup.

    4. Selezionare Avanti, quindi Fine per creare il nuovo account.

    5. Ripetere i passaggi precedenti per creare l'utente HDIAdmin.

      Creare un secondo oggetto utente amministratore.

  4. Creare un gruppo di sicurezza.

    1. Da Utenti e computer di Microsoft Entra ID fare clic con il pulsante destro del mouse HDIFabrikam.comsu e quindi passare a Nuovo>gruppo.

    2. Immettere HDIUserGroup nella casella di testo Nome del gruppo.

    3. Seleziona OK.

    Creare un nuovo gruppo microsoft Entra ID.

    Creare un nuovo oggetto .

  5. Aggiungere membri a HDIUserGroup.

    1. Fare clic con il pulsante destro del mouse su HDIUser e selezionare Aggiungi a un gruppo....

    2. Nella casella di testo Immettere i nomi degli oggetti da selezionare, immettere HDIUserGroup. Quindi, selezionare OK e di nuovo OK nella finestra popup.

    3. Ripetere i passaggi precedenti per l’account HDIAdmin.

      Aggiungere il membro HDIUser al gruppo HDIUserGroup.

È stato creato l'ambiente Microsoft Entra ID. Sono stati aggiunti due utenti e un gruppo di utenti che possono accedere al cluster HDInsight.

Gli utenti verranno sincronizzati con Microsoft Entra ID.

Creare una directory di Microsoft Entra

  1. Accedere al portale di Azure.

  2. Selezionare Crea una risorsa e digitare directory. Selezionare Microsoft Entra ID>Crea.

  3. in Nome organizzazione immettere HDIFabrikam.

  4. In Nome di dominio iniziale, immettere HDIFabrikamoutlook.

  5. Seleziona Crea.

    Creare una directory di Microsoft Entra.

Creare un dominio personalizzato

  1. Dal nuovo Microsoft Entra ID, in Gestisci, selezionare Nomi di dominio personalizzati.

  2. Selezionare + Aggiungi dominio personalizzato.

  3. In Nome di dominio personalizzato immettere HDIFabrikam.com, quindi selezionare Aggiungi dominio.

  4. Qundi, completare Aggiungere le informazioni sul DNS al registrar.

    Creare un dominio personalizzato.

Creare un gruppo

  1. Dal nuovo Microsoft Entra ID, in Gestisci, selezionare Gruppi.
  2. Selezionare + Nuovo gruppo.
  3. Nella casella di testo Nome del gruppo, immettere AAD DC Administrators.
  4. Seleziona Crea.

Configurare il tenant di Microsoft Entra

A questo punto si configurerà il tenant di Microsoft Entra in modo che sia possibile sincronizzare utenti e gruppi dall'istanza locale di Microsoft Entra ID al cloud.

Creare un amministratore tenant di Microsoft Entra ID.

  1. Accedere al portale di Azure e selezionare il tenant di Microsoft Entra, HDIFabrikam.

  2. Passare a Gestisci>Utenti>Nuovo utente.

  3. Immettere i dettagli seguenti per il nuovo utente:

    Identità

    Proprietà Descrizione
    Nome utente Immettere fabrikamazureadmin nella casella di testo. Nell'elenco a discesa del nome di dominio, selezionare hdifabrikam.com
    Nome Immetti fabrikamazureadmin.

    Password

    1. Selezionare Consenti la creazione manuale della password.
    2. Immettere una password sicura a propria scelta.

    Gruppi e ruoli

    1. Selezionare 0 gruppi selezionati.

    2. Selezionare AAD DC Amministratori, quindi Seleziona.

      Finestra di dialogo dei gruppi di Microsoft Entra.

    3. Selezionare Utente.

    4. Selezionare Amministratore, quindi Seleziona.

  4. Selezionare Crea.

  5. Chiedere quindi al nuovo utente di accedere al portale di Azure in cui verrà richiesto di modificare la password. È necessario eseguire questa operazione prima di configurare Microsoft Entra Connect.

Sincronizzare gli utenti locali con Microsoft Entra ID

Configurare Microsoft Entra Connect

  1. Dal controller di dominio, scaricare Microsoft Entra Connect.

  2. Aprire il file eseguibile scaricato e accettare le condizioni di licenza. Selezionare Continua.

  3. Selezionare Usa impostazioni rapide.

  4. Nella pagina Connetti a Microsoft Entra ID immettere il nome utente e la password dell'amministratore dei nomi di dominio per Microsoft Entra ID. Usare il nome utente fabrikamazureadmin@hdifabrikam.com creato al momento della configurazione del tenant. Quindi seleziona Avanti.

    Connettersi a Microsoft Entra ID.

  5. Nella pagina Connetti a Microsoft Entra ID Domain Services immettere il nome utente e la password per un account amministratore dell'organizzazione. Usare il nome utente HDIFabrikam\HDIFabrikamAdmin e la relativa password creati in precedenza. Quindi seleziona Avanti.

    Connettersi alla pagina ADDS.

  6. Nella pagina Configurazione dell'accesso a Microsoft Entra, selezionare Avanti.

    Pagina di configurazione dell'accesso a Microsoft Entra.

  7. Nella pagina Pronto per la configurazione selezionare Installa.

    Pagina Pronto per la configurazione.

  8. Nella pagina La configurazione è stata completata selezionare Esci. Pagina di configurazione completata.

  9. Al termine della sincronizzazione, verificare che gli utenti creati nella directory IaaS siano sincronizzati con Microsoft Entra ID.

    1. Accedere al portale di Azure.
    2. Selezionare Microsoft Entra ID>HDIFabrikam>Utenti.

Creare un'identità gestita assegnata dall'utente

Creare un'identità gestita assegnata dall'utente che è possibile usare per configurare Microsoft Entra Domain Services. Per ulteriori informazioni, vedere Creare, elencare, eliminare o assegnare un ruolo a un'identità gestita assegnata dall'utente mediante il portale di Azure.

  1. Accedere al portale di Azure.
  2. Selezionare Crea una risorsa e digitare managed identity. Seleziona Identità gestita assegnata dall'utente>Crea.
  3. Per il Nome risorsa, immettere HDIFabrikamManagedIdentity.
  4. Selezionare la propria sottoscrizione.
  5. In Gruppo di risorse selezionare Crea nuovo e immettere HDIFabrikam-CentralUS.
  6. In Località selezionare Stati Uniti centrali.
  7. Seleziona Crea.

Creare una nuova identità gestita assegnata dall'utente.

Abilitare Microsoft Entra Domain Services.

Per abilitare Microsoft Entra Domain Services, seguire questa procedura. Per altre informazioni vedere Abilitare Microsoft Entra Domain Services tramite il portale di Azure.

  1. Creare una rete virtuale per ospitare Microsoft Entra Domain Services. Eseguire il codice PowerShell riportato di seguito.

    # Sign in to your Azure subscription
$sub = Get-AzSubscription -ErrorAction SilentlyContinue
if(-not($sub))
{
    Connect-AzAccount
}

# If you have multiple subscriptions, set the one to use
# Select-AzSubscription -SubscriptionId "<SUBSCRIPTIONID>"

$virtualNetwork = New-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-CentralUS' -Location 'Central US' -Name 'HDIFabrikam-AADDSVNET' -AddressPrefix 10.1.0.0/16
$subnetConfig = Add-AzVirtualNetworkSubnetConfig -Name 'AADDS-subnet' -AddressPrefix 10.1.0.0/24 -VirtualNetwork $virtualNetwork
$virtualNetwork | Set-AzVirtualNetwork

  2. Accedere al portale di Azure.

  3. Selezionare Crea risorsa, immettere Domain services e selezionare Microsoft Entra Domain Services>Crea.

  4. Nella pagina Informazioni di base immettere:

    1. In Nome directory selezionare la directory Microsoft Entra creata: HDIFabrikam.

    2. Per Nome di dominio DNS, immettere HDIFabrikam.com.

    3. Selezionare la propria sottoscrizione.

    4. Specificare il gruppo di risorse HDIFabrikam-CentralUS. Per Località selezionare Stati Uniti centrali.

      Dettagli di base di Microsoft Entra Domain Services.

  5. Nella pagina Rete selezionare la rete (HDIFabrikam-VNET) e la subnet (AADDS-subnet) creata usando lo script di PowerShell. In alternativa, scegliere Crea nuova per creare una nuova rete virtuale.

    Creare collegamento di rete virtuale.

  6. Nella pagina Gruppo amministratori, dovrebbe essere visualizzata una notifica che indica che è già stato creato un gruppo denominato AAD DC Amministratori per amministrare questo gruppo. È possibile modificare l'appartenenza a questo gruppo se si vuole, ma in questo caso non è necessario modificarla. Seleziona OK.

    Visualizzare il gruppo amministratori di Microsoft Entra.

  7. Nella pagina Sincronizzazione, abilitare la sincronizzazione completa selezionando Tutti>OK.

    Abilitare la sincronizzazione di Microsoft Entra Domain Services.

  8. Nella pagina Riepilogo, verificare i dettagli per Microsoft Entra Domain Services e selezionare OK.

    Abilitare Microsoft Entra Domain Services.

Dopo aver abilitato Microsoft Entra Domain Services, viene eseguito un server DNS locale nelle macchine virtuali Microsoft Entra.

Configurare la rete virtuale di Microsoft Entra Domain Services

Seguire questa procedura per configurare la rete virtuale di Microsoft Entra Domain Services (HDIFabrikam-AADDSVNET) per usare i server DNS personalizzati.

  1. Individuare gli indirizzi IP dei server DNS personalizzati.

    1. Selezionare la risorsa Servizi di dominio Microsoft Entra HDIFabrikam.com.
    2. In Gestione selezionare Proprietà.
    3. Trovare gli indirizzi IP in Indirizzo IP nella rete virtuale.

    Individuare gli indirizzi IP DNS personalizzati per Microsoft Entra Domain Services.

  2. Configurare HDIFabrikam-AADDSVNET per usare indirizzi IP personalizzati 10.0.0.4 e 10.0.0.5.

    1. In Impostazioni selezionare Server DNS.
    2. Seleziona Personalizza.
    3. Nella casella di testo immettere il primo indirizzo IP (10.0.0.4).
    4. Seleziona Salva.
    5. Ripetere i passaggi per aggiungere l'altro indirizzo IP (10.0.0.5).

In questo scenario, Microsoft Entra Domain Services è stato configurato per l'uso degli indirizzi IP 10.0.0.4 e 10.0.0.5, impostando lo stesso indirizzo IP nella rete virtuale di Microsoft Entra Domain Services:

Pagina dei server DNS personalizzati.

Protezione del traffico LDAP

Il protocollo LDAP (Lightweight Directory Access Protocol) viene usato per leggere e scrivere in Microsoft Entra ID. È possibile rendere il traffico LDAP riservato e sicuro usando la tecnologia Secure Sockets Layer (SSL) o Transport Layer Security (TLS). È possibile abilitare LDAP su SSL (LDAPS) installando un certificato formattato correttamente.

Per altre informazioni su LDAP sicuro, vedere Configurare l'accesso LDAPS per un dominio gestito di Microsoft Entra Domain Services.

In questa sezione viene creato un certificato autofirmato, viene scaricato il certificato e viene configurato LDAPS per il dominio gestito HdIFabrikam di Microsoft Entra Domain Services.

Lo script seguente crea un certificato per HDIFabrikam. Il certificato viene salvato nel percorso LocalMachine.

$lifetime = Get-Date
New-SelfSignedCertificate -Subject hdifabrikam.com `
-NotAfter $lifetime.AddDays(365) -KeyUsage DigitalSignature, KeyEncipherment `
-Type SSLServerAuthentication -DnsName *.hdifabrikam.com, hdifabrikam.com

Nota

Qualsiasi utilità o applicazione che crea una richiesta PKCS (Public Key Cryptography Standards) #10 valida può essere usata per formare la richiesta di certificato TLS/SSL.

Verificare che il certificato sia installato nell'archivio Personale del computer:

  1. Avviare Microsoft Management Console (MMC).

  2. Aggiungere lo snap-in Certificati che gestisce i certificati nel computer locale.

  3. Espandi Certificati (computer locale)>Personale>Certificati. Nell'archivio Personale deve esistere un nuovo certificato. Questo certificato viene rilasciato al nome host completo.

    Verificare la creazione del certificato locale.

  4. Nel riquadro a destra, fare clic con il pulsante destro del mouse sul certificato creato. Scegliere Tutte le attività e quindi selezionare Esporta.

  5. Nella pagina Esportazione della chiave privata con il certificato selezionare Sì, esporta la chiave privata. Il computer in cui verrà importata la chiave deve avere la chiave privata per leggere i messaggi crittografati.

    Pagina Esporta chiave privata dell'Esportazione guidata certificati.

  6. Nella pagina Formato file di esportazione lasciare le impostazioni predefinite, quindi selezionare Avanti.

  7. Nella pagina Password digitare una password per la chiave privata. Per Crittografia selezionare TripleDES-SHA1. Quindi seleziona Avanti.

  8. Nella pagina File da esportare, digitare il percorso e il nome del file di certificato esportato e quindi selezionare Avanti. Il nome del file deve avere un'estensione pfx. Questo file è configurato nel portale di Azure per stabilire una connessione sicura.

  9. Abilitare LDAPS per un dominio gestito di Microsoft Entra Domain Services.

    1. Nel portale di Azure selezionare il dominio HDIFabrikam.com.
    2. In Gestisci, selezionare LDAP sicuro.
    3. Nella pagina LDAP sicuro, in LDAP sicuro selezionare Abilita.
    4. Cercare il file di certificato con estensione .pfx esportato nel computer.
    5. Immettere la password del certificato.

    Abilitare LDAP sicuro.

  10. Dopo aver abilitato LDAPS, assicurarsi che sia raggiungibile abilitando la porta 636.

    1. Nel gruppo di risorse HDIFabrikam-CentralUS selezionare il gruppo di sicurezza di rete AADDS-HDIFabrikam.com-NSG.

    2. In Impostazioni selezionare Regole di sicurezza in ingresso>Aggiungi.

    3. Nella pagina Aggiungi regola di sicurezza in ingresso immettere le proprietà seguenti e selezionare Aggiungi:

      Proprietà Valore
      Origine Any
      Intervalli porte di origine *
      Destinazione Any
      Intervallo di porte di destinazione 636
      Protocollo Any
      Azione Consenti
      Priorità <Numero desiderato>
      Nome Port_LDAP_636

      Finestra di dialogo Aggiungi regola di sicurezza in ingresso.

HDIFabrikamManagedIdentity è l'identità gestita assegnata dall'utente. Il ruolo Collaboratore per i servizi di dominio HDInsight è abilitato per l'identità gestita che consentirà a questa identità di leggere, creare, modificare ed eliminare le operazioni dei servizi di dominio.

Creare un'identità gestita assegnata dall'utente.

Creare un cluster HDInsight abilitato per ESP

Questo passaggio richiede i prerequisiti seguenti:

  1. Creare un nuovo gruppo di risorse HDIFabrikam-WestUS nella località Stati Uniti occidentali.

  2. Creare una rete virtuale che ospiterà il cluster HDInsight abilitato per ESP.

    $virtualNetwork = New-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-WestUS' -Location 'West US' -Name 'HDIFabrikam-HDIVNet' -AddressPrefix 10.1.0.0/16
$subnetConfig = Add-AzVirtualNetworkSubnetConfig -Name 'SparkSubnet' -AddressPrefix 10.1.0.0/24 -VirtualNetwork $virtualNetwork
$virtualNetwork | Set-AzVirtualNetwork

  3. Creare una relazione peer tra la rete virtuale che ospita Microsoft Entra Domain Services (HDIFabrikam-AADDSVNET) e la rete virtuale che ospiterà il cluster HDInsight abilitato per ESP (HDIFabrikam-HDIVNet). Usare il codice di PowerShell seguente per eseguire il peering delle due reti virtuali.

    Add-AzVirtualNetworkPeering -Name 'HDIVNet-AADDSVNet' -RemoteVirtualNetworkId (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-CentralUS').Id -VirtualNetwork (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-WestUS')

Add-AzVirtualNetworkPeering -Name 'AADDSVNet-HDIVNet' -RemoteVirtualNetworkId (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-WestUS').Id -VirtualNetwork (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-CentralUS')

  4. Creare un nuovo account di Azure Data Lake Storage Gen2 denominato Hdigen2store. Configurare l'account con l'identità gestita dall'utente HDIFabrikamManagedIdentity. Per altre informazioni, vedere Usare Azure Data Lake Storage Gen2 con cluster Azure HDInsight.

  5. Configurare il DNS personalizzato nella rete virtuale HDIFabrikam-AADDSVNET.

    1. Passare al portale di Azure >Gruppi di risorse>OnPremADVRG>HDIFabrikam-AADDSVNET>Server DNS.

    2. Selezionare Personalizzato e immettere 10.0.0.4 e 10.0.0.5.

    3. Seleziona Salva.

      Salvare le impostazioni DNS personalizzate per una rete virtuale.

  6. Creare un nuovo cluster HDInsight Spark abilitato per ESP.

    1. Selezionare Personalizzate (dimensioni, impostazioni, app).

    2. Immettere i dettagli per Dati principali (sezione 1). Assicurarsi che il Tipo di cluster sia Spark 2.3 (HDI 3.6). Assicurarsi che il Gruppo di risorse sia HDIFabrikam-CentralUS.

    3. Per Sicurezza e rete (sezione 2), compilare i dettagli seguenti:

      • In Enterprise Security Packageselezionare Abilitato.

      • Selezionare Utente amministratore del cluster e selezionare l'account HDIAdmin creato come utente amministratore locale. Fare clic su Seleziona.

      • Selezionare Gruppo di accesso cluster>HDIUserGroup. Qualsiasi utente aggiunto a questo gruppo in futuro sarà in grado di accedere ai cluster HDInsight.

        Selezionare il gruppo di accesso cluster HDIUserGroup.

    4. Completare gli altri passaggi della configurazione del cluster e verificare i dettagli nel riepilogo del cluster. Seleziona Crea.

  7. Accedere all'interfaccia utente di Ambari per il cluster appena creato all'indirizzo https://CLUSTERNAME.azurehdinsight.net. Usare il nome utente hdiadmin@hdifabrikam.com dell'amministratore e la relativa password.

    Finestra di accesso dell'interfaccia utente di Apache Ambari.

  8. Nel dashboard del cluster selezionare Ruoli.

  9. Nella pagina Ruoli, in Assegnare ruoli a questi, accanto al ruolo Amministratore cluster immettere il gruppo hdiusergroup.

    Assegnare il ruolo di amministratore del cluster a hdiusergroup.

  10. Aprire il client Secure Shell (SSH) e accedere al cluster. Usare hdiuser creato nell'istanza locale dell'ID Microsoft Entra.

    Accedere al cluster usando il client SSH.

Se è possibile accedere con questo account, il cluster ESP è stato configurato correttamente per la sincronizzazione con l'istanza locale di Microsoft Entra ID.

Passaggi successivi

Leggere Introduzione alla sicurezza Apache Hadoop con ESP.