Démarrage rapide : créer un pool de clusters HDInsight sur AKS en utilisant Azure CLI

HDInsight sur AKS introduit le concept de pools de clusters et de clusters, qui vous permettent de tirer pleinement parti de la valeur de Data Lakehouse.

• Des pools de clusters sont un regroupement logique de clusters et gèrent un ensemble de clusters dans le même pool, ce qui permet de générer une interopérabilité robuste entre plusieurs types de clusters. Ils peuvent être créés dans un réseau virtuel existant ou en dehors d’un réseau virtuel.

  Un pool de clusters dans HDInsight sur AKS correspond à un seul cluster dans l’infrastructure AKS.

• Des clusters sont des charges de travail de calcul individuelles, telles qu’Apache Spark, Apache Flink ou Trino, qui peuvent être créées dans le même pool de clusters.

Pour chaque type de cluster, vous devez disposer d’un pool de clusters. Il peut être créé indépendamment, ou vous pouvez créer un pool de clusters pendant la création du cluster. Dans ce démarrage rapide, vous apprenez à créer un pool de clusters en utilisant l’interface de ligne de commande Azure.

Prérequis

Vérifiez que vous avez rempli les prérequis d’abonnement avant de créer un pool de clusters.

Lancement d’Azure Cloud Shell

Azure Cloud Shell est un interpréteur de commandes interactif et gratuit que vous pouvez utiliser pour exécuter les étapes décrites dans cet article. Il contient des outils Azure courants préinstallés et configurés pour être utilisés avec votre compte.

• • Utilisez l’environnement Bash dans Azure Cloud Shell. Pour plus d’informations, consultez Démarrage rapide pour Bash dans Azure Cloud Shell.

    

  • Si vous préférez exécuter les commandes de référence de l’interface de ligne de commande localement, installez l’interface Azure CLI. Si vous exécutez sur Windows ou macOS, envisagez d’exécuter Azure CLI dans un conteneur Docker. Pour plus d’informations, consultez Guide pratique pour exécuter Azure CLI dans un conteneur Docker.

    • Si vous utilisez une installation locale, connectez-vous à Azure CLI à l’aide de la commande az login. Pour finir le processus d’authentification, suivez les étapes affichées dans votre terminal. Pour connaître les autres options de connexion, consultez Se connecter avec Azure CLI.

    • Lorsque vous y êtes invité, installez l’extension Azure CLI lors de la première utilisation. Pour plus d’informations sur les extensions, consultez Utiliser des extensions avec Azure CLI.

    • Exécutez az version pour rechercher la version et les bibliothèques dépendantes installées. Pour effectuer une mise à niveau vers la dernière version, exécutez az upgrade.

• Cet article nécessite Azure CLI version 2.56.0 ou ultérieure. Si vous utilisez Azure Cloud Shell, sachez que la dernière version y est déjà installée.

• Si vous avez plusieurs abonnements Azure, sélectionnez l’identifiant d’abonnement approprié dans lequel les ressources doivent être facturées avec la commande az account set. Pour obtenir plus d’informations, consultez Gérer les abonnements Azure – Azure CLI.

• Vous pouvez également ouvrir Cloud Shell dans un onglet distinct du navigateur en accédant à https://shell.azure.com/bash.

Définissez des variables d’environnement

La première étape consiste à définir les variables d’environnement. Les variables d’environnement sont couramment utilisées dans Linux pour centraliser les données de configuration afin d’améliorer la cohérence et la maintenance du système. Créez les variables d’environnement suivantes pour spécifier les noms des ressources que vous créez plus loin dans ce tutoriel :

export ResourceGroup="HDIonAKSCLI"
export Region=EastUS
export HDIonAKSClusterPoolName="contosopool"
export NodeType="Standard_E4s_v3"
export ClusterVersion="1.1"

Se connecter à Azure en tirant parti de l’interface CLI

Pour exécuter des commandes sur Azure en utilisant l’interface CLI, vous devez d’abord vous connecter. Connectez-vous à l’aide de la commande az login.

Créer un groupe de ressources

Un groupe de ressources est un conteneur de ressources associées. Toutes les ressources doivent être placées dans un groupe de ressources. La commande az group create crée un groupe de ressources avec les paramètres $ResourceGroup et $Region précédemment définis.

az group create --name $ResourceGroup --location $Region

Sortie :

{
  "id": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/HDIonAKSCLI",
  "location": "eastus",
  "managedBy": null,
  "name": "HDIonAKSCLI",
  "properties": {
    "provisioningState": "Succeeded"
  },
  "tags": null,
  "type": "Microsoft.Resources/resourceGroups"
}

Créer le pool de clusters HDInsight sur AKS

Pour créer un pool de clusters HDInsight sur AKS dans ce groupe de ressources, utilisez la commande az hdinsight-on-aks clusterpool create :

az hdinsight-on-aks clusterpool create --cluster-pool-name
                                       --resource-group
                                       [--api-server-authorized-ip-ranges]
                                       [--cluster-pool-version]
                                       [--enable-log-analytics {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--la-workspace-id]
                                       [--location]
                                       [--managed-rg-name]
                                       [--no-wait {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--outbound-type {loadBalancer, userDefinedRouting}]
                                       [--private-server-enabled {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--subnet-id]
                                       [--tags]
                                       [--workernode-size]

Voici un exemple :

az hdinsight-on-aks clusterpool create --resource-group $ResourceGroup --cluster-pool-name $HDIonAKSClusterPoolName --location $Region --workernode-size $NodeType --cluster-pool-version $ClusterVersion

La création du HDInsight sur un pool de clusters AKS prend quelques minutes. L’exemple de sortie suivant montre que l’opération de création a réussi.

Sortie :

{
  "aksClusterProfile": {
    "aksClusterAgentPoolIdentityProfile": {
      "msiClientId": "00000000-0000-0000-0000-XXXXXXXX1",
      "msiObjectId": "00000000-0000-0000-0000-XXXXXXX11",
      "msiResourceId": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourcegroups/MC_hdi-00000000000000000000XXXX_contosopool_eastus/providers/Microsoft.ManagedIdentity/userAssignedIdentities/contosopool-agentpool"
    },
    "aksClusterResourceId": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/hdi-00000000000000000000XXXX/providers/Microsoft.ContainerService/managedClusters/contosopool",
    "aksVersion": "1.27.9"
  },
  "aksManagedResourceGroupName": "MC_hdi-00000000000000000000XXXX_contosopool_eastus",
  "clusterPoolProfile": {
    "clusterPoolVersion": "1.1"
  },
  "computeProfile": {
    "count": 3,
    "vmSize": "Standard_E4s_v3"
  },
  "deploymentId": "00000000000000000000XXXX",
  "id": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/HDIonAKSCLI/providers/Microsoft.HDInsight/clusterpools/contosopool",
  "location": "EastUS",
  "managedResourceGroupName": "hdi-00000000000000000000XXXX",
  "name": "contosopool",
  "provisioningState": "Succeeded",
  "resourceGroup": "HDIonAKSCLI",
  "status": "Running",
  "systemData": {
    "createdAt": "2024-05-31T15:02:42.2172295Z",
    "createdBy": "john@contoso.com",
    "createdByType": "User",
    "lastModifiedAt": "2024-05-31T15:02:42.2172295Z",
    "lastModifiedBy": "john@contoso.com",
    "lastModifiedByType": "User"
  },
  "type": "microsoft.hdinsight/clusterpools"
}

Nettoyer les ressources

Quand vous n’en avez plus besoin, nettoyez les ressources inutiles pour éviter des frais Azure. Vous pouvez supprimer le groupe de ressources, le pool de clusters et toutes les autres ressources du groupe de ressources en utilisant la commande az group delete.