Início Rápido: Criar um HDInsight no pool de clusters do AKS usando a CLI do Azure

O HDInsight no AKS introduz o conceito de pools de cluster e clusters, que permitem que você perceba o valor completo do data lakehouse.

• Pools de clusters são um agrupamento lógico de clusters e mantêm um conjunto de clusters no mesmo pool, o que ajuda você a criar uma interoperabilidade robusta entre vários tipos de clusters. Ele pode ser criado em uma rede virtual existente ou fora de uma rede virtual.

  Um pool de clusters no Azure HDInsight no AKS corresponde a um cluster na infraestrutura do AKS.

• Clusters são cargas de trabalho de computação individuais, como o Apache Spark, Apache Flink ou Trino, que podem ser criadas no mesmo pool de clusters.

Para cada tipo de cluster, você precisa ter um pool de clusters. Ele pode ser criado de forma independente ou você pode criar um novo pool de clusters durante a criação do cluster. Neste início rápido, você aprenderá a criar um pool de clusters usando a CLI do Azure.

Pré-requisitos

Verifique se você concluiu os pré-requisitos de assinatura antes de criar um pool de clusters.

Iniciar o Azure Cloud Shell

O Azure Cloud Shell é um shell interativo que pode ser usado para executar as etapas deste artigo. Ele tem ferramentas do Azure instaladas e configuradas para usar com sua conta.

• • Use o ambiente Bash no Azure Cloud Shell. Para obter mais informações, confira Início Rápido para Bash no Azure Cloud Shell.

    

  • Se preferir executar os comandos de referência da CLI localmente, instale a CLI do Azure. Para execuções no Windows ou no macOS, considere executar a CLI do Azure em um contêiner do Docker. Para obter mais informações, confira Como executar a CLI do Azure em um contêiner do Docker.

    • Se estiver usando uma instalação local, entre com a CLI do Azure usando o comando az login. Para concluir o processo de autenticação, siga as etapas exibidas no terminal. Para ver outras opções de entrada, confira Conectar-se com a CLI do Azure.

    • Quando solicitado, instale a extensão da CLI do Azure no primeiro uso. Para obter mais informações sobre extensões, confira Usar extensões com a CLI do Azure.

    • Execute az version para localizar a versão e as bibliotecas dependentes que estão instaladas. Para fazer a atualização para a versão mais recente, execute az upgrade.

• Este artigo exige a CLI do Azure versão 2.56.0 ou posterior. Se você estiver usando o Azure Cloud Shell, a versão mais recente já está instalada lá.

• Se você tiver várias assinaturas do Azure, selecione a ID de assinatura apropriada na qual os recursos devem ser cobrados usando o comando az account set. Para obter mais informações, veja Como gerenciar assinaturas do Azure – CLI do Azure.

• Você também pode abrir o Cloud Shell em uma guia separada do navegador indo até https://shell.azure.com/bash.

Definir variáveis de ambiente

O primeiro passo é definir as variáveis de ambiente. As variáveis de ambiente são comumente usadas no Linux para centralizar os dados de configuração para melhorar a consistência e a capacidade de manutenção do sistema. Crie as seguintes variáveis de ambiente para especificar os nomes dos recursos que você criará posteriormente neste tutorial:

export ResourceGroup="HDIonAKSCLI"
export Region=EastUS
export HDIonAKSClusterPoolName="contosopool"
export NodeType="Standard_E4s_v3"
export ClusterVersion="1.1"

Faça logon no Azure usando a CLI

Para executar comandos no Azure usando a CLI, você precisa fazer logon primeiro. Faça login usando o comando az login.

Criar um grupo de recursos

Um grupo de recursos é um contêiner para recursos relacionados. Todos os recursos devem ser colocados em um grupo de recursos. O comando az group create cria um grupo de recursos com os parâmetros $ResourceGroup e $Region definidos anteriormente.

az group create --name $ResourceGroup --location $Region

Saída:

{
  "id": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/HDIonAKSCLI",
  "location": "eastus",
  "managedBy": null,
  "name": "HDIonAKSCLI",
  "properties": {
    "provisioningState": "Succeeded"
  },
  "tags": null,
  "type": "Microsoft.Resources/resourceGroups"
}

Criar o pool de clusters do HDInsight no AKS

Para criar um o pool de clusters do HDInsight no AKS neste grupo de recursos, use o comando az hdinsight-on-aks clusterpool create:

az hdinsight-on-aks clusterpool create --cluster-pool-name
                                       --resource-group
                                       [--api-server-authorized-ip-ranges]
                                       [--cluster-pool-version]
                                       [--enable-log-analytics {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--la-workspace-id]
                                       [--location]
                                       [--managed-rg-name]
                                       [--no-wait {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--outbound-type {loadBalancer, userDefinedRouting}]
                                       [--private-server-enabled {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--subnet-id]
                                       [--tags]
                                       [--workernode-size]

Veja um exemplo:

az hdinsight-on-aks clusterpool create --resource-group $ResourceGroup --cluster-pool-name $HDIonAKSClusterPoolName --location $Region --workernode-size $NodeType --cluster-pool-version $ClusterVersion

Leva alguns minutos para criar o pool de clusters do HDInsight no AKS. O exemplo de saída a seguir mostra que a operação de criação foi bem-sucedida.

Saída:

{
  "aksClusterProfile": {
    "aksClusterAgentPoolIdentityProfile": {
      "msiClientId": "00000000-0000-0000-0000-XXXXXXXX1",
      "msiObjectId": "00000000-0000-0000-0000-XXXXXXX11",
      "msiResourceId": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourcegroups/MC_hdi-00000000000000000000XXXX_contosopool_eastus/providers/Microsoft.ManagedIdentity/userAssignedIdentities/contosopool-agentpool"
    },
    "aksClusterResourceId": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/hdi-00000000000000000000XXXX/providers/Microsoft.ContainerService/managedClusters/contosopool",
    "aksVersion": "1.27.9"
  },
  "aksManagedResourceGroupName": "MC_hdi-00000000000000000000XXXX_contosopool_eastus",
  "clusterPoolProfile": {
    "clusterPoolVersion": "1.1"
  },
  "computeProfile": {
    "count": 3,
    "vmSize": "Standard_E4s_v3"
  },
  "deploymentId": "00000000000000000000XXXX",
  "id": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/HDIonAKSCLI/providers/Microsoft.HDInsight/clusterpools/contosopool",
  "location": "EastUS",
  "managedResourceGroupName": "hdi-00000000000000000000XXXX",
  "name": "contosopool",
  "provisioningState": "Succeeded",
  "resourceGroup": "HDIonAKSCLI",
  "status": "Running",
  "systemData": {
    "createdAt": "2024-05-31T15:02:42.2172295Z",
    "createdBy": "john@contoso.com",
    "createdByType": "User",
    "lastModifiedAt": "2024-05-31T15:02:42.2172295Z",
    "lastModifiedBy": "john@contoso.com",
    "lastModifiedByType": "User"
  },
  "type": "microsoft.hdinsight/clusterpools"
}

Limpar os recursos

Quando não precisar mais deles, limpe recursos desnecessários para evitar cobranças do Azure. Você pode remover o grupo de recursos, o pool de clusters e todos os outros recursos no grupo de recursos usando o comando az group delete.