다음을 통해 공유


AKS(Azure Kubernetes Service)에서 클러스터의 노드 풀 관리

AKS(Azure Kubernetes Service)에서 동일한 구성의 노드는 노드 풀에 그룹화됩니다. 이러한 노드 풀에는 애플리케이션을 실행하는 기본 VM이 포함됩니다. AKS 클러스터를 만들 때 초기 노드 수와 크기(SKU)를 정의합니다. 애플리케이션 수요가 변경되면 노드 풀에서 설정을 변경해야 할 수 있습니다. 예를 들어 노드 풀의 노드 수를 조정하거나 노드 풀의 Kubernetes 버전을 업그레이드해야 할 수 있습니다.

이 문서에서는 AKS 클러스터에서 하나 이상의 노드 풀을 관리하는 방법을 보여 줍니다.

시작하기 전에

제한 사항

여러 노드 풀을 지원하는 AKS 클러스터를 만들고 관리하는 경우 다음과 같은 제한 사항이 적용됩니다.

  • AKS(Azure Kubernetes Service)의 할당량, 가상 머신 크기 제한 및 지역 가용성을 참조하세요
  • 시스템 풀에 하나 이상의 노드가 포함되어야 하고, 사용자 노드 풀에는 0개 이상의 노드가 포함될 수 있습니다.
  • 노드 풀을 만든 후에는 노드 풀의 VM 크기를 변경할 수 없습니다.
  • 클러스터를 만들 때 여러 노드 풀을 만드는 경우 노드 풀이 사용하는 모든 Kubernetes 버전은 컨트롤 플레인에 설정된 버전과 일치해야 합니다. 노드 풀당 작업을 사용하여 클러스터를 프로비전한 후 업데이트할 수 있습니다.
  • 클러스터 또는 노드 풀에서 업그레이드 작업과 크기 조정 작업을 동시에 실행할 수 없습니다. 동시에 실행하려고 하면 오류가 발생합니다. 대상 리소스에서 각 작업 유형이 완료되어야만 동일한 리소스에 대한 다음 요청이 수행됩니다. 자세한 내용은 문제 해결 가이드를 참조하세요.

단일 노드 풀 업그레이드

참고 항목

노드 풀 OS 이미지 버전은 클러스터의 Kubernetes 버전에 연결됩니다. 클러스터 업그레이드 후에는 OS 이미지 업그레이드만 받게 됩니다.

이 예제에서는 mynodepool 노드 풀을 업그레이드합니다. 두 개의 노드 풀이 있으므로 az aks nodepool upgrade 명령을 사용하여 업그레이드해야 합니다.

  1. az aks get-upgrades 명령을 사용하여 사용 가능한 업그레이드를 확인합니다.

    az aks get-upgrades --resource-group myResourceGroup --name myAKSCluster
    
  2. az aks nodepool upgrade 명령을 사용하여 mynodepool 노드 풀을 업그레이드합니다.

    az aks nodepool upgrade \
        --resource-group myResourceGroup \
        --cluster-name myAKSCluster \
        --name mynodepool \
        --kubernetes-version KUBERNETES_VERSION \
        --no-wait
    
  3. az aks nodepool list 명령을 사용하여 노드 풀의 상태를 나열합니다.

    az aks nodepool list --resource-group myResourceGroup --cluster-name myAKSCluster
    

    다음 예제 출력은 mynodepool이 ‘업그레이드 중’ 상태임을 보여 줍니다.

    [
      {
        ...
        "count": 3,
        ...
        "name": "mynodepool",
        "orchestratorVersion": "KUBERNETES_VERSION",
        ...
        "provisioningState": "Upgrading",
        ...
        "vmSize": "Standard_DS2_v2",
        ...
      },
      {
        ...
        "count": 2,
        ...
        "name": "nodepool1",
        "orchestratorVersion": "1.15.7",
        ...
        "provisioningState": "Succeeded",
        ...
        "vmSize": "Standard_DS2_v2",
        ...
      }
    ]
    

    노드를 지정된 버전으로 업그레이드하는 데 몇 분 정도 걸립니다.

AKS 클러스터의 모든 노드 풀을 동일한 Kubernetes 버전으로 업그레이드하는 것이 가장 좋습니다. az aks upgrade의 기본 동작은 모든 노드 풀을 컨트롤 플레인과 함께 업그레이드하여 이렇게 맞추는 것입니다. 개별 노드 풀을 업그레이드하는 기능을 사용하면 롤링 업그레이드를 수행하고 노드 풀 간에 Pod 일정을 예약하여 위에서 언급한 제약 조건 내에서 애플리케이션 작동 시간을 유지할 수 있습니다

클러스터 컨트롤 플레인을 여러 노드 풀로 업그레이드

참고 항목

Kubernetes는 표준 유의적 버전 버전 관리 체계를 사용합니다. 버전 번호는 x.y.z로 표시되며 x는 주 버전, y는 부 버전, z는 패치 버전입니다. 예를 들어 버전 1.12.6에서 1은 주 버전, 12는 부 버전, 6은 패치 버전입니다. Kubernetes 버전의 컨트롤 플레인과 초기 노드 풀은 클러스터를 만드는 동안 설정됩니다. 다른 노드 풀은 클러스터에 추가될 때 Kubernetes 버전이 설정됩니다. Kubernetes 버전은 노드 풀 간에 그리고 노드 풀과 컨트롤 플레인 간에 서로 다를 수 있습니다.

AKS 클러스터에는 Kubernetes 버전이 연결된 두 개의 클러스터 리소스 개체가 있습니다.

  1. 클러스터 컨트롤 플레인 Kubernetes 버전 및
  2. Kubernetes 버전을 사용하는 노드 풀

컨트롤 플레인은 하나 이상의 노드 풀에 매핑됩니다. 업그레이드 작업의 동작은 사용하는 Azure CLI 명령에 따라 달라집니다.

  • az aks upgrade는 컨트롤 플레인과 클러스터의 모든 노드 풀을 동일한 Kubernetes 버전으로 업그레이드합니다.
  • --control-plane-only 플래그를 사용한 az aks upgrade는 클러스터 컨트롤 플레인만 업그레이드하고 모든 노드 풀은 변경되지 않습니다.
  • az aks nodepool upgrade는 지정된 Kubernetes 버전을 사용하여 대상 노드 풀만 업그레이드합니다.

업그레이드 유효성 검사 규칙

클러스터 컨트롤 플레인과 노드 풀의 Kubernetes 업그레이드는 다음 규칙 세트를 사용하여 유효성이 검사됩니다.

  • 노드 풀을 업그레이드하는 데 유효한 버전에 대한 규칙:

    • 노드 풀 버전은 컨트롤 플레인과 동일한 버전이어야 합니다.
    • 노드 풀 버전은 컨트롤 플레인 버전의 두 가지 버전 내에 있어야 합니다.
    • 노드 풀 버전은 컨트롤 major.minor.patch 버전보다 크면 안 됩니다.
  • 업그레이드 작업 제출에 대한 규칙:

    • 컨트롤 플레인 또는 노드 풀 Kubernetes 버전을 다운그레이드할 수 없습니다.
    • 노드 풀 Kubernetes 버전을 지정하지 않으면 클라이언트에 따라 동작이 달라집니다. Resource Manager 템플릿에서 선언은 노드 풀에 대해 정의된 기존 버전으로 돌아갑니다. 아무것도 설정되지 않으면 컨트롤 플레인 버전을 사용하여 대체합니다.
    • 단일 컨트롤 플레인이나 노드 풀 리소스에서 동시에 여러 작업을 제출할 수 없습니다. 지정된 시간에 컨트롤 플레인 또는 노드 풀을 업그레이드하거나 크기를 조정할 수 있습니다.

노드 풀 수동 스케일링

애플리케이션 워크로드 수요가 변하면 그에 따라 노드 풀의 노드 수를 스케일링해야 할 수 있습니다. 노드 수를 스케일 업 또는 다운할 수 있습니다.

  1. az aks node pool scale 명령을 사용하여 노드 풀의 노드 수를 스케일링합니다.

    az aks nodepool scale \
        --resource-group myResourceGroup \
        --cluster-name myAKSCluster \
        --name mynodepool \
        --node-count 5 \
        --no-wait
    
  2. az aks node pool list 명령을 사용하여 노드 풀의 상태를 나열합니다.

    az aks nodepool list --resource-group myResourceGroup --cluster-name myAKSCluster
    

    다음 예제 출력은 mynodepool이 새로운 5개 노드 수로 크기 조정 상태에 있음을 보여 줍니다.

    [
      {
        ...
        "count": 5,
        ...
        "name": "mynodepool",
        "orchestratorVersion": "1.15.7",
        ...
        "provisioningState": "Scaling",
        ...
        "vmSize": "Standard_DS2_v2",
        ...
      },
      {
        ...
        "count": 2,
        ...
        "name": "nodepool1",
        "orchestratorVersion": "1.15.7",
        ...
        "provisioningState": "Succeeded",
        ...
        "vmSize": "Standard_DS2_v2",
        ...
      }
    ]
    

    스케일링 작업이 완료될 때까지 몇 분 정도 걸립니다.

클러스터 자동 크기 조정기를 사용하여 자동으로 특정 노드 풀 크기 조정

AKS는 클러스터 자동 스케일링이라는 기능을 사용하여 노드 풀을 자동으로 스케일링하는 별도의 기능을 제공합니다. 노드 풀당 고유한 최소 및 최대 크기 조정 수를 사용하여 이 기능을 사용하도록 설정할 수 있습니다.

자세한 내용은 클러스터 자동 크기 조정기 사용을 참조하세요.

기존 노드 풀에서 특정 VM 제거

자세한 내용은 기존 노드 풀에서 특정 VM 제거를 참조 하세요.

용량 예약 그룹을 노드 풀에 연결

워크로드 수요가 변경되면 기존 용량 예약 그룹을 노드 풀에 연결하여 노드 풀에 할당된 용량을 보장할 수 있습니다.

AKS에서 용량 예약 그룹을 사용하기 위한 필수 조건

  • CLI 버전 2.56 이상 및 API 버전 2023-10-01 이상을 사용합니다.

  • 용량 예약 그룹은 이미 존재해야 하며 최소 하나의 용량 예약을 포함해야 합니다. 그렇지 않으면 노드 풀이 경고와 함께 클러스터에 추가되고 용량 예약 그룹이 연결되지 않습니다. 자세한 내용은 용량 예약 그룹을 참조하세요.

  • CRG(용량 예약 그룹)가 포함된 리소스 그룹에 대해 사용자 할당 관리 ID를 만들어야 합니다. 시스템 할당 관리 ID는 이 기능에 작동하지 않습니다. 다음 예에서는 환경 변수를 사용자 고유의 값으로 바꿉니다.

    IDENTITY_NAME=myID
    RG_NAME=myResourceGroup
    CLUSTER_NAME=myAKSCluster
    VM_SKU=Standard_D4s_v3
    NODE_COUNT=2
    LOCATION=westus2
    az identity create --name $IDENTITY_NAME --resource-group $RG_NAME  
    IDENTITY_ID=$(az identity show --name $IDENTITY_NAME --resource-group $RG_NAME --query identity.id -o tsv)
    
  • 위에서 만든 사용자 할당 ID에 Contributor 역할을 할당해야 합니다. 자세한 내용은 Azure 역할 할당 단계를 참조하세요.

  • 새 클러스터를 만들고 새로 만들어진 ID를 할당합니다.

      az aks create \
          --resource-group $RG_NAME \
          --name $CLUSTER_NAME \
          --location $LOCATION \
          --node-vm-size $VM_SKU --node-count $NODE_COUNT \
          --assign-identity $IDENTITY_ID \
          --generate-ssh-keys 
    
  • 업데이트 명령을 사용하여 기존 관리형 클러스터에 사용자 관리 ID를 할당할 수도 있습니다.

    az aks update \
        --resource-group $RG_NAME \
        --name $CLUSTER_NAME \
        --location $LOCATION \
        --node-vm-size $VM_SKU \
        --node-count $NODE_COUNT \
        --enable-managed-identity \
        --assign-identity $IDENTITY_ID         
    

기존 용량 예약 그룹을 노드 풀과 연결

az aks nodepool add 명령을 사용하여 기존 용량 예약 그룹을 노드 풀과 연결하고 --crg-id 플래그로 용량 예약 그룹을 지정합니다. 다음 예에서는 "myCRG"라는 CRG가 있다고 가정합니다.

RG_NAME=myResourceGroup
CLUSTER_NAME=myAKSCluster
NODEPOOL_NAME=myNodepool
CRG_NAME=myCRG
CRG_ID=$(az capacity reservation group show --capacity-reservation-group $CRG_NAME --resource-group $RG_NAME --query id -o tsv)
az aks nodepool add --resource-group $RG_NAME --cluster-name $CLUSTER_NAME --name $NODEPOOL_NAME --crg-id $CRG_ID

기존 용량 예약 그룹을 시스템 노드 풀과 연결

기존 용량 예약 그룹을 시스템 노드 풀과 연결하려면 클러스터 작성 중에 CRG 및 CRG 자체의 기여자 역할이 있는 사용자 할당 ID와 클러스터를 연결합니다. --assign-identity--crg-id 플래그와 함께 az aks create 명령을 사용합니다.

IDENTITY_NAME=myID
RG_NAME=myResourceGroup
CLUSTER_NAME=myAKSCluster
NODEPOOL_NAME=myNodepool
CRG_NAME=myCRG
CRG_ID=$(az capacity reservation group show --capacity-reservation-group $CRG_NAME --resource-group $RG_NAME --query id -o tsv)
IDENTITY_ID=$(az identity show --name $IDENTITY_NAME --resource-group $RG_NAME --query identity.id -o tsv)

az aks create \
    --resource-group $RG_NAME \
    --cluster-name $CLUSTER_NAME \
    --crg-id $CRG_ID \
    --assign-identity $IDENTITY_ID \
    --generate-ssh-keys

참고 항목

노드 풀을 삭제하면 노드 풀이 삭제되기 전에 연결된 용량 예약 그룹에서 해당 노드 풀의 연결이 암시적으로 해제됩니다. 클러스터를 삭제하면 연결된 용량 예약 그룹에서 해당 클러스터의 모든 노드 풀의 연결이 암시적으로 해제됩니다.

참고 항목

용량 예약 그룹으로 기존 노드 풀을 업데이트할 수 없습니다. 권장되는 방식은 노드 풀을 만드는 동안 용량 예약 그룹을 연결하는 것입니다.

노드 풀의 VM 크기 지정

VM 크기와 기능이 다른 노드 풀을 만들어야 할 수도 있습니다. 예를 들어 노드의 CPU 또는 메모리 양이 많은 노드 풀 또는 GPU 지원을 제공하는 노드 풀을 만들 수 있습니다. 다음 섹션에서는 taints 및 tolerations를 사용하여 이러한 노드에서 실행할 수 있는 Pod에 대한 액세스를 제한하는 방법을 Kubernetes 스케줄러에 알립니다.

다음 예제에서는 Standard_NC6s_v3 VM 크기를 사용하는 GPU 기반 노드 풀을 만듭니다. 이러한 VM은 NVIDIA Tesla K80 카드로 구동됩니다. 자세한 내용은 Azure에서 Linux 가상 머신에 사용할 수 있는 크기를 참조하세요.

  1. az aks node pool add 명령을 사용하여 노드 풀을 만듭니다. gpunodepool을 이름으로 지정하고, --node-vm-size 매개 변수를 사용하여 Standard_NC6 크기를 지정합니다.

    az aks nodepool add \
        --resource-group myResourceGroup \
        --cluster-name myAKSCluster \
        --name gpunodepool \
        --node-count 1 \
        --node-vm-size Standard_NC6s_v3 \
        --no-wait
    
  2. az aks nodepool list 명령을 사용하여 노드 풀의 상태를 확인합니다.

    az aks nodepool list --resource-group myResourceGroup --cluster-name myAKSCluster
    

    다음 예제 출력은 gpunodepool 노드 풀이 지정된 VmSize를 사용하여 노드를 ‘만드는 중’임을 보여 줍니다.

    [
      {
        ...
        "count": 1,
        ...
        "name": "gpunodepool",
        "orchestratorVersion": "1.15.7",
        ...
        "provisioningState": "Creating",
        ...
        "vmSize": "Standard_NC6s_v3",
        ...
      },
      {
        ...
        "count": 2,
        ...
        "name": "nodepool1",
        "orchestratorVersion": "1.15.7",
        ...
        "provisioningState": "Succeeded",
        ...
        "vmSize": "Standard_DS2_v2",
        ...
      }
    ]
    

    gpunodepool을 만드는 데 몇 분 정도 걸립니다.

노드 풀의 taint, 레이블 또는 태그 지정

노드 풀을 만들 때 해당 노드 풀에 taint, 레이블 또는 태그를 추가할 수 있습니다. taint, 레이블 또는 태그를 추가하면 해당 노드 풀의 모든 노드에도 해당 taint, 레이블 또는 태그가 지정됩니다.

Important

az aks nodepool을 사용하여 전체 노드 풀에 대해 taint, 레이블 또는 태그를 노드에 추가해야 합니다. kubectl을 사용하여 노드 풀의 개별 노드에 taint, 레이블 또는 태그를 적용하지 않는 것이 좋습니다.

노드 풀 taint 설정

AKS는 노드 테인트와 노드 초기화 테인트(미리 보기)이라는 두 종류의 노드 테인트를 지원합니다. 자세한 내용은 AKS(Azure Kubernetes Service) 클러스터에서 노드 테인트 사용을 참조하세요.

고급 Kubernetes 예약 기능을 사용하는 방법에 대한 자세한 내용은 AKS의 고급 스케줄러 기능에 대한 모범 사례를 참조하세요.

노드 풀 toleration 설정

이전 단계에서는 노드 풀을 만들 때 sku=gpu:NoSchedule taint를 적용했습니다. 다음 예제 YAML 매니페스트는 toleration을 사용하여 Kubernetes 스케줄러가 해당 노드 풀의 노드에서 NGINX Pod를 실행할 수 있도록 허용합니다.

  1. nginx-toleration.yaml 파일을 만들고 다음 예제 YAML을 복사합니다.

    apiVersion: v1
    kind: Pod
    metadata:
      name: mypod
    spec:
      containers:
     - image: mcr.microsoft.com/oss/nginx/nginx:1.15.9-alpine
        name: mypod
        resources:
          requests:
            cpu: 100m
            memory: 128Mi
          limits:
            cpu: 1
            memory: 2G
      tolerations:
     - key: "sku"
        operator: "Equal"
        value: "gpu"
        effect: "NoSchedule"
    
  2. kubectl apply 명령을 사용하여 Pod를 예약합니다.

    kubectl apply -f nginx-toleration.yaml
    

    Pod를 예약하고 NGINX 이미지를 끌어오는 데 몇 초 정도 걸립니다.

  3. kubectl describe pod 명령을 사용하여 상태를 확인합니다.

    kubectl describe pod mypod
    

    압축된 다음 예제 출력은 sku=gpu:NoSchedule toleration이 적용된 것을 보여줍니다. 이벤트 섹션에서 스케줄러가 aks-taintnp-28993262-vmss000000 노드에 Pod를 할당했습니다.

    [...]
    Tolerations:     node.kubernetes.io/not-ready:NoExecute for 300s
                     node.kubernetes.io/unreachable:NoExecute for 300s
                     sku=gpu:NoSchedule
    Events:
      Type    Reason     Age    From                Message
      ----    ------     ----   ----                -------
      Normal  Scheduled  4m48s  default-scheduler   Successfully assigned default/mypod to aks-taintnp-28993262-vmss000000
      Normal  Pulling    4m47s  kubelet             pulling image "mcr.microsoft.com/oss/nginx/nginx:1.15.9-alpine"
      Normal  Pulled     4m43s  kubelet             Successfully pulled image "mcr.microsoft.com/oss/nginx/nginx:1.15.9-alpine"
      Normal  Created    4m40s  kubelet             Created container
      Normal  Started    4m40s  kubelet             Started container
    

    이 toleration이 적용된 Pod만 taintnp의 노드에서 예약할 수 있습니다. 그 외의 Pod는 nodepool1 노드 풀에 예약됩니다. 추가 노드 풀을 만드는 경우 taint 및 toleration을 사용하여 해당 노드 리소스에서 예약할 수 있는 Pod를 제한할 수 있습니다.

노드 풀 레이블 설정

자세한 내용은 AKS(Azure Kubernetes Service) 클러스터에서 레이블 사용을 참조하세요.

노드 풀 Azure 태그 설정

자세한 내용은 AKS(Azure Kubernetes Service) 클러스터에서 Azure 태그 사용을 참조하세요.

Resource Manager 템플릿을 사용하여 노드 풀 관리

Azure Resource Manager 템플릿을 사용하여 리소스를 만들고 관리할 때 템플릿에서 설정을 변경하고 다시 배포하여 리소스를 업데이트할 수 있습니다. AKS의 노드 풀을 사용하는 경우 AKS 클러스터가 만들어진 후에는 초기 노드 풀 프로필을 업데이트할 수 없습니다. 이 동작은 기존 Resource Manager 템플릿을 업데이트하고, 노드 풀을 변경한 다음 템플릿을 다시 배포할 수 없음을 의미합니다. 대신 기존 AKS 클러스터의 노드 풀을 업데이트하는 별도의 Resource Manager 템플릿을 만들어야 합니다.

  1. aks-agentpools.json과 같은 템플릿을 만들고 다음 예제 매니페스트를 붙여넣습니다. 필요에 따라 값을 편집해야 합니다. 이 예제 템플릿은 다음 설정을 구성합니다.

    • 3개의 노드를 실행하도록 myagentpool이라는 Linux 노드 풀을 업데이트합니다.
    • Kubernetes 버전1.15.7을 실행하도록 노드 풀의 노드를 설정합니다.
    • 노드 크기를 Standard_DS2_v2로 정의합니다.
    {
        "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
        "contentVersion": "1.0.0.0",
        "parameters": {
            "clusterName": {
                "type": "string",
                "metadata": {
                    "description": "The name of your existing AKS cluster."
                }
            },
            "location": {
                "type": "string",
                "metadata": {
                    "description": "The location of your existing AKS cluster."
                }
            },
            "agentPoolName": {
                "type": "string",
                "defaultValue": "myagentpool",
                "metadata": {
                    "description": "The name of the agent pool to create or update."
                }
            },
            "vnetSubnetId": {
                "type": "string",
                "defaultValue": "",
                "metadata": {
                    "description": "The Vnet subnet resource ID for your existing AKS cluster."
                }
            }
        },
        "variables": {
            "apiVersion": {
                "aks": "2020-01-01"
            },
            "agentPoolProfiles": {
                "maxPods": 30,
                "osDiskSizeGB": 0,
                "agentCount": 3,
                "agentVmSize": "Standard_DS2_v2",
                "osType": "Linux",
                "vnetSubnetId": "[parameters('vnetSubnetId')]"
            }
        },
        "resources": [
            {
                "apiVersion": "2020-01-01",
                "type": "Microsoft.ContainerService/managedClusters/agentPools",
                "name": "[concat(parameters('clusterName'),'/', parameters('agentPoolName'))]",
                "location": "[parameters('location')]",
                "properties": {
                    "maxPods": "[variables('agentPoolProfiles').maxPods]",
                    "osDiskSizeGB": "[variables('agentPoolProfiles').osDiskSizeGB]",
                    "count": "[variables('agentPoolProfiles').agentCount]",
                    "vmSize": "[variables('agentPoolProfiles').agentVmSize]",
                    "osType": "[variables('agentPoolProfiles').osType]",
                    "type": "VirtualMachineScaleSets",
                    "vnetSubnetID": "[variables('agentPoolProfiles').vnetSubnetId]",
                    "orchestratorVersion": "1.15.7"
                }
            }
        ]
    }
    
  2. az deployment group create 명령을 사용하여 템플릿을 배포합니다.

    az deployment group create \
        --resource-group myResourceGroup \
        --template-file aks-agentpools.json
    

    다음 예제와 같이 템플릿에서 tag 속성을 추가하여 노드 풀에 태그를 추가할 수 있습니다.

    ...
    "resources": [
    {
      ...
      "properties": {
        ...
        "tags": {
          "name1": "val1"
        },
        ...
      }
    }
    ...
    

    Resource Manager 템플릿에서 정의하는 노드 풀 설정 및 작업에 따라 AKS 클러스터를 업데이트하는 데 몇 분 정도 걸릴 수 있습니다.

다음 단계