다음을 통해 공유

로컬 NVMe 및 볼륨 복제와 함께 Azure 컨테이너 스토리지 사용

  • 아티클

Azure Container Storage는 기본적으로 컨테이너용으로 구축된 클라우드 기반 볼륨 관리, 배포 및 오케스트레이션 서비스입니다. 이 문서에서는 로컬 NVMe 및 볼륨 복제가 포함된 임시 디스크를 Kubernetes 워크로드의 백 엔드 스토리지로 사용하도록 Azure 컨테이너 스토리지를 구성하는 방법을 보여 줍니다. 마지막에는 로컬 NVMe를 스토리지로 사용하는 Pod가 생성됩니다. 복제는 서로 다른 노드의 볼륨에서 데이터를 복사하고 복제본이 손실될 때 볼륨을 복원하여 임시 디스크에 복원력을 제공합니다.

임시 디스크란?

애플리케이션에 밀리초 미만의 스토리지 대기 시간이 필요한 경우 Azure Container Storage에서 임시 디스크를 사용하여 성능 요구 사항을 충족할 수 있습니다. 임시는 디스크가 AKS 클러스터를 호스팅하는 로컬 VM(가상 머신)에 배포되고 Azure Storage 서비스에 저장되지 않음을 의미합니다. VM을 중지/할당 취소하면 이러한 디스크에서 데이터가 손실됩니다.

사용 가능한 임시 디스크에는 로컬 NVMe와 임시 SSD의 두 가지 유형이 있습니다. NVMe는 스토리지와 CPU 간의 고속 데이터 전송을 위해 설계되었습니다. 애플리케이션에 임시 SSD보다 높은 IOPS 또는 처리량이 필요하거나 더 많은 스토리지 공간이 필요한 경우 NVMe를 선택합니다. Azure 컨테이너 스토리지는 로컬 NVMe에 대한 동기 데이터 복제만 지원합니다.

이러한 디스크의 임시 특성으로 인해 Azure 컨테이너 스토리지는 임시 디스크를 사용할 때 기본적으로 제네릭 임시 볼륨의 사용을 지원합니다. 그러나 특정 사용 사례는 데이터가 지속적이지 않더라도 영구 볼륨을 요구할 수 있습니다. 가령, 영구 볼륨을 사용하기 위해 하드 코드된 기존 YAML 파일 또는 배포 템플릿을 사용하는 상황에서 워크로드가 내구성을 위해 애플리케이션 수준 복제를 지원하는 경우를 예로 들 수 있습니다. 이 경우 임시 디스크 스토리지 풀에서 영구 볼륨 만들기를 지원하도록 Azure 컨테이너 스토리지 설치를 업데이트하고 영구 볼륨 클레임 정의에 주석 acstor.azure.com/accept-ephemeral-storage=true를 추가할 수 있습니다.

필수 조건

  • Azure 구독이 없는 경우 시작하기 전에 체험 계정을 만듭니다.

  • 이 문서에는 Azure CLI의 최신 버전(2.35.0 이상)이 필요합니다. Azure CLI를 설치하는 방법을 참조하세요. Azure Cloud Shell에서 Bash 환경을 사용하는 경우 최신 버전이 이미 설치되어 있습니다. Azure Cloud Shell 대신 로컬로 명령을 실행하려는 경우 관리자 권한으로 명령을 실행해야 합니다. 자세한 내용은 Azure Cloud Shell 시작을 참조하세요.

  • Kubernetes 명령줄 클라이언트 kubectl이 필요합니다. Azure Cloud Shell을 사용 중인 경우 이미 설치되어 있는 것이며, 그렇지 않은 경우 az aks install-cli 명령을 실행하여 로컬로 설치할 수 있습니다.

  • Azure Container Storage를 아직 설치하지 않은 경우 Azure Kubernetes Service에서 Azure Container Storage 사용의 지침을 따릅니다.

  • 대상 지역이 Azure 컨테이너 스토리지 지역에서 지원되는지 확인합니다.

로컬 NVMe를 지원하는 VM 형식 선택

로컬 NVMe 디스크는 스토리지 최적화 VM SKU 또는 GPU 가속 VM SKU와 같은 특정 유형의 VM에서만 사용할 수 있습니다. 로컬 NVMe를 사용하려는 경우 이러한 VM SKU 중 하나를 선택합니다.

다음 명령을 실행하여 노드 풀에 사용되는 VM 형식을 가져옵니다. <resource group> 및 <cluster name>를 사용자 고유의 값으로 바꿉니다. PoolName 또는 VmSize에 대한 값을 제공할 필요가 없으므로 여기에 표시된 대로 쿼리를 유지합니다.

az aks nodepool list --resource-group <resource group> --cluster-name <cluster name> --query "[].{PoolName:name, VmSize:vmSize}" -o table

다음은 출력의 예입니다.

PoolName    VmSize
----------  ---------------
nodepool1   standard_l8s_v3

각 VM에는 최소 4개의 vCPU(가상 CPU)가 있고 각 노드 풀에는 3개 이상의 노드가 있는 것이 좋습니다.

제네릭 임시 볼륨 만들기 및 연결

제네릭 임시 볼륨을 만들고 연결하려면 다음 단계를 따릅니다.

1. 볼륨 복제를 사용하여 스토리지 풀 만들기

먼저 YAML 매니페스트 파일에서 정의하여 Kubernetes 클러스터에 대한 스토리지의 논리적 그룹인 스토리지 풀을 만듭니다.

az aks create 또는 az aks update 명령을 사용하여 Azure Container Storage를 사용하도록 설정한 경우 이미 스토리지 풀이 있을 수 있습니다. 스토리지 풀 목록을 가져오려면 kubectl get sp -n acstor를 사용합니다. 사용하려는 스토리지 풀이 이미 있는 경우 이 섹션을 건너뛰고 사용 가능한 스토리지 클래스 표시로 진행할 수 있습니다.

다음 단계에 따라 복제와 함께 로컬 NVMe를 사용하여 스토리지 풀을 만듭니다. Azure Container Storage는 현재 3개의 복제본 및 5개의 복제본 구성을 지원합니다. 복제본 3개를 지정하는 경우 AKS 클러스터에 노드가 3개 이상 있어야 합니다. 5개의 복제본을 지정하는 경우 노드가 5개 이상 있어야 합니다.

참고 항목

임시 디스크 스토리지 풀은 사용 가능한 모든 NVMe 디스크를 사용하므로 새 스토리지 풀을 만들기 전에 기존 로컬 NVMe 스토리지 풀을 삭제해야 합니다.

  1. 즐겨찾는 텍스트 편집기를 사용하여 code acstor-storagepool.yaml과 같은 YAML 매니페스트 파일을 만듭니다.

  2. 다음 코드를 붙여넣고 파일을 저장합니다. 스토리지 풀 name 값은 원하는 대로 지정할 수 있습니다.

    apiVersion: containerstorage.azure.com/v1
kind: StoragePool
metadata:
  name: ephemeraldisk-nvme
  namespace: acstor
spec:
  poolType:
    ephemeralDisk:
      diskType: nvme
      replicas: 3

  3. YAML 매니페스트 파일을 적용하여 스토리지 풀을 만듭니다.

    kubectl apply -f acstor-storagepool.yaml

    스토리지 풀 만들기가 완료되면 다음과 같은 메시지가 표시됩니다.

    storagepool.containerstorage.azure.com/ephemeraldisk-nvme created

    이 명령을 실행하여 스토리지 풀의 상태를 확인할 수도 있습니다. <storage-pool-name>을 스토리지 풀 name 값으로 바꿉니다. 이 예에서 이 값은 ephemeraldisk-nvme입니다.

    kubectl describe sp <storage-pool-name> -n acstor

스토리지 풀을 만들 때 Azure Container Storage는 명명 규칙 acstor-<storage-pool-name>을 사용하여 사용자를 대신하여 스토리지 클래스를 만듭니다.

2. 사용 가능한 스토리지 클래스 표시

스토리지 풀을 사용할 준비가 되면 스토리지 클래스를 선택하여 볼륨을 만들고 배포할 때 스토리지가 동적으로 만들어지는 방법을 정의해야 합니다.

kubectl get sc를 실행하여 사용 가능한 스토리지 클래스를 표시합니다. acstor-<storage-pool-name>라는 스토리지 클래스가 표시됩니다.

$ kubectl get sc | grep "^acstor-"
acstor-azuredisk-internal   disk.csi.azure.com               Retain          WaitForFirstConsumer   true                   65m
acstor-ephemeraldisk-nvme        containerstorage.csi.azure.com   Delete          WaitForFirstConsumer   true                   2m27s

Important

내부로 표시된 스토리지 클래스는 사용하지 마세요. Azure Container Storage가 작동하는 데 필요한 내부 스토리지 클래스입니다.

3. 제네릭 임시 볼륨을 사용하여 Pod 배포

제네릭 임시 볼륨을 사용하는 벤치마킹 및 워크로드 시뮬레이션에 Fio(유연한 I/O 테스터)를 사용하여 Pod를 만듭니다.

  1. 즐겨찾는 텍스트 편집기를 사용하여 code acstor-pod.yaml과 같은 YAML 매니페스트 파일을 만듭니다.

  2. 다음 코드를 붙여넣고 파일을 저장합니다.

    kind: Pod
apiVersion: v1
metadata:
  name: fiopod
spec:
  nodeSelector:
    acstor.azure.com/io-engine: acstor
  containers:
    - name: fio
      image: nixery.dev/shell/fio
      args:
        - sleep
        - "1000000"
      volumeMounts:
        - mountPath: "/volume"
          name: ephemeralvolume
  volumes:
    - name: ephemeralvolume
      ephemeral:
        volumeClaimTemplate:
          metadata:
            labels:
              type: my-ephemeral-volume
          spec:
            accessModes: [ "ReadWriteOnce" ]
            storageClassName: acstor-ephemeraldisk-nvme # replace with the name of your storage class if different
            resources:
              requests:
                storage: 1Gi

    볼륨의 스토리지 크기를 변경할 때 크기가 단일 노드 임시 디스크의 사용 가능한 용량보다 작아야 합니다. 노드 임시 디스크 용량 확인을 참조하세요.

  3. YAML 매니페스트 파일을 적용하여 Pod를 배포합니다.

    kubectl apply -f acstor-pod.yaml

    다음과 비슷한 결과가 나타나야 합니다.

    pod/fiopod created

  4. Pod가 실행 중이고 임시 볼륨 클레임이 Pod에 성공적으로 바인딩되었는지 확인합니다.

    kubectl describe pod fiopod
kubectl describe pvc fiopod-ephemeralvolume

  5. fio 테스트를 확인하여 현재 상태를 알아봅니다.

    kubectl exec -it fiopod -- fio --name=benchtest --size=800m --filename=/volume/test --direct=1 --rw=randrw --ioengine=libaio --bs=4k --iodepth=16 --numjobs=8 --time_based --runtime=60

이제 볼륨 복제와 함께 로컬 NVMe를 사용하는 Pod를 배포했으며 이를 Kubernetes 워크로드에 사용할 수 있습니다.

영구 볼륨 만들기 및 연결

임시 디스크 스토리지 풀에서 영구 볼륨을 만들려면 데이터가 임시인 경우에도 영구 볼륨을 사용할 수 있도록 PVC(영구 볼륨 클레임)에 주석을 포함해야 합니다. 또한 영구 볼륨 클레임을 만들기 전에 클러스터에서 PersistentVolumeWithAnnotation 값으로 --ephemeral-disk-volume-type 플래그를 사용하도록 설정해야 합니다.

영구 볼륨을 만들고 연결하려면 다음 단계를 따릅니다.

1. Azure 컨테이너 스토리지 설치 업데이트

다음 명령을 실행하여 임시 디스크 스토리지 풀에서 영구 볼륨 만들기를 허용하도록 Azure 컨테이너 스토리지 설치를 업데이트합니다.

az aks update -n <cluster-name> -g <resource-group> --enable-azure-container-storage ephemeralDisk --storage-pool-option NVMe --ephemeral-disk-volume-type PersistentVolumeWithAnnotation

2. 볼륨 복제를 사용하여 스토리지 풀 만들기

다음 단계에 따라 복제와 함께 로컬 NVMe를 사용하여 스토리지 풀을 만듭니다. Azure Container Storage는 현재 3개의 복제본 및 5개의 복제본 구성을 지원합니다. 복제본 3개를 지정하는 경우 AKS 클러스터에 노드가 3개 이상 있어야 합니다. 5개의 복제본을 지정하는 경우 노드가 5개 이상 있어야 합니다.

참고 항목

임시 디스크 스토리지 풀은 사용 가능한 모든 NVMe 디스크를 사용하므로 새 스토리지 풀을 만들기 전에 기존 로컬 NVMe 스토리지 풀을 삭제해야 합니다.

  1. 즐겨찾는 텍스트 편집기를 사용하여 code acstor-storagepool.yaml과 같은 YAML 매니페스트 파일을 만듭니다.

  2. 다음 코드를 붙여넣고 파일을 저장합니다. 스토리지 풀 name 값은 원하는 대로 지정할 수 있습니다. 복제본을 3 또는 5로 설정합니다.

    apiVersion: containerstorage.azure.com/v1
kind: StoragePool
metadata:
  name: ephemeraldisk-nvme
  namespace: acstor
spec:
  poolType:
    ephemeralDisk:
      diskType: nvme
      replicas: 3

  3. YAML 매니페스트 파일을 적용하여 스토리지 풀을 만듭니다.

    kubectl apply -f acstor-storagepool.yaml

    스토리지 풀 만들기가 완료되면 다음과 같은 메시지가 표시됩니다.

    storagepool.containerstorage.azure.com/ephemeraldisk-nvme created

    이 명령을 실행하여 스토리지 풀의 상태를 확인할 수도 있습니다. <storage-pool-name>을 스토리지 풀 name 값으로 바꿉니다. 이 예에서 이 값은 ephemeraldisk-nvme입니다.

    kubectl describe sp <storage-pool-name> -n acstor

스토리지 풀을 만들 때 Azure Container Storage는 명명 규칙 acstor-<storage-pool-name>을 사용하여 사용자를 대신하여 스토리지 클래스를 만듭니다.

3. 사용 가능한 스토리지 클래스 표시

스토리지 풀을 사용할 준비가 되면 스토리지 클래스를 선택하여 볼륨을 만들고 배포할 때 스토리지가 동적으로 만들어지는 방법을 정의해야 합니다.

kubectl get sc를 실행하여 사용 가능한 스토리지 클래스를 표시합니다. acstor-<storage-pool-name>라는 스토리지 클래스가 표시됩니다.

$ kubectl get sc | grep "^acstor-"
acstor-azuredisk-internal   disk.csi.azure.com               Retain          WaitForFirstConsumer   true                   65m
acstor-ephemeraldisk-nvme        containerstorage.csi.azure.com   Delete          WaitForFirstConsumer   true                   2m27s

Important

내부로 표시된 스토리지 클래스는 사용하지 마세요. Azure Container Storage가 작동하는 데 필요한 내부 스토리지 클래스입니다.

4. 영구적 볼륨 클레임 만들기

PVC(영구적 볼륨 클레임)을 사용하여 스토리지 클래스를 기반으로 하는 스토리지를 자동으로 프로비전합니다. 다음 단계에 따라 새 스토리지 클래스를 사용하여 PVC를 만듭니다.

  1. 즐겨찾는 텍스트 편집기를 사용하여 code acstor-pvc.yaml과 같은 YAML 매니페스트 파일을 만듭니다.

  2. 다음 코드를 붙여넣고 파일을 저장합니다. PVC name 값은 원하는 대로 지정할 수 있습니다.

    apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: ephemeralpvc
  annotations:
    acstor.azure.com/accept-ephemeral-storage: "true"
spec:
  accessModes:
    - ReadWriteOnce
  storageClassName: acstor-ephemeraldisk-nvme # replace with the name of your storage class if different
  resources:
    requests:
      storage: 100Gi

    볼륨의 스토리지 크기를 변경할 때 크기가 단일 노드 임시 디스크의 사용 가능한 용량보다 작아야 합니다. 노드 임시 디스크 용량 확인을 참조하세요.

  3. YAML 매니페스트 파일을 적용하여 PVC를 만듭니다.

    kubectl apply -f acstor-pvc.yaml

    다음과 유사한 결과가 표시됩니다.

    persistentvolumeclaim/ephemeralpvc created

    다음 명령을 실행하여 PVC의 상태를 확인할 수 있습니다.

    kubectl describe pvc ephemeralpvc

PVC가 만들어지면 Pod에서 사용할 준비가 됩니다.

5. Pod 배포 및 영구 볼륨 연결

벤치마킹 및 워크로드 시뮬레이션에 Fio(유연한 I/O 테스터)를 사용하여 Pod를 만들고 영구 볼륨에 대한 탑재 경로를 지정합니다. claimName의 경우 영구 볼륨 클레임을 만들 때 사용한 name 값을 사용합니다.

  1. 즐겨찾는 텍스트 편집기를 사용하여 code acstor-pod.yaml과 같은 YAML 매니페스트 파일을 만듭니다.

  2. 다음 코드를 붙여넣고 파일을 저장합니다.

    kind: Pod
apiVersion: v1
metadata:
  name: fiopod
spec:
  nodeSelector:
    acstor.azure.com/io-engine: acstor
  volumes:
    - name: ephemeralpv
      persistentVolumeClaim:
        claimName: ephemeralpvc
  containers:
    - name: fio
      image: nixery.dev/shell/fio
      args:
        - sleep
        - "1000000"
      volumeMounts:
        - mountPath: "/volume"
          name: ephemeralpv

  3. YAML 매니페스트 파일을 적용하여 Pod를 배포합니다.

    kubectl apply -f acstor-pod.yaml

    다음과 비슷한 결과가 나타나야 합니다.

    pod/fiopod created

  4. Pod가 실행 중이고 영구 볼륨 클레임이 Pod에 성공적으로 바인딩되었는지 확인합니다.

    kubectl describe pod fiopod
kubectl describe pvc ephemeralpvc

  5. fio 테스트를 확인하여 현재 상태를 알아봅니다.

    kubectl exec -it fiopod -- fio --name=benchtest --size=800m --filename=/volume/test --direct=1 --rw=randrw --ioengine=libaio --bs=4k --iodepth=16 --numjobs=8 --time_based --runtime=60

이제 볼륨 복제와 함께 로컬 NVMe를 사용하는 Pod를 배포했으며 이를 Kubernetes 워크로드에 사용할 수 있습니다.

볼륨 및 스토리지 풀 관리

이 섹션에서는 사용 가능한 임시 디스크 용량을 확인하는 방법, 영구 볼륨을 분리하고 다시 연결하는 방법, 스토리지 풀을 확장하거나 삭제하는 방법, 그리고 성능을 최적화하는 방법을 알아봅니다.

노드 임시 디스크 용량 확인

임시 볼륨은 단일 노드에 할당됩니다. 임시 볼륨의 크기를 구성할 때 크기는 단일 노드의 임시 디스크에서 사용 가능한 용량보다 작아야 합니다.

단일 노드에 사용 가능한 임시 디스크 용량을 확인하려면 다음 명령을 실행합니다.

$ kubectl get diskpool -n acstor
NAME                                CAPACITY      AVAILABLE     USED        RESERVED    READY   AGE
ephemeraldisk-nvme-diskpool-jaxwb   75660001280   75031990272   628011008   560902144   True    21h
ephemeraldisk-nvme-diskpool-wzixx   75660001280   75031990272   628011008   560902144   True    21h
ephemeraldisk-nvme-diskpool-xbtlj   75660001280   75031990272   628011008   560902144   True    21h

이 예에서 단일 노드에 사용 가능한 임시 디스크 용량은 75031990272바이트 또는 69GiB입니다.

영구 볼륨 분리 및 다시 연결

영구 볼륨을 분리하려면 영구 볼륨이 연결된 Pod를 삭제합니다.

kubectl delete pods <pod-name>

영구 볼륨을 다시 연결하려면 Pod 배포 및 영구 볼륨 연결에 설명된 대로 YAML 매니페스트 파일에서 영구 볼륨 클레임 이름을 참조하기만 하면 됩니다.

영구 볼륨 클레임이 바인딩되는 영구 볼륨을 확인하려면 다음을 실행합니다.

kubectl get pvc <persistent-volume-claim-name>

스토리지 풀 확장

로컬 NVMe가 지원하는 스토리지 풀을 스케일 업하여 가동 중지 시간 없이 빠르게 스케일 업할 수 있습니다. 스토리지 풀 축소는 현재 지원되지 않습니다.

임시 디스크에서 지원되는 스토리지 풀은 AKS 클러스터 노드(VM)에서 로컬 스토리지 리소스를 사용하므로 스토리지 풀을 확장하려면 클러스터에 다른 노드를 추가해야 합니다. 다음 지침에 따라 스토리지 풀을 확장합니다.

  1. 다음 명령을 실행하여 AKS 클러스터에 노드를 추가합니다. <cluster-name>, <nodepool name> 및 <resource-group-name>를 고유한 값으로 바꿉니다. 노드 풀의 이름을 얻으려면 kubectl get nodes을(를) 실행합니다.

    az aks nodepool add --cluster-name <cluster name> --name <nodepool name> --resource-group <resource group> --node-vm-size Standard_L8s_v3 --node-count 1 --labels acstor.azure.com/io-engine=acstor

  2. kubectl get nodes을(를) 실행하면 노드가 클러스터에 추가된 것을 볼 수 있습니다.

  3. kubectl get sp -A을(를) 실행하면 스토리지 풀의 용량이 증가했음을 알 수 있습니다.

스토리지 풀 삭제

스토리지 풀을 삭제하려면 다음 명령을 실행합니다. <storage-pool-name>을 스토리지 풀 이름으로 바꿉니다.

kubectl delete sp -n acstor <storage-pool-name>

로컬 NVMe를 사용할 때 성능 최적화

워크로드’성능 요구 사항에 따라 다르지만, 기본, 표준 및 프리미엄의 세 가지 성능 계층 중에서 선택할 수 있습니다. 이러한 계층은 다른 범위의 IOPS를 제공하며, 선택한 계층에 따라 Azure 컨테이너 스토리지 구성 요소가 설치된 노드에서 사용하는 vCPU 수가 달라집니다. 성능 계층을 업데이트하지 않는 경우 표준이 기본 구성입니다.

단일 영역 복제

계층 vCPU 수 100% 읽기 IOPS 100% 쓰기 IOPS
Basic 총 VM 코어의 12.5% 최대 120,000 최대 45,000개
Standard(기본값) 총 VM 코어의 25% 최대 220,000개 최대 90,000
Premium 총 VM 코어의 50% 최대 550,000 최대 180,000

다중 영역 복제

계층 vCPU 수 100% 읽기 IOPS 100% 쓰기 IOPS
Basic 총 VM 코어의 12.5% 최대 120,000 최대 45,000개
Standard(기본값) 총 VM 코어의 25% 최대 220,000개 최대 90,000
Premium 총 VM 코어의 50% 최대 550,000 최대 180,000

참고 항목

RAM 및 거대한 페이지 사용량은 모든 계층(1GiB의 RAM 및 2GiB의 거대한 페이지)에서 일관성을 유지합니다.

요구 사항에 가장 적합한 성능 계층을 확인한 후에는 다음 명령을 실행하여 Azure 컨테이너 스토리지 설치의 성능 계층을 업데이트할 수 있습니다. <performance tier>를 기본, 표준 또는 프리미엄으로 바꿉니다.

az aks update -n <cluster-name> -g <resource-group> --enable-azure-container-storage <storage-pool-type> --ephemeral-disk-nvme-perf-tier <performance-tier>

참고 항목