Azure Managed Lustre란?
Azure Managed Lustre 서비스는 클라우드 기반 고성능 컴퓨팅 작업을 위한 Azure 기반 Lustre 파일 시스템을 신속하게 만들 수 있는 기능을 제공합니다.
Lustre는 대규모 스토리지 크기로 크기 조정하는 동시에 고성능 처리량을 제공할 수 있는 오픈 소스 병렬 파일 시스템입니다. Lustre는 세계에서 가장 빠른 슈퍼컴퓨터와 다양한 유형의 산업용 데이터 중심 워크플로에서 사용됩니다. 자세한 내용은 https://www.lustre.org를 참조하세요.
Azure Managed Lustre는 사용자 고유의 Lustre 파일 시스템을 프로비전, 구성 및 관리하는 작업을 저장합니다. Azure Portal 에서 Create 명령을 사용하여 필요한 크기로 Lustre 파일 시스템을 신속하게 배포하고, 클라이언트를 연결하고, 시스템을 사용할 준비를 할 수 있습니다.
Microsoft Azure Blob Storage는 Azure Managed Lustre와 통합되어 파일 시스템에서 사용하기 위해 Blob 컨테이너에서 가져올 파일을 지정할 수 있습니다. 고성능 컴퓨팅 작업이 완료되면 변경된 데이터를 Azure Blob Storage로 내보내고 Azure Managed Lustre 시스템을 삭제할 수 있습니다. 자세한 내용은 이 문서의 뒷부분에 있는 Azure Blob Storage 통합을 참조하세요.
AKS(Azure Kubernetes Service) 컨테이너와 함께 Azure Managed Lustre 파일 시스템을 사용할 수도 있습니다. 자세한 내용은 Kubernetes에서 Azure Managed Lustre 사용을 참조 하세요.
Azure Managed Lustre의 데이터 보안
Azure에 저장된 모든 데이터는 기본적으로 Azure 관리 키를 사용하여 미사용 시 암호화됩니다. Azure Managed Lustre 클러스터에 저장된 데이터를 암호화하는 데 사용되는 키를 관리하려면 Azure 디스크 스토리지의 서버 쪽 암호화 지침을 따릅니다.
또한 Azure Managed Lustre 파일 시스템의 모든 정보는 Lustre 디스크에 대한 고객 관리형 키를 추가하더라도 데이터를 보유하는 관리 디스크의 VM 호스트 암호화로 보호됩니다. 고객 관리형 키를 추가하면 보안 요구 사항이 높은 고객에게 추가 수준의 보안이 제공됩니다. 자세한 내용은 Azure 디스크 스토리지의 서버 쪽 암호화를 참조 하세요.
참고 항목
Azure Managed Lustre는 서비스 인스턴스를 배포하는 지역 외부에 고객 데이터를 저장하지 않습니다.
Azure Managed Lustre의 데이터 복원력
Azure Managed Lustre 파일 시스템은 AZURE 관리 디스크를 OST(개체 스토리지 대상) 데이터 디스크로 사용합니다.
"지속성" 파일 시스템 유형으로 만들어진 모든 Azure Managed Lustre 파일 시스템은 LRS(로컬 중복 스토리지)로 구성된 Azure Premium SSD(반도체 드라이브) 디스크를 사용합니다. LRS 디스크 콘텐츠는 드라이브 및 서버 랙 오류로부터 보호하기 위해 로컬 데이터 센터 내에서 세 번 복제됩니다.
또한 Azure Managed Lustre 파일 시스템 자체는 이러한 디스크에 데이터를 저장하는 데 사용하는 개체 스토리지 프로세스를 통해 데이터 복원력에 기여합니다.
지역 또는 글로벌 데이터 중복성이 필요한 경우 파일 시스템을 Azure Blob Storage와 통합할 수 있습니다. 통합되면 장기 스토리지에 대한 다른 중복 정책을 사용하여 Azure Blob Storage 컨테이너로 파일을 내보내는 내보내기 작업을 시작할 수 있습니다. 스토리지 계정에 대한 Azure Blob Storage 중복성을 구성합니다. 스토리지 계정을 만들 때 ZRS(영역 데이터 중복성) 또는 GRS(글로벌 데이터 중복성)를 선택할 수 있습니다. Azure Managed Lustre 파일의 데이터 중복 옵션에 대한 자세한 내용은 지원되는 스토리지 계정 유형을 참조하세요.
Azure Blob Storage 통합
Microsoft Azure Blob Storage는 Azure Managed Lustre와 통합되어 파일 시스템에서 사용하기 위해 Blob 컨테이너에서 가져올 파일을 지정할 수 있습니다. Azure Blob Storage 통합은 Lustre HSM(계층적 스토리지 관리)의 애플리케이션입니다. 모든 작업에 대해 전체 데이터 집합을 가져올 필요가 없습니다. 대신 다른 작업에 대해 다른 파일 시스템을 만들고 사용 사이에 저비용 Azure Blob 컨테이너에 데이터를 저장할 수 있습니다. 고성능 컴퓨팅 작업이 완료되면 변경된 데이터를 Azure Blob Storage로 내보내고 Azure Managed Lustre 시스템을 삭제할 수 있습니다.
Azure Managed Lustre는 Azure Blob Storage와 원활하게 작동하도록 사용자 지정됩니다. 기존 Blob 컨테이너를 지정하여 Azure Managed Lustre 파일 시스템에서 기존 데이터에 액세스할 수 있도록 하거나 데이터로 채우거나 출력을 저장하는 데 사용하는 빈 컨테이너를 지정할 수 있습니다. 설치 및 유지 관리가 완료됩니다. 사용할 Blob 컨테이너를 지정하기만 하면 됩니다.
Lustre 파일 시스템을 만들 때 Azure Blob Storage를 통합하는 경우 Lustre HSM 기능을 사용할 수 있습니다. Lustre HSM의 이점을 원하지 않는 경우 클라이언트 명령을 직접 사용하여 Azure Managed Lustre 파일 시스템에 대해 데이터를 가져오고 내보낼 수 있습니다.
Kubernetes에서 Azure Managed Lustre 사용
Kubernetes 컨테이너와 함께 Azure Managed Lustre 스토리지 시스템을 사용하려는 경우 AKS(Azure Kubernetes Service)와 호환되는 Kubernetes용 Azure CSI(컨테이너 지원 인터페이스) 드라이버를 사용할 수 있습니다. 다른 유형의 Kubernetes 설치는 현재 지원되지 않습니다.
Kubernetes는 Azure Managed Lustre 워크로드에 대한 가상 클라이언트 엔드포인트 구성 및 배포를 간소화하고 다음과 같은 설치 작업을 자동화할 수 있습니다.
- AKS(Azure Kubernetes Service)에서 Pod를 실행하는 데 사용하는 Azure Virtual Machine Scale Sets 만들기
- VM 인스턴스에 올바른 Lustre 클라이언트 소프트웨어 로드
- Azure Managed Lustre 탑재 지점을 지정하고 해당 정보를 클라이언트 Pod에 전파합니다.
Kubernetes용 Azure Lustre CSI 드라이버는 클라이언트 소프트웨어 설치 및 탑재 드라이브를 자동화할 수 있습니다. 드라이버는 기본적으로 두 개의 복제본과 CSI 노드 플러그 인을 DaemonSet으로 사용하여 배포로 CSI 컨트롤러 플러그 인을 제공합니다. 복제본 수를 변경할 수 있습니다.
사용할 드라이버 버전을 확인하려면 호환되는 Kubernetes 버전을 참조하세요.