Blob Storage에서 파일 시스템으로 가져오기 작업 만들기

아티클
11/11/2024

Azure Managed Lustre는 Azure Blob Storage와 통합하여 Blob 컨테이너에서 파일 시스템으로 데이터를 가져오는 프로세스를 간소화합니다. 클러스터를 만드는 동안 이 통합을 구성할 수 있으며 클러스터를 만든 후 언제든지 가져오기 작업을 만들 수 있습니다.

이 문서에서는 Azure Portal을 사용하여 Blob 컨테이너에서 기존 Azure Managed Lustre 파일 시스템으로 데이터를 가져오는 가져오기 작업을 만드는 방법을 알아봅니다.

참고

Blob 컨테이너에서 Azure Managed Lustre 파일 시스템으로 데이터를 가져오는 경우 파일 이름(네임스페이스) 및 메타데이터만 Lustre 네임스페이스로 가져옵니다. Blob의 실제 콘텐츠는 클라이언트에서 처음으로 액세스할 때 가져옵니다. 데이터에 처음 액세스할 때 Lustre HSM(계층적 스토리지 관리) 기능이 Blob 콘텐츠를 파일 시스템의 해당 파일로 끌어오는 동안 약간의 지연이 발생합니다. 이 지연은 파일에 처음 액세스할 때만 발생합니다.

sudo 기능이 있는 탑재된 클라이언트에서 Lustre의 명령을 사용하여 Blob의 lfs hsm_restore 콘텐츠를 프리페치하도록 선택할 수 있습니다. 자세한 내용은 Blob Storage에서 데이터 복원을 참조하세요.

사전 요구 사항

기존 Azure Managed Lustre 파일 시스템 - Azure Portal, Azure Resource Manager 또는 Terraform을 사용하여 만듭니다. Blob 통합에 대한 자세한 내용은 Blob 통합 필수 구성 요소를 참조하세요.

가져오기 작업 만들기

Blob 컨테이너에서 Azure Managed Lustre 파일 시스템으로 데이터를 가져오는 작업은 가져오기 작업 만들기부터 시작합니다. 이 섹션에서는 Azure Portal에서 가져오기 작업을 만들고 구성하고 시작하는 방법을 알아봅니다.

참고

한 번에 하나의 가져오기 또는 내보내기 작업만 실행할 수 있습니다. 예를 들어 가져오기 작업이 진행 중인 경우 다른 가져오기 또는 내보내기 작업을 시작하려고 하면 오류가 반환됩니다.

가져오기 옵션 구성 및 작업 시작

가져오기 옵션을 구성하고 작업을 시작하려면 다음 단계를 수행합니다.

Azure Portal에서 Azure Managed Lustre 파일 시스템을 열고 설정 아래의 Blob 통합 창으로 이동합니다.
+ 새 작업 만들기를 선택합니다.
작업 유형 드롭다운에서 가져오기를 선택합니다.
작업 이름 필드에 가져오기 작업의 이름을 입력합니다.
충돌 해결 모드 필드의 값을 선택합니다. 이 설정은 가져오기 작업이 파일 시스템의 기존 파일과 가져오는 파일 간의 충돌을 처리하는 방법을 결정합니다. 이 예제에서는 건너뛰기 를 선택합니다. 자세한 내용은 충돌 해결 모드를 참조하세요.
오류 허용 오차 값을 선택합니다. 이 설정은 가져오기 작업에서 가져오기 프로세스 중에 발생하는 오류를 처리하는 방법을 결정합니다. 이 예제에서는 오류 허용을 선택합니다. 자세한 내용은 오류 허용 오차를 참조하세요.
가져오기 접두사를 입력하여 Blob Storage에서 가져온 데이터를 필터링합니다. Azure Portal을 사용하면 최대 10개의 접두사를 입력할 수 있습니다. 이 예제에서는 /data 및 /logs 접두사를 지정합니다. 자세한 내용은 접두사 가져오기를 참조하세요.
작업이 구성되면 시작을 선택하여 가져오기 프로세스를 시작합니다.

다음 스크린샷은 Azure Portal의 가져오기 작업 구성 설정을 보여 줍니다.

가져오기 작업 모니터링

가져오기 작업을 만든 후 진행률을 모니터링하여 성공적으로 완료되었는지 확인할 수 있습니다. 이 섹션에서는 Azure Portal에서 가져오기 작업을 모니터링하는 방법을 알아봅니다.

작업 세부 정보를 보려면 다음 단계를 수행합니다.

Azure Portal에서 Azure Managed Lustre 파일 시스템을 열고 설정 아래의 Blob 통합 창으로 이동합니다.
최근 작업 목록에서 모니터링할 가져오기 작업을 선택합니다.
작업 세부 정보 창에는 작업 상태, 시작 시간, 가져온 Blob 및 가져오기 프로세스 중에 발생한 오류 또는 충돌을 포함하여 작업에 대한 정보가 표시됩니다.

다음 스크린샷은 Azure Portal에서 가져오기 작업에 대한 작업 세부 정보를 보여 줍니다.

작업이 완료되면 로깅 컨테이너를 보고 발생한 오류 또는 충돌을 포함하여 가져오기 프로세스에 대한 자세한 정보를 볼 수 있습니다. 이 정보는 작업이 완료된 후에만 사용할 수 있습니다.

다음 단계

Azure Managed Lustre에서 Azure Blob Storage를 사용하는 방법에 대한 자세한 내용은 Azure Managed Lustre 파일 시스템에서 Azure Blob Storage 사용을 참조하세요.

다음을 통해 공유