Azure Data Box 제품군을 사용해야 하는 경우
Azure Data Box 제품군 디바이스가 데이터를 Azure로 가져오는 유일한 방법은 아닙니다. 자율 주행 차량의 데이터인 경우 주문하기 전에 Data Box Disk가 최선의 선택인지 확인해야 합니다.
이 단원에서는 Data Box 디바이스를 사용해야 하는 경우와 다른 솔루션을 사용해야 하는 경우를 알아봅니다.
Data Box 디바이스에 대한 사용 사례
Data Box는 네트워크 연결이 제한적이거나 없는 시나리오에서 테라바이트 단위의 데이터를 전송하는 데 가장 적합합니다. 데이터 이동은 일회성 전송, 정기적 전송 또는 초기 대량 데이터 전송 후의 정기적 전송일 수 있습니다.
Data Box 디바이스를 사용하여 데이터를 Azure로 가져올 수 있는 다양한 시나리오는 다음과 같습니다.
일회성 마이그레이션 - 대량의 온-프레미스 데이터를 Azure로 이동하는 경우입니다.
- 온라인 미디어 라이브러리를 만들기 위해 오프라인 테이프에서 Azure로 미디어 라이브러리를 이동합니다.
- VM 팜에서, SQL Server 및 애플리케이션을 Azure로 마이그레이션합니다.
- 심층 분석을 위해 기록 데이터를 Azure로 이동하고 HDInsight를 사용하여 보고합니다.
초기 대량 전송 - Data Box(시드)를 사용한 대량 전송 후, 네트워크를 통해 증분 데이터를 전송하는 경우입니다.
주기적인 업로드 - 많은 양의 데이터가 주기적으로 생성되어 Azure로 이동해야 하는 경우입니다. 비디오 콘텐츠가 생성되는 석유 굴착 장치나 풍력발전소와 같은 에너지 탐사를 예로 들 수 있습니다.
Data Box를 사용하여 데이터를 Azure에서 내보낼 수 있는 다양한 시나리오는 다음과 같습니다. Data Box Disk 및 Data Box Heavy는 Azure에서 데이터를 내보내는 기능을 지원하지 않습니다.
재해 복구 - Azure의 데이터 복사본이 온-프레미스 네트워크로 복원되는 경우 일반적인 재해 복구 시나리오에서는 대량의 Azure 데이터가 Data Box로 내보내집니다. 그러면 Microsoft는 이 Data Box를 제공하고 데이터는 짧은 시간 내에 온-프레미스에서 복원됩니다.
보안 요구 사항 - 정부 또는 보안 요구 사항으로 인해 Azure에서 데이터를 내보낼 수 있어야 하는 경우입니다. 예를 들어 Azure Storage는 미국 비밀 및 상위 비밀 클라우드에서 사용할 수 있으며 Data Box를 사용하여 Azure에서 데이터를 내보낼 수 있습니다.
온-프레미스 또는 다른 클라우드 서비스 공급자로 다시 마이그레이션 - 모든 데이터를 온-프레미스 또는 다른 클라우드 서비스 공급자로 다시 이동하려면 Data Box를 통해 데이터를 내보내 워크로드를 마이그레이션할 수 있습니다.
오프라인 전송 옵션
오프라인에서 데이터를 Azure로 이동하려는 경우 Data Box 디바이스와 Azure Import/Export 등을 활용할 수 있습니다.
Data Box 디바이스
데이터를 Azure로 가져오기 위해 물리적 디바이스에 데이터를 로드하여 Azure 데이터 센터로 보낼 수 있습니다. Azure 데이터 센터에서 데이터가 Azure 구독에 복사됩니다. 2단원에서 확인한 것처럼 다음 세 가지 Data Box 제품이 이런 방식으로 작동합니다.
- Data Box
- Data Box Disk
- Data Box Heavy
해당 지역이 Azure Data Box 제품군에서 지원되지 않는 경우 Azure Import/Export를 사용하여 데이터를 Azure로 가져오는 것이 좋습니다.
Azure Import/Export
물리적 디바이스를 사용하여 데이터를 Azure로 전송하는 다른 서비스는 Azure Import/Export입니다. Azure Import/Export에서는 사용자 고유의 디스크를 사용할 수 있습니다. Blob Storage에서 디스크로 데이터 오프라인 전송을 수행할 수 있습니다. 또한 Azure Import/Export를 사용하면 다시 Azure에서 사용자 고유의 데이터 센터로 데이터를 내보낼 수 있으며, 국가 간 데이터 전송이 가능합니다.
Azure Import/Export를 사용하여 데이터를 가져오기 위한 설정 절차는 Azure Data Box 제품군보다 더 어렵습니다. 배송 세부 정보 및 디바이스 준비를 모두 처리해야 합니다. 대량 데이터를 저렴하고 안전하게 Azure로 이동하는 데 필요한 수고를 최소화하는 자동 서비스인 Azure Data Box를 사용하는 것이 좋습니다.
네트워크 전송 옵션
데이터를 Azure로 가져오는 또 다른 방법은 인터넷을 통해 전송하는 것입니다. 네트워크를 통해 데이터를 전송하는 데 사용할 수 있는 도구에는 몇 가지가 있습니다.
Data Box Gateway
2단원에서 설명한 대로 Data Box Gateway는 가상 어플라이언스입니다. 프로비저닝하는 가상 머신을 기반으로 하는 완전한 가상 어플라이언스입니다. NFS 및 SMB 프로토콜을 사용하여 가상 디바이스에 데이터를 작성합니다. 그러면 디바이스가 Azure 블록 Blob, 페이지 Blob 또는 Azure Files로 데이터를 전송합니다.
Azure Storage Explorer
Azure Storage Explorer는 무료로 다운로드할 수 있는 애플리케이션으로 Windows, Mac 또는 Linux에서 실행할 수 있습니다. Azure Storage 계정의 Blob, 파일, 큐, 테이블을 탐색하는 데 사용할 수 있는 GUI(그래픽 사용자 인터페이스)를 제공합니다. 한 번에 몇 개의 파일만 전송하며 전송을 자동화할 필요가 없는 경우에는 Storage Explorer가 이상적인 솔루션입니다.
애플리케이션을 설치하지 않으려는 경우 브라우저가 있으면 Azure Portal의 Storage Explorer 페이지를 사용하여 파일을 전송할 수 있습니다.
Azure Stack Edge
Azure Stack Edge는 또한 물리적 디바이스를 사용하여 Azure로 데이터를 전송합니다. Data Box 디바이스와 달리 Azure Stack Edge 디바이스는 컴퓨팅, 스토리지, 네트워킹, 하드웨어 가속 기계 학습 등의 Azure 기능을 모든 에지 위치에 제공합니다. 다음 시나리오에서는 Azure Stack Edge 디바이스를 사용합니다.
Azure Machine Learning을 사용한 유추 - ML 모델을 실행하여 데이터가 클라우드로 전송되기 전에 수행할 수 있는 빠른 결과를 얻을 수 있습니다. ML 모델을 계속 다시 학습시키고 개선할 수 있도록 필요에 따라 전체 데이터 집합을 전송할 수 있습니다.
데이터 전처리 - 컨테이너 또는 가상 머신과 같은 컴퓨팅 옵션을 통해 데이터를 Azure에 전송하기 전에 변환하여 보다 실행 가능한 데이터 세트를 만듭니다. 전처리를 사용하여 다음을 수행할 수 있습니다.
- 데이터 집계
- 데이터를 수정합니다. 예를 들어 개인 데이터를 제거합니다.
- 스토리지 및 대역폭을 최적화하거나 추가 분석을 위해 하위 세트 데이터를 만듭니다.
- IoT 이벤트 분석 및 대응
네트워크를 통해 데이터를 Azure에 전송 - 쉽고 빠르게 Azure로 데이터를 전송하여 추가 컴퓨팅 및 분석을 수행하거나 보관 목적으로 사용합니다.
Azure Data Factory
Azure Data Factory는 다양한 원본의 대량 데이터를 구성, 이동 및 변환하도록 지원하는 서비스입니다. Data Factory에서 관계형 데이터베이스, NoSQL 데이터베이스 및 기타 시스템의 데이터를 수집하는 데이터 파이프라인을 만들 수 있습니다. Azure Machine Learning, Hadoop, Spark 및 기타 서비스를 사용하여 해당 데이터를 처리하고 변환할 수 있습니다. 그런 다음, 파이프라인의 끝에서 변환된 데이터를 Azure SQL Data Warehouse, Azure SQL Database, Azure Cosmos DB 및 Azure Storage에 게시할 수 있습니다.
복잡한 데이터 변환이 필요하지만 스크립트나 컴파일된 코드를 작성하지 않으려는 경우 이 서비스를 사용할 수 있습니다.
스크립트 또는 프로그래밍 방식 전송
Microsoft에서는 데이터를 Azure로 이동할 수 있는 다양한 최적화된 명령줄 도구를 제공합니다. 이러한 도구는 개별 명령을 사용하여 호출하거나 스크립트로 결합할 수 있습니다. 다음과 같은 도구가 포함됩니다.
- AzCopy. 임의 스크립트에서 이 명령줄 프로그램을 호출하여 Blob 또는 파일을 Azure Storage 계정으로 전송할 수 있습니다.
- Azure PowerShell. PowerShell은 관리자가 cmdlet이라는 명령을 실행하여 복잡한 작업을 자동화할 수 있도록 설계된 스크립팅 인터페이스 및 언어입니다. Azure PowerShell 모듈은 Azure에서 사용할 수 있는 다양한 cmdlet을 제공합니다. 데이터를 Azure Storage 계정, Azure SQL Database, Azure Cosmos DB 및 기타 대상으로 업로드하는 데 사용할 수 있는 cmdlet도 있습니다. 예를 들어 파일을 Azure Storage Blob으로 업로드하려면
Set-AzStorageBlobContentcmdlet을 사용합니다. - Azure CLI. Azure CLI는 Azure에서 작업하기 위해 PowerShell 및 Bash 스크립트에서 호출할 수 있는 명령줄 도구입니다. 데이터를 Azure 위치로 이동할 수 있는 옵션도 있습니다. 예를 들어 파일을 Azure Storage Blob으로 업로드하려면
az storage blob upload명령을 사용합니다.
스크립팅 도구는 관리자와 비개발자가 사용하기에 편리합니다. 컴파일된 코드를 작성할 수 있는 개발자 기술을 가진 사람이 있는 경우 프로그래밍 언어를 사용하여 Azure로 데이터 전송을 오케스트레이션할 수 있습니다. 코드에서 Azure Storage REST(Representational State Transfer) API(애플리케이션 프로그래밍 인터페이스)를 호출해야 합니다. REST API는 다양한 프로그래밍 언어에서 호출할 수 있는 웹 서비스 집합입니다. 개발자는 .NET 언어, Java, Python, Node.js, C++ 및 PHP 등의 언어를 사용하여 이러한 API를 호출할 수 있으며 개발자는 가장 친숙한 언어를 선택할 수 있습니다.
데이터 전송 방법 선택
이러한 시스템에서 전송 방법을 선택하려면 다음 질문을 고려합니다.
- 데이터 크기는 무엇인가요?
- 얼마나 자주 데이터를 전송하려고 하나요?
- 사용할 수 있는 네트워크 대역폭은 얼마나 되나요?
가끔 몇 개의 파일을 전송하려는 경우 Azure Storage Explorer를 선택하거나 Azure Portal을 사용할 수 있습니다.
네트워크 대역폭이 낮거나 사용하는 데 비용이 많이 들고 대량 데이터가 있는 경우 물리적 디바이스를 사용하여 데이터를 전송할 수 있습니다. 사용자 고유의 디스크를 사용하려는 경우 Azure Import/Export를 선택합니다. 편리하게 Microsoft 하드웨어를 사용하려는 경우 Azure Data Box 제품을 선택합니다. 최대 데이터 볼륨에 따라 Data Box, Data Box Disk 및 Data Box Heavy를 선택할 수 있습니다.
사용 가능한 네트워크 대역폭이 충분하고 데이터를 정기적 또는 지속적으로 전송하려는 경우 네트워크 전송 방법을 선택할 수 있습니다. 코드를 사용하지 않고 전송 시 데이터를 변환하려는 경우 Azure Data Factory를 고려합니다. 시간을 투자할 수 있고 코드를 작성할 기술이 있는 경우 REST API에 대해 스크립팅 도구나 개발한 컴파일된 코드를 사용할 수 있습니다. 네트워크를 통해 큰 데이터 세트를 전송하려고 하며 높은 대역폭을 보유한 경우 Data Box Gateway 또는 Azure Stack Edge 디바이스를 선택할 수 있습니다.
자율 차량의 데이터 전송
조직에서 네트워크를 독점하지 않고 빠르고 비교적 저렴하며 안전한 방식으로 자율 차량 원격 분석 데이터를 Azure로 업로드하려고 합니다. 이 시나리오는 Azure Data Box Disk의 주요 사용 사례입니다.
다양한 종류의 데이터 전송 시나리오에서 Azure Data Box Disk를 사용할 수 있습니다. Azure Data Box Disk는 오프라인 테이프에서 Azure 쿨 스토리지로 최대 35TB의 데이터를 이동하는 경우와 같은 일회성 마이그레이션에 적합합니다. 업로드할 데이터가 35TB를 초과하는 경우 추가 주문을 만들 수 있습니다. 더 적합한 후보가 있을 수도 있으므로, 첫 번째 단원에서 살펴본 다른 Data Box 제품군 옵션을 검토하는 것이 좋습니다. 증분 전송도 효과적입니다. Data Box Disk는 큰 초기 시드를 제공하는 데 사용되며, 그 후에는 표준 네트워크 기술을 사용하여 데이터 증분이 복사됩니다.