데이터 과학 Virtual Machine 데이터 수집 도구
데이터 과학 또는 AI 프로젝트의 초기 단계에서는 필요한 데이터 세트를 식별한 다음, 이를 분석 환경으로 가져와야 합니다. DSVM(Data Science Virtual Machine)은 다양한 원본의 데이터를 DSVM의 로컬 분석 데이터 스토리지 리소스로 가져오는 도구와 라이브러리를 제공합니다. DSVM은 클라우드나 온-프레미스에 있는 데이터 플랫폼으로 데이터를 가져올 수도 있습니다.
DSVM은 다음과 같은 데이터 이동 도구를 제공합니다.
Azure CLI
| 범주 | 값 |
|---|---|
| 이것은 무엇인가요? | Azure용 관리 도구. Azure 데이터 플랫폼(예: Azure Blob Storage 및 Azure Data Lake Store)에서 데이터를 이동하는 명령 동사를 제공합니다. |
| 지원되는 DSVM 버전 | Windows, Linux |
| 일반적인 사용 용도 | Azure Storage와 Azure Data Lake Store 간에 데이터 가져오기 및 내보내기 |
| 사용/실행 방법 | 명령 프롬프트를 열고 az를 입력하여 도움말을 봅니다. |
| 샘플에 대한 링크 | Azure CLI 사용 |
AZCopy
| 범주 | 값 |
|---|---|
| 이것은 무엇인가요? | 로컬 파일, Azure Blob Storage, 파일 및 테이블 간에 데이터를 복사하는 도구 |
| 지원되는 DSVM 버전 | Windows |
| 일반적인 사용 용도 | Azure Blob Storage에 파일 복사 계정 간 Blob 복사 |
| 사용/실행 방법 | 명령 프롬프트를 열고 azcopy를 입력하여 도움말을 봅니다. |
| 샘플에 대한 링크 | Windows에서 AzCopy |
Azure Cosmos DB 데이터 마이그레이션 도구
| 범주 | 값 |
|---|---|
| 이것은 무엇인가요? | 다양한 원본의 데이터를 클라우드의 NoSQL 데이터베이스인 Azure Cosmos DB로 가져오는 도구입니다. 이러한 원본에는 JSON 파일이 포함됨 CSV 파일 SQL MongoDB Azure Table Storage Amazon DynamoDB Azure Cosmos DB for NoSQL 컬렉션 |
| 지원되는 DSVM 버전 | Windows |
| 일반적인 사용 용도 | VM에서 Azure Cosmos DB로 파일 가져오기 Azure Table Storage에서 Azure Cosmos DB로 데이터 가져오기 Microsoft SQL Server 데이터베이스에서 Azure Cosmos DB로 데이터 가져오기 |
| 사용/실행 방법 | 명령줄 버전을 사용하려면, 명령 프롬프트를 열고 dt를 입력합니다. GUI 도구를 사용하려면, 명령 프롬프트를 열고 dtui 입력 |
| 샘플에 대한 링크 | Azure Cosmos DB로 데이터 가져오기 |
Azure Storage Explorer
| 범주 | 값 |
|---|---|
| 이것은 무엇인가요? | Azure 클라우드에 저장된 파일과 상호 작용하는 그래픽 사용자 인터페이스 |
| 지원되는 DSVM 버전 | Windows |
| 일반적인 사용 용도 | DSVM으로 데이터 가져오기 및 DSVM에서 데이터 내보내기 |
| 사용/실행 방법 | 시작 메뉴에서 'Azure Storage Explorer' 검색 |
| 샘플에 대한 링크 | Azure Storage Explorer |
bcp
| 범주 | 값 |
|---|---|
| 이것은 무엇인가요? | SQL Server와 데이터 파일 간에 데이터를 복사하는 SQL Server 도구 |
| 지원되는 DSVM 버전 | Windows |
| 일반적인 사용 용도 | CSV 파일을 SQL Server 테이블로 가져오기 SQL Server 테이블을 파일로 내보내기 |
| 사용/실행 방법 | 명령 프롬프트를 열고 bcp를 입력하여 도움말 보기 |
| 샘플에 대한 링크 | bcp 유틸리티 |
blobfuse
| 범주 | 값 |
|---|---|
| 이것은 무엇인가요? | Linux 파일 시스템에 Azure Blob Storage 컨테이너를 탑재하는 도구 |
| 지원되는 DSVM 버전 | Linux |
| 일반적인 사용 용도 | 컨테이너의 Blob에서 읽고 쓰기 |
| 사용 및 실행 방법 | 터미널에서 blobfuse 실행 |
| 샘플에 대한 링크 | GitHub의 blobfuse |