Data Lake Storage에서 HDFS CLI 사용

아티클
11/18/2024

HDFS(Hadoop 분산 파일 시스템)를 사용하는 것처럼 명령줄 인터페이스를 사용하여 스토리지 계정에서 데이터에 액세스하고 관리할 수 있습니다. 이 문서에서는 시작하는 데 도움이 되는 몇 가지 예제를 제공합니다.

HDInsight는 컴퓨팅 노드에 로컬로 연결된 분산 컨테이너에 대한 액세스를 제공합니다. Hadoop이 지원하는 HDFS 및 기타 파일 시스템과 직접 상호 작용하는 셸을 사용하여 이 컨테이너에 액세스할 수 있습니다.

HDFS CLI에 대한 자세한 내용은 공식 문서 및 HDFS 권한 가이드를 참조하세요.

참고 항목

HDInsight 대신 Azure Databricks를 사용하고 명령줄 인터페이스를 사용하여 데이터와 상호 작용하려는 경우 Databricks CLI를 사용하여 Databricks 파일 시스템과 상호 작용할 수 있습니다. Databricks CLI를 참조하세요.

Linux에서 HDInsight Hadoop 클러스터로 HDFS CLI 사용

먼저 서비스에 원격 액세스를 확인합니다. SSH를 선택하면 샘플 PowerShell 코드가 다음과 같이 표시합니다.

#Connect to the cluster via SSH.
ssh sshuser@clustername-ssh.azurehdinsight.net
#Execute basic HDFS commands. Display the hierarchy.
hdfs dfs -ls /
#Create a sample directory.
hdfs dfs -mkdir /samplefolder

Azure Portal에 있는 HDInsight 클러스터 블레이드의 “SSH + 클러스터 로그인” 섹션에서 연결 문자열을 찾을 수 있습니다. SSH 자격 증명은 클러스터 생성 시 지정되었습니다.

Important

클러스터가 만들어지면 HDInsight 클러스터 요금 청구가 시작되고 클러스터가 삭제되면 요금 청구가 중지됩니다. 분 단위로 청구되므로 더 이상 사용하지 않으면 항상 클러스터를 삭제해야 합니다. 클러스터를 삭제하는 방법은 토픽에 대한 문서를 참조하세요. 그러나 Data Lake Storage를 사용하도록 설정된 스토리지 계정에 저장된 데이터는 HDInsight 클러스터가 삭제된 후에도 유지됩니다.

컨테이너 만들기

hdfs dfs -D "fs.azure.createRemoteFileSystemDuringInitialization=true" -ls abfs://<container-name>@<storage-account-name>.dfs.core.windows.net/

<container-name> 자리 표시자를 컨테이너에 지정할 이름으로 바꿉니다.
<storage-account-name> 자리 표시자를 스토리지 계정 이름으로 바꿉니다.

파일 또는 디렉터리 목록 가져오기

hdfs dfs -ls <path>

<path> 자리 표시자를 컨테이너 또는 컨테이너 폴더의 URI로 바꿉니다.

예: hdfs dfs -ls abfs://my-file-system@mystorageaccount.dfs.core.windows.net/my-directory-name

디렉터리 만들기

hdfs dfs -mkdir [-p] <path>

<path> 자리 표시자를 컨테이너 내의 루트 컨테이너 이름 또는 폴더로 바꿉니다.

예: hdfs dfs -mkdir abfs://my-file-system@mystorageaccount.dfs.core.windows.net/

파일 또는 디렉터리 삭제

hdfs dfs -rm <path>

<path> 자리 표시자를 삭제하려는 파일 또는 폴더의 URI로 바꿉니다.

예: hdfs dfs -rmdir abfs://my-file-system@mystorageaccount.dfs.core.windows.net/my-directory-name/my-file-name

파일 및 디렉터리의 Access Control Lists(ACL) 표시

hdfs dfs -getfacl [-R] <path>

예시:

hdfs dfs -getfacl -R /dir

getfacl 참조

파일 및 디렉터리의 ACL 설정

hdfs dfs -setfacl [-R] [-b|-k -m|-x <acl_spec> <path>]|[--set <acl_spec> <path>]

예시:

hdfs dfs -setfacl -m user:hadoop:rw- /file

setfacl 참조

파일의 소유자 변경

hdfs dfs -chown [-R] <new_owner>:<users_group> <URI>

chown 참조

파일의 그룹 연결 변경

hdfs dfs -chgrp [-R] <group> <URI>

chgrp 참조

파일의 사용 권한 변경

hdfs dfs -chmod [-R] <mode> <URI>

chmod를 참조합니다.

Apache Hadoop 2.4.1 파일 시스템 셸 가이드 웹 사이트에서 명령의 전체 목록을 볼 수 있습니다.

다음을 통해 공유