Azure Data Lake Storage Gen2

요약

필수 구성 요소

• Azure 구독 Azure 무료 평가판으로 이동합니다.

• 계층 구조 네임스페이스가 있는 스토리지 계정입니다. 스토리지 계정 만들기의 지침에 따라 계정을 만듭니다. 이 문서에서는 이름이 지정된 myadlsg2스토리지 계정을 만들었다고 가정합니다.

• 스토리지 계정에 대해 Blob 데이터 판독기, Blob 데이터 기여자 또는 Blob 데이터 소유자의 역할 중 하나가 부여되었는지 확인합니다.

• 스토리지 계정에 있는 이름이 지정된 Drivers.txt 샘플 데이터 파일입니다. Azure Data Lake Git 리포지토리에서 이 샘플을 다운로드한 다음 해당 파일을 스토리지 계정에 업로드할 수 있습니다.

지원되는 기능

• 가져오기
• 파일 시스템 뷰
• CDM 폴더 보기

파워 쿼리 데스크톱에서 Azure Data Lake Storage Gen2로 커넥트

1. 데이터 가져오기 환경에서 Azure Data Lake Storage Gen2를 선택합니다. 파워 쿼리 데스크톱의 데이터 가져오기 환경은 앱마다 다릅니다. 파워 쿼리 데스크톱 앱에 대한 데이터 환경 가져오기에 대한 자세한 내용은 데이터를 가져올 위치로 이동합니다.

2. Azure Data Lake Storage Gen2 대화 상자에서 컨테이너 엔드포인트 형식을 사용하여 Azure Data Lake Storage Gen2 계정, 컨테이너 또는 하위 폴더에 URL을 제공합니다. Data Lake Storage Gen2의 URL에는 다음과 같은 패턴이 있습니다.

   <https:// accountname.dfs.core.windows.net/>< container>/<subfolder>

   파일 시스템 보기 또는 공통 데이터 모델 폴더 뷰를 사용할지 여부를 선택할 수도 있습니다.

   계속하려면 확인을 선택합니다.

   

3. 이 URL 주소를 처음 사용하는 경우 인증 방법을 선택하라는 메시지가 표시됩니다.

   조직 계정 방법을 선택하는 경우 로그인을 선택하여 스토리지 계정에 로그인합니다. 조직의 로그인 페이지로 리디렉션됩니다. 프롬프트에 따라 계정에 로그인합니다. 성공적으로 로그인한 후 연결을 선택합니다.

   계정 키 방법을 선택하는 경우 계정 키를 입력한 다음 커넥트 선택합니다.

   

4. 탐색기 대화 상자에는 제공한 URL 아래에 있는 모든 파일이 표시됩니다. 정보를 확인한 다음 데이터 변환을 선택하여 파워 쿼리 또는 로드에서 데이터를 변환하여 데이터를 로드합니다.

   

파워 쿼리 Online에서 Azure Data Lake Storage Gen2로 커넥트

1. 데이터 가져오기 환경에서 Azure Data Lake Storage Gen2 옵션을 선택합니다. 다른 앱에는 파워 쿼리 온라인 데이터 가져오기 환경에 액세스하는 다양한 방법이 있습니다. 파워 쿼리 온라인 앱에서 데이터 환경을 가져오는 방법에 대한 자세한 내용은 데이터를 가져올 위치로 이동합니다.

   

2. 데이터 원본에 커넥트 Azure Data Lake Storage Gen2 계정에 대한 URL을 입력합니다. 사용할 URL을 확인하려면 제한 사항을 참조하세요.

   

3. 파일 시스템 보기 또는 공통 데이터 모델 폴더 뷰를 사용할지 여부를 선택합니다.

4. 필요한 경우 데이터 게이트웨이에서 온-프레미스 데이터 게이트웨이를 선택합니다.

5. 로그인을 선택하여 Azure Data Lake Storage Gen2 계정에 로그인합니다. 조직의 로그인 페이지로 리디렉션됩니다. 프롬프트에 따라 계정에 로그인합니다.

6. 성공적으로 로그인한 후 다음을 선택합니다.

7. 데이터 선택 페이지에는 제공한 URL 아래에 모든 파일이 표시됩니다. 정보를 확인한 다음 데이터 변환을 선택하여 파워 쿼리에서 데이터를 변환합니다.

   

제한 사항

파워 쿼리 Online에서 지원되지 않는 하위 폴더 또는 파일

현재 파워 쿼리 Online에서 Azure Data Lake Storage Gen2 커넥터는 하위 폴더나 파일이 아닌 컨테이너가 있는 경로만 지원합니다. 예를 들어 https://< accountname.dfs.core.windows.net/<> container>는 작동하지만 https://< accountname.dfs.core.windows.net/>< container>/<filename> 또는 https://< accountname.dfs.core.windows.net/>< container/<subfolder>>는 실패합니다.

인증 새로 고침

Azure ADLS(Data Lake Storage Gen2) 계정이 다른 테넌트에 있는 경우 Microsoft는 OAuth2 인증을 사용하여 데이터 흐름 또는 의미 체계 모델 새로 고침을 지원하지 않습니다. 이 제한은 인증 방법이 OAuth2인 경우에만 ADLS에 적용됩니다. 즉, Microsoft Entra ID 계정을 사용하여 테넌트 간 ADLS에 연결하려고 할 때입니다. 이 경우 키 인증 방법과 같이 OAuth2/Microsoft Entra ID가 아닌 다른 인증 방법을 사용하는 것이 좋습니다.

프록시 및 방화벽 요구 사항

게이트웨이를 사용하여 데이터 흐름을 만들 때 Azure Data Lake에 성공적으로 연결하려면 프록시 설정 또는 방화벽 포트 중 일부를 변경해야 할 수 있습니다. 게이트웨이 바인딩된 새로 고침으로 인해 데이터 흐름이 실패하는 경우 Azure Storage 엔드포인트에 대한 게이트웨이의 방화벽 또는 프록시 문제 때문일 수 있습니다.

게이트웨이에서 프록시를 사용하는 경우 온-프레미스 데이터 게이트웨이에서 Microsoft.Mashup.Container.NetFX45.exe.config 파일을 구성해야 할 수 있습니다. 추가 정보: 온-프레미스 데이터 게이트웨이에 대한 프록시 설정을 구성합니다.

네트워크에서 Azure Data Lake로의 연결을 사용하도록 설정하려면 게이트웨이 머신에서 특정 IP 주소를 나열하도록 설정해야 할 수 있습니다. 예를 들어 네트워크에 이러한 시도를 차단할 수 있는 방화벽 규칙이 있는 경우 Azure Data Lake에 대한 아웃바운드 네트워크 연결을 차단 해제해야 합니다. 필요한 아웃바운드 주소를 나열하려면 AzureDataLake 서비스 태그를 사용합니다. 추가 정보: 가상 네트워크 서비스 태그

또한 데이터 흐름은 "Bring Your Own" 데이터 레이크 옵션을 지원합니다. 즉, 사용자 고유의 데이터 레이크를 만들고, 사용 권한을 관리하고, 데이터 흐름에 명시적으로 연결합니다. 이 경우 조직 계정을 사용하여 개발 또는 프로덕션 환경에 연결하는 경우 스토리지 계정에 대해 Blob 데이터 판독기, Blob 데이터 기여자 또는 Blob 데이터 소유자 역할 중 하나를 사용하도록 설정해야 합니다.

파워 쿼리 온라인 및 Azure Storage는 동일한 지역에 있습니다.

방화벽을 사용하도록 설정하고 파워 쿼리 온라인과 동일한 지역에 있는 Azure Storage 계정에 대한 직접 액세스는 지원되지 않습니다. 이 제한은 Power Query 서비스가 Azure Storage 계정과 동일한 지역에 배포될 때 통신에 프라이빗 Azure IP 주소를 사용하기 때문에 발생합니다. 자세한 내용은 스토리지 네트워크 보안에 대한 Azure 설명서를 참조하세요.

이 제한을 해결하여 동일한 지역의 파워 쿼리 Online에서 Azure Storage에 액세스할 수 있도록 하려면 다음 방법 중 하나를 사용합니다.

• 파워 쿼리 온라인과 Azure Storage 간의 브리지 역할을 하는 온-프레미스 데이터 게이트웨이를 활용합니다.
• VNet(Virtual Network) 데이터 게이트웨이를 사용합니다.

참고 항목

• Power BI를 사용하여 Azure Data Lake Storage Gen2에서 데이터 분석
• Azure Data Lake Storage Gen2 소개