Azure Data Factory의 파워 쿼리 작업
파워 쿼리 활동을 사용하여 Data Factory 파이프라인에서 대규모로 랭글링 데이터를 실행하는 파워 쿼리 매시업을 빌드하고 실행할 수 있습니다. 새 리소스 메뉴 옵션 또는 파이프라인에 파워 작업을 추가하여 새 파워 쿼리 매시업을 만들 수 있습니다.
파워 쿼리 매시업 편집기 내에서 직접 작업하여 대화형 데이터 검색을 수행한 뒤 작업을 저장할 수 있습니다. 완료되면 파워 쿼리 활동을 사용하여 파이프라인에 추가할 수 있습니다. Azure Data Factory는 Azure Data Factory의 데이터 흐름 Spark 환경을 사용하여 자동으로 스케일링하고 데이터 랭글링을 운영합니다.
UI를 사용하여 파워 쿼리 작업 만들기
파이프라인에서 파워 쿼리 작업을 사용하려면 다음 단계를 완료합니다.
파이프라인 활동 창에서 파워 쿼리를 검색하고 파워 쿼리 작업을 파이프라인 캔버스로 끌어옵니다.
아직 선택되지 않은 경우 캔버스에서 새 파워 쿼리 작업과 해당 설정 탭을 선택하여 세부 정보를 편집합니다.
기존 파워 쿼리를 선택하고 열기를 선택하거나 새로 만들기 단추를 선택하여 새 파워 쿼리를 만들고 파워 쿼리 편집기를 엽니다.
기존 데이터 세트를 선택하거나 새로 만들기를 선택하여 새 데이터 세트를 정의합니다. 파이프라인 편집 환경 내에서 직접 파워 쿼리의 풍부한 기능을 사용하여 필요한 방식으로 데이터 세트를 변환합니다. 편집기에서 여러 데이터 세트의 여러 쿼리를 추가하고 나중에 사용할 수 있습니다.
이전 단계에서 하나 이상의 파워 쿼리를 정의한 후, 파워 쿼리 작업의 싱크 탭에서 모든/모두/없음의 싱크 위치를 지정할 수도 있습니다.
파워 쿼리 작업의 출력을 다른 활동에 대한 입력으로 사용할 수도 있습니다. 다음은 항목 속성에 대해 이전에 정의된 파워 쿼리의 출력을 참조하는 For Each 작업의 예입니다. 해당 항목은 동적 콘텐츠를 지원하며, 여기서 입력으로 사용되는 파워 쿼리의 출력을 참조할 수 있습니다.
모든 활동 출력이 표시되며 파이프라인 식 작성기 창에서 이를 선택하여 동적 콘텐츠를 정의할 때 사용할 수 있습니다.
데이터 흐름 스크립트로 변환
Azure Data Factory는 파워 쿼리 작업을 사용하여 스케일링하기 위해 M 스크립트를 데이터 흐름 스크립트로 변환하므로, Azure Data Factory의 데이터 흐름 Spark 환경을 사용하여 규모에 따라 파워 쿼리를 실행할 수 있습니다. 코드 없는 데이터 준비를 사용하여 랭글링 데이터 흐름을 작성합니다. 사용 가능한 함수 목록은 변환 함수를 참조하세요.
설정
- 파워 쿼리: 기존 파워 쿼리를 선택하여 새 파워 쿼리를 실행하거나 만듭니다.
- Azure IR에서 실행: 기존 Azure Integration Runtime을 선택하여 파워 쿼리에 대한 컴퓨팅 환경을 정의하거나 새 컴퓨팅 환경을 만듭니다.
- 컴퓨팅 유형: 기본 자동 확인 통합 런타임을 선택하는 경우 파워 쿼리 실행을 위해 Spark 클러스터 컴퓨팅에 적용할 컴퓨팅 유형을 선택할 수 있습니다.
- 코어 수: 기본 자동 확인 통합 런타임을 선택하는 경우 파워 쿼리 실행을 위해 Spark 클러스터 컴퓨팅에 적용할 코어 수를 선택할 수 있습니다.
sink
Spark에서 파워 쿼리 M 스크립트가 실행된 후 변환된 데이터를 착륙하는 데 사용할 데이터 세트를 선택합니다. 싱크 구성에 대한 자세한 내용은 데이터 흐름 싱크에 대한 설명서를 참조하세요.
출력을 여러 대상으로 싱크하는 옵션이 있습니다. 더하기(+) 단추를 클릭하여 쿼리에 싱크를 더 추가합니다. 랭글링 파워 쿼리 작업의 각 개별 쿼리 출력을 다른 대상으로 보낼 수도 있습니다.
매핑
매핑 탭에서 파워 쿼리 작업의 출력에서 선택한 싱크의 대상 스키마로 열 매핑을 구성할 수 있습니다. 데이터 흐름 싱크 매핑 설명서에서 열 매핑에 대해 자세히 알아보세요.
관련 콘텐츠
Azure Data Factory에서 파워 쿼리를 사용한 데이터 랭글링의 개념에 대한 자세한 정보.