자습서: Fabric Data Warehouse에 대한 dbt 설정
적용 대상:✅ Microsoft Fabric 내 웨어하우스
이 자습서에서는 dbt를 설정하고 Fabric 웨어하우스에 첫 번째 프로젝트를 배포하는 방법을 안내합니다.
소개
dbt(데이터 빌드 도구) 오픈 소스 프레임워크는 데이터 변환 및 분석 엔지니어링을 간소화합니다. 분석 계층 내의 SQL 기반 변환에 중점을 두고 SQL을 코드로 처리합니다. dbt는 버전 제어, 모듈화, 테스트 및 설명서를 지원합니다.
Microsoft Fabric용 dbt 어댑터를 사용하여 dbt 프로젝트를 만든 다음 패브릭 데이터 웨어하우스에 배포할 수 있습니다.
예를 들어 어댑터를 변경하기만 하면 dbt 프로젝트의 대상 플랫폼을 변경할 수도 있습니다. Azure Synapse 전용 SQL 풀용으로 빌드된 프로젝트를 몇 초 안에 Fabric Data Warehouse로 업그레이드할 수 있습니다.
Microsoft Fabric용 dbt 어댑터에 대한 필수 구성 요소
다음 목록에 따라 dbt 필수 구성 요소를 설치하고 설정합니다.
pip install dbt-fabric을(를) 사용하는 PyPI(Python 패키지 인덱스) 리포지토리의 dbt-fabric 어댑터 최신 버전입니다.pip install dbt-fabric참고 항목
다음 지침으로
pip install dbt-fabric을(를)pip install dbt-synapse(으)로 변경하여 Synapse 전용 SQL 풀용 dbt 어댑터를 설치할 수 있습니다.다음
pip list명령을 사용하여 dbt-fabric 및 해당 종속성이 설치되어 있는지 확인합니다.pip list이 명령에서 패키지 및 현재 버전의 긴 목록을 반환해야 합니다.
아직 Warehouse가 없는 경우 Warehouse 만들기를 수행합니다. Microsoft Fabric 평가판에 등록하고, 작업 영역을 만든 다음, 웨어하우스를 만드는 이 연습의 평가판 용량을 사용할 수 있습니다.
dbt-fabric 어댑터 시작
이 자습서에서는 Visual Studio Code를 사용하지만, 원하는 어떤 코드 편집기도 사용 가능합니다.
jaffle_shop 데모 dbt 프로젝트를 컴퓨터에 복제하세요.
- Visual Studio Code의 기본 제공 소스 제어를 사용하여 리포지토리를 복제할 수 있습니다.
- 또는, 예를 들어
git clone명령을 사용할 수 있습니다.
git clone https://github.com/dbt-labs/jaffle_shop.gitVisual Studio Code에서
jaffle_shop프로젝트 폴더를 엽니다.
웨어하우스를 이미 만든 경우 등록을 건너뛸 수 있습니다.
profiles.yml파일을 만듭니다.profiles.yml에 다음 구성을 추가합니다. 이 파일은 dbt-fabric 어댑터를 사용하여 Microsoft Fabric의 웨어하우스에 대한 연결을 구성합니다.config: partial_parse: true jaffle_shop: target: fabric-dev outputs: fabric-dev: authentication: CLI database: <put the database name here> driver: ODBC Driver 18 for SQL Server host: <enter your SQL analytics endpoint here> schema: dbo threads: 4 type: fabric참고 항목
원하는 경우 데이터베이스 어댑터를 Azure Synapse Analytics로 전환하도록
type을(를)fabric에서synapse(으)로 변경합니다. 데이터베이스 어댑터를 변경하여 기존 dbt 프로젝트의 데이터 플랫폼을 업데이트할 수 있습니다. 자세한 내용은 지원되는 데이터 플랫폼 dbt 목록을 참조하세요.Visual Studio Code 터미널에서 Azure에 자신을 인증합니다.
- Azure CLI 인증을 사용하는 경우 Visual Studio Code 터미널에서
az login을(를) 실행합니다. - Microsoft Fabric의 서비스 주체 또는 기타 Microsoft Entra ID(이전의 Azure Active Directory) 인증은 dbt(데이터 빌드 도구) 설정 및 dbt 리소스 구성을 참조하세요. 자세한 내용은 Microsoft Fabric의 SQL 인증의 대안으로서 Microsoft Entra 인증을 참조하세요.
- Azure CLI 인증을 사용하는 경우 Visual Studio Code 터미널에서
이제 연결을 테스트할 준비가 되었습니다. 웨어하우스에 대한 연결을 테스트하려면 Visual Studio Code 터미널에서
dbt debug을(를) 실행합니다.dbt debug
모든 검사가 통과되므로
jaffle_shopdbt 프로젝트에서 dbt-fabric 어댑터를 사용하여 웨어하우스를 연결할 수 있습니다.이제 어댑터가 작동하는지 여부를 테스트해야 합니다. 먼저
dbt seed을(를) 실행하여 샘플 데이터를 웨어하우스에 삽입합니다.
dbt run을(를) 실행하여 일부 테스트에 대한 데이터의 유효성을 검사합니다.dbt run
데모 dbt 프로젝트에 정의된 모델을 실행하려면
dbt test을(를) 실행합니다.dbt test
이제 패브릭 데이터 웨어하우스에 dbt 프로젝트를 배포했습니다.
다른 웨어하우스 간 이동
여러 웨어하우스 간에 dbt 프로젝트를 이동하는 것은 간단합니다. 지원되는 모든 웨어하우스의 dbt 프로젝트를 다음 세 단계 프로세스로 신속하게 마이그레이션할 수 있습니다.
새 어댑터 설치 자세한 내용 및 전체 설치 지침은 dbt 어댑터를 참조하세요.
profiles.yml파일의type속성을 업데이트합니다.프로젝트를 빌드합니다.
Fabric Data Factory의 dbt
인기 있는 워크플로 관리 시스템인 Apache Airflow와 통합되면 dbt는 데이터 변환을 오케스트레이션하기 위한 강력한 도구가 됩니다. Airflow의 일정 및 작업 관리 기능을 통해 데이터 팀은 dbt 실행을 자동화할 수 있습니다. 정기적인 데이터 업데이트를 보장하고 분석 및 보고를 위해 고품질 데이터의 일관된 흐름을 유지 관리합니다. 이 결합된 접근 방식은 Airflow의 워크플로 관리와 함께 dbt의 변환 전문 지식을 사용하여 효율적이고 강력한 데이터 파이프라인을 제공하여 궁극적으로 더 빠르고 통찰력 있는 데이터 기반 의사 결정으로 이어집니다.
Apache Airflow는 복잡한 데이터 워크플로를 프로그래밍 방식으로 만들기, 예약 및 모니터링하는 데 사용되는 오픈 소스 플랫폼입니다. 이를 통해 데이터 파이프라인을 나타내기 위해 DAG(방향성 비순환 그래프)로 결합할 수 있는 연산자라고 하는 일련의 작업을 정의할 수 있습니다.
웨어하우스에서 dbt를 운영하는 방법에 대한 자세한 내용은 Microsoft Fabric의 Data Factory에서 dbt를 사용하여 데이터 변환을 참조하세요.
고려 사항
dbt-fabric 어댑터를 사용할 때 고려해야 할 중요한 사항:
Fabric은 사용자 주체, 사용자 신원 및 서비스 주체에 대한 Microsoft Entra ID(구 Azure Active Directory) 인증을 지원합니다. 웨어하우스에서 대화형으로 작업하는 데 권장되는 인증 모드는 CLI(명령줄 인터페이스)이며 자동화에 서비스 주체를 사용합니다.
패브릭 데이터 웨어하우스에서 지원되지 않는 T-SQL(Transact-SQL) 명령을 검토합니다 .
일부 T-SQL 명령은 dbt-fabric adapter using
Create Table as Select(CTAS),DROP및CREATE명령(예:ALTER TABLE ADD/ALTER/DROP COLUMN,MERGE,TRUNCATE,sp_rename)에서 지원됩니다.지원되지 않는 데이터 형식을 검토하여 지원되는 데이터 형식 및 지원되지 않는 데이터 형식에 대해 알아봅니다.
문제 · Microsoft / dbt-fabric · GitHub를 방문하여 GitHub의 dbt-fabric 어댑터에 문제를 기록할 수 있습니다.