CI/CD 및 Git 통합 지원을 포함하는 데이터 흐름 Gen2(미리 보기)

아티클
12/14/2024

이제 Dataflow Gen2는 CI/CD(연속 통합/지속적인 배포) 및 Git 통합을 지원합니다. 이 기능을 사용하면 패브릭 작업 영역에 연결된 Git 리포지토리에서 데이터 흐름을 만들고, 편집하고, 관리할 수 있습니다. 또한 배포 파이프라인 기능을 사용하여 작업 영역에서 다른 작업 영역으로의 데이터 흐름 배포를 자동화할 수 있습니다. 이 문서에서는 Fabric Data Factory에서 CI/CD 및 Git 통합과 함께 Dataflow Gen2를 사용하는 방법을 자세히 설명합니다.

메모

릴리스의 품질을 보장하고 기존 작업에 영향을 주지 않도록 CI/CD 및 Git 통합 지원 릴리스가 1월로 다시 예약되었습니다. 불편을 끼쳐 드려 죄송합니다.

새로운 기능

이제 데이터 흐름 Gen2(CI/CD 미리 보기)를 사용하여 다음을 수행할 수 있습니다.

Dataflow Gen2에 Git 통합 지원을 사용합니다.
배포 파이프라인 기능을 사용하여 작업 영역에서 다른 작업 영역으로의 데이터 흐름 배포를 자동화합니다.
패브릭 설정 및 스케줄러를 사용하여 Dataflow Gen2에 대한 설정을 새로 고치고 편집합니다.
Dataflow Gen2를 작업 영역 폴더에 직접 만듭니다.

필수 조건

시작하려면 먼저 다음 필수 조건을 완료해야 합니다.

활성 구독이 있는 Microsoft Fabric 테넌트 계정이 있어야 합니다. 무료로 계정을 만듭니다.
Microsoft Fabric 사용 작업 영역이 있는지 확인합니다.
Git 통합을 사용하려면 작업 영역에 대해 사용하도록 설정되어 있는지 확인합니다. Git 통합을 사용하도록 설정하는 방법에 대해 자세히 알아보려면 Git 통합 시작으로 이동하세요.

CI/CD 및 Git 지원을 사용하여 Dataflow Gen2 만들기

CI/CD 및 Git 지원을 사용하여 Dataflow Gen2를 만들려면 다음 단계를 수행합니다.

패브릭 작업 영역에서 새 항목 만들기를 선택한 다음, Dataflow Gen2를 선택합니다.
데이터 흐름에 이름을 지정하고 Git 통합을 사용하도록 설정합니다. 그런 다음 만들기를 선택합니다.

데이터 흐름이 만들어지고 데이터 흐름 작성 캔버스로 리디렉션됩니다. 이제 데이터 흐름 만들기를 시작할 수 있습니다.
완료되면 저장을 선택하고 실행합니다.
게시한 후 데이터 흐름은 커밋되지 않은 상태가 됩니다.
데이터 흐름을 Git 리포지토리에 커밋하려면 작업 영역 보기의 오른쪽 위 모서리에 있는 소스 제어 아이콘을 선택합니다.
커밋하려는 모든 변경 내용을 선택한 다음 커밋을 선택합니다.

이제 CI/CD 및 Git을 지원하는 Dataflow Gen2가 있습니다. 시나리오 2 - 다른 작업 영역 자습서를 사용하여 개발에서 설명한 패브릭의 CI/CD 및 Git 통합 작업에 대한 모범 사례를 따르는 것이 좋습니다.

Dataflow Gen2 새로 고침 또는 새로 고침 예약

수동으로 또는 새로 고침을 예약하여 CI/CD 및 Git 지원을 사용하여 Dataflow Gen2를 새로 고칠 수 있습니다. 다음 섹션에서는 CI/CD 및 Git 지원을 사용하여 Dataflow Gen2를 새로 고치는 방법을 설명합니다.

지금 새로 고침

패브릭 작업 영역에서 새로 고치려는 데이터 흐름 옆에 있는 더 많은 옵션 줄임표 아이콘을 선택합니다.
지금 새로 고침을 선택합니다.

새로 고침 예약

데이터 흐름을 정기적으로 새로 고쳐야 하는 경우 패브릭 스케줄러를 사용하여 새로 고침을 예약할 수 있습니다.

패브릭 작업 영역에서 새로 고치려는 데이터 흐름 옆에 있는 더 많은 옵션 줄임표 아이콘을 선택합니다.
일정을 선택합니다.
일정 페이지에서 새로 고침 빈도와 시작 시간 및 종료 시간을 설정할 수 있으며, 그 후에는 변경 내용을 적용할 수 있습니다.
지금 새로 고침을 시작하려면 새로 고침 단추를 선택합니다.

새로 고침 기록 및 설정

데이터 흐름의 새로 고침 기록을 보려면 드롭다운 메뉴에서 새로 고침 기록 탭을 선택하거나 모니터 허브로 이동하여 새로 고침 기록을 보려는 데이터 흐름을 선택할 수 있습니다.

CI/CD를 사용하여 Dataflow Gen2에 대한 설정

CI/CD 및 Git 지원을 사용하여 새 Dataflow Gen2의 설정에 액세스하는 것은 다른 패브릭 항목과 비슷합니다. 데이터 흐름 옆에 있는 더 많은 옵션 줄임표 아이콘을 선택하고 설정을 선택하여 설정에 액세스할 수 있습니다.

제한 사항 및 알려진 문제

CI/CD 및 Git 지원을 사용하는 Dataflow Gen2는 엔터프라이즈 준비 협업을 위한 강력한 기능 집합을 제공하지만, 이를 위해서는 패브릭 아키텍처에 대한 백 엔드를 다시 빌드해야 했습니다. 즉, 일부 기능을 아직 사용할 수 없거나 제한 사항이 있습니다. 환경을 개선하기 위해 적극적으로 노력하고 있으며 새로운 기능이 추가됨에 따라 이 문서를 업데이트할 예정입니다.

스테이징 아티팩트가 ALM UI와 같이 표시되는 일부 환경에 있습니다. 스테이징 아티팩트가 향후 모든 환경에서 숨겨집니다.
CI/CD 및 Git 지원을 사용하여 마지막 Dataflow Gen2를 삭제하면 스테이징 아티팩트가 작업 영역에 표시되고 사용자가 안전하게 삭제할 수 있습니다.
일부 환경에서는 REST API에 대한 지원을 언급하지만 이러한 API는 아직 사용할 수 없습니다. CI/CD 및 Git 지원을 사용하는 모든 Dataflow Gen2는 향후 패브릭 공용 API를 지원합니다.
패브릭 데이터 파이프라인에서는 CI/CD 및 Git 지원을 사용하여 Dataflow Gen2의 새로 고침을 오케스트레이션할 수 없습니다.
데이터 흐름에 대한 새로 고침이 진행 중인지는 작업 영역 보기에 표시되지 않습니다.
CI/CD 및 Git 지원을 포함하는 Dataflow Gen2에 대한 부조종사 기능은 아직 사용할 수 없습니다.
VNet 게이트웨이 연결은 데이터 흐름 작성 환경에서 아직 지원되지 않습니다.
작업 영역 메뉴에서 Dataflow.json 내보낼 수 없습니다. 데이터 흐름을 내보낼 수 있는 해결 방법은 다음과 같습니다.
- 패브릭 공용 API를 사용하여 Dataflow.json 가져옵니다.
- 파워 쿼리 템플릿 내보내기 기능을 사용하여 데이터 흐름 정의를 내보냅니다.
- 작업 영역에 대한 OneLake 탐색기를 사용하여 데이터 흐름 정의를 가져옵니다.
CI/CD 및 Git 지원을 포함하는 데이터 흐름 Gen2는 패브릭 작업 영역에서 소유권 가져오기 기능을 지원하지 않습니다. 따라서 데이터 흐름의 작성자만 데이터 흐름을 편집할 수 있습니다. 데이터 흐름에서 함께 작업하려면 Git 리포지토리에서 분기를 사용하고 끌어오기 요청을 만들어 변경 내용을 병합할 수 있습니다. 자세한 내용은 시나리오 2 - 다른 작업 영역을 사용하여 개발로 이동합니다.
다른 작업 영역으로 분기할 때 스테이징 레이크하우스를 찾을 수 없다는 메시지와 함께 Dataflow Gen2 새로 고침이 실패할 수 있습니다. 이 경우 작업 영역에서 CI/CD 및 Git 지원을 사용하여 새 Dataflow Gen2를 만들어 스테이징 레이크하우스 만들기를 트리거합니다. 그런 다음 작업 영역의 다른 모든 데이터 흐름이 다시 작동하기 시작해야 합니다.
작업 영역에서 새 항목을 만들 때 "Dataflow Gen2(CI/CD, 미리 보기)" 항목이 표시될 수 있습니다. 이 문서를 무시하고 이 문서에 설명된 지침을 따릅니다. 지역에 CI/CD 및 Git 지원을 사용하도록 설정하기 위한 확인란이 표시될 때까지 다소 시간이 걸릴 수 있습니다.
빠른 복사는 데이터 흐름에서 기본적으로 사용하도록 설정되지 않을 수 있습니다. 데이터 흐름 설정을 사용하여 사용하도록 설정할 수 있습니다.
온-프레미스 데이터 게이트웨이를 사용하는 연결은 현재 데이터 흐름 새로 고침에서 문제를 일으키고 있습니다. 온-프레미스 데이터 원본의 데이터를 패브릭으로 가져오기 위해 다른 방법을 사용하는 것이 좋습니다.

우리는 CI/CD 및 Git 지원을 통해 Dataflow Gen2를 지속적으로 개선하기 위해 최선을 다하고 있으며, 이러한 향상된 기능을 위해 노력하면서 여러분의 인내심을 높이 평가합니다.

다음을 통해 공유