Microsoft Fabric의 Data Factory에 대한 새로운 기능 및 계획된 기능
Important
릴리스 계획은 아직 릴리스되었거나 릴리스되지 않았을 수 있는 기능을 설명합니다. 배달 타임라인 및 예상 기능이 변경되거나 배송되지 않을 수 있습니다. 자세한 내용은 Microsoft 정책을 참조하세요.
Microsoft Fabric의 Data Factory는 시민 데이터 통합 및 프로 데이터 통합 기능을 단일 최신 데이터 통합 환경으로 결합합니다. 100개 이상의 관계형 및 비관계형 데이터베이스, 레이크하우스, 데이터 웨어하우스, REST API, OData 등의 일반 인터페이스에 대한 연결을 제공합니다.
데이터 흐름: Dataflow Gen2를 사용하면 대규모 데이터 변환을 수행할 수 있으며 Azure SQL Database, Lakehouse, Data Warehouse 등에 쓰는 다양한 출력 대상을 지원합니다. 데이터 흐름 편집기에서는 AI 기반 옵션을 포함하여 300개 이상의 변환을 제공하며 다른 도구보다 더 나은 유연성으로 데이터를 쉽게 변환할 수 있습니다. 웹 페이지와 같은 구조화되지 않은 데이터 원본에서 데이터를 추출하거나 파워 쿼리 편집기에서 기존 테이블을 재구성하는 경우 AI(인공 지능)를 사용하는 예제별 파워 쿼리의 데이터 추출을 쉽게 적용하고 프로세스를 간소화할 수 있습니다.
데이터 파이프라인: 데이터 파이프라인은 데이터 추출, 기본 설정 데이터 저장소로 로드, Notebook 실행, SQL 스크립트 실행 등과 같은 작업을 결합하는 다양한 데이터 오케스트레이션 워크플로를 만드는 기능을 제공합니다. 반복 작업을 자동화하는 강력한 메타데이터 기반 데이터 파이프라인을 신속하게 빌드할 수 있습니다. 예를 들어 데이터베이스의 여러 테이블에서 데이터를 로드 및 추출하고, Azure Blob Storage의 여러 컨테이너를 반복하는 등의 작업입니다. 또한 데이터 파이프라인을 사용하면 MGDC(Microsoft Graph 데이터 연결ion) 커넥터를 사용하여 Microsoft 365의 데이터에 액세스할 수 있습니다.
복사 작업: 복사 작업은 간소화되고 사용자 친화적인 프로세스로 데이터 수집 환경을 간소화하여 모든 원본에서 대상으로 페타바이트 규모로 데이터를 이동합니다. 일괄 처리 복사, 증분 복사 등 다양한 데이터 배달 스타일을 사용하여 데이터를 복사할 수 있습니다.
Apache Airflow 작업: Apache Airflow 작업은 차세대 Azure Data Factory 워크플로 오케스트레이션 관리자입니다. Apache Airflow 오케스트레이션 작업을 만들고 관리하는 간단하고 효율적인 방법이므로 DAG(Directed Acyclic Graphs)를 대규모로 쉽게 실행할 수 있습니다. Apache Airflow 작업을 통해 코드를 사용하여 다양한 데이터 원본 집합에서 데이터를 수집, 준비, 변환 및 오케스트레이션할 수 있는 최신 데이터 통합 환경을 사용할 수 있습니다.
데이터베이스 미러링: 패브릭의 데이터베이스 미러링(Database Mirroring)은 개방형 표준(예: Delta Lake 테이블 형식)으로 설계된 저렴한 대기 시간 솔루션입니다. 이를 통해 다양한 시스템에서 데이터 및 메타데이터를 신속하게 복제할 수 있습니다. 데이터베이스 미러링을 사용하여 분석을 위해 데이터 자산을 Microsoft Fabric OneLake에 지속적으로 복제할 수 있습니다. 고도로 통합되고 사용하기 쉬운 환경을 통해 이제 분석 요구 사항을 시작하는 방법을 간소화할 수 있습니다.
자세히 알아보려면 설명서를 참조하세요.
투자 영역
향후 몇 개월 동안 Microsoft Fabric의 Data Factory는 연결 옵션을 확장하고 다양한 변환 및 데이터 파이프라인 활동 라이브러리에 계속 추가할 예정입니다. 또한 운영 데이터베이스에서 실시간 고성능 데이터 복제를 수행하고 분석을 위해 이 데이터를 레이크로 가져올 수 있습니다.
데이터 흐름 Gen2 CI/CD 및 공용 API 지원
예상 릴리스 타임라인: 2024년 4분기
릴리스 유형: 공개 미리 보기
Dataflow Gen2 기능은 다음과 같은 패브릭 기능을 지원하도록 향상됩니다.
- ALM 배포 파이프라인에 Dataflow Gen2 항목을 포함할 수 있습니다.
- 소스 제어(Git 통합) 기능을 사용하여 Dataflow Gen2 항목을 활용할 수 있습니다.
- Dataflow Gen2 항목에 대한 공용 CRUDLE API입니다.
이러한 기능은 많은 고객의 요청이 많으며 미리 보기 기능으로 사용할 수 있게 되어 기쁩니다.
의미 체계 모델 새로 고침 테이블 및 파티션
예상 릴리스 타임라인: 2024년 4분기
릴리스 유형: 공개 미리 보기
파이프라인 사용자는 매우 인기 있는 의미 체계 모델 새로 고침 파이프라인 활동에 대해 매우 기쁘게 생각하고 있습니다. 일반적인 요청은 모델에서 특정 테이블 및 파티션을 새로 고쳐 ELT 처리 파이프라인을 개선하는 것이었습니다. 이제 이 기능을 사용하도록 설정하여 파이프라인 작업을 패브릭 의미 체계 모델을 새로 고치는 가장 효과적인 방법입니다.
Fabric Data Factory 파이프라인 가져오기 및 내보내기
예상 릴리스 타임라인: 2024년 4분기
릴리스 유형: 일반 공급
Data Factory 파이프라인 개발자는 파이프라인 정의를 내보내 다른 개발자와 공유하거나 다른 작업 영역에서 다시 사용하려고 합니다. 이제 Fabric 작업 영역에서 Data Factory 파이프라인을 내보내고 가져오는 기능을 추가했습니다. 이 강력한 기능은 더 많은 공동 작업을 가능하게 하며 지원 팀과 함께 파이프라인 문제를 해결할 때 매우 중요합니다.
Data Factory에 대한 부조종사(데이터 파이프라인)
예상 릴리스 타임라인: 2024년 4분기
릴리스 유형: 공개 미리 보기
Data Factory용 부조종사(데이터 파이프라인)는 고객이 자연어를 사용하여 데이터 파이프라인을 빌드할 수 있도록 하고 문제 해결 지침을 제공합니다.
Azure SQL DB용 미러링
예상 릴리스 타임라인: 2024년 4분기
릴리스 유형: 일반 공급
미러링을 사용하면 기존 Azure SQL DB 데이터를 Microsoft Fabric의 나머지 데이터와 통합할 수 있는 원활한 NO-ETL 환경을 제공합니다. 트랜잭션 워크로드의 성능에 영향을 주지 않고 Azure SQL DB 데이터를 거의 실시간으로 Fabric OneLake에 직접 복제할 수 있습니다.
Microsoft Fabric의 미러링에 대해 자세히 알아보기
미러링 열기
예상 릴리스 타임라인: 2024년 4분기
릴리스 유형: 공개 미리 보기
오픈 미러링(Open Mirroring)은 모든 애플리케이션 또는 데이터 공급자가 최소한의 노력으로 OneLake로 직접 데이터 자산을 가져올 수 있도록 하여 패브릭의 확장성을 향상시키는 강력한 기능입니다. 데이터 공급자와 애플리케이션이 패브릭 내의 미러된 데이터베이스에 직접 변경 데이터를 쓸 수 있도록 함으로써 Open Mirroring은 복잡한 데이터 변경 처리를 간소화하여 미러된 모든 데이터가 지속적으로 최신 상태이고 분석할 준비가 되도록 합니다.
데이터 파이프라인 공용 API SPN 지원
예상 릴리스 타임라인: 2024년 4분기
릴리스 유형: 공개 미리 보기
패브릭에서 파이프라인 REST API를 훨씬 쉽고 안전하게 사용할 수 있도록 공용 API에 대한 SPN(서비스 주체) 지원을 사용하도록 설정합니다.
패브릭 작업 영역 변수에 대한 데이터 파이프라인 지원
예상 릴리스 타임라인: 2024년 4분기
릴리스 유형: 공개 미리 보기
Fabric Data Factory 파이프라인 환경에서 CICD를 구현하는 경우 개발에서 테스트로 값을 업데이트하는 것이 매우 중요합니다. 패브릭 내에서 변수를 사용하면 환경 간에 값을 바꾸고 ADF의 전역 매개 변수와 유사한 파이프라인 간에 값을 공유할 수도 있습니다.
온-프레미스 데이터 게이트웨이 자동 업데이트
예상 릴리스 타임라인: 2025년 1분기
릴리스 유형: 공개 미리 보기
온-프레미스 데이터 게이트웨이 자동 업그레이드 기능을 사용하면 게이트웨이가 항상 최신 버전을 실행하여 수동 개입 없이 향상된 기능, 보안 업데이트 및 새로운 기능을 제공합니다. 이 기능은 업데이트가 사용 가능해지면 자동으로 다운로드하고 설치하여 게이트웨이 관리를 간소화합니다.
VNET 게이트웨이에 대한 데이터 파이프라인 지원
예상 릴리스 타임라인: 2025년 1분기
릴리스 유형: 공개 미리 보기
VNET 데이터 게이트웨이는 파이프라인 복사 작업 및 기타 파이프라인 활동을 포함하여 패브릭 데이터 파이프라인을 지원합니다. 고객은 VNET 데이터 게이트웨이를 통해 파이프라인의 데이터 원본에 안전하게 연결할 수 있습니다.
Dataflow Gen2 SharePoint 파일에 대한 출력 대상
예상 릴리스 타임라인: 2025년 1분기
릴리스 유형: 공개 미리 보기
Dataflow Gen 2를 사용하여 데이터를 정리하고 준비한 후 이 기능을 사용하면 SharePoint 파일을 데이터 대상으로 선택할 수 있습니다. 이 기능을 사용하면 변환된 데이터를 CSV 파일로 쉽게 내보내고 Microsoft SharePoint에 저장하여 사이트에 대한 사용 권한이 있는 모든 사용자가 사용할 수 있도록 할 수 있습니다.
연속 창 트리거에 대한 데이터 파이프라인 지원
예상 릴리스 타임라인: 2025년 1분기
릴리스 유형: 공개 미리 보기
파이프라인 예약은 겹치지 않고 "재생"될 수 있는 시간 창을 사용하여 실행되며 많은 ADF 사용자가 사용해 본 파이프라인에서 매우 중요한 기능입니다. 이 연속 창 기능을 Fabric Data Factory로 파이프라인 예약으로 가져오게 되어 매우 기쁩니다.
Azure Data Factory 항목
예상 릴리스 타임라인: 2025년 1분기
릴리스 유형: 일반 공급
Fabric에서 Azure Data Factory 항목의 일반 공급에 대해 발표하게 되어 매우 기쁩니다. 이 새로운 기능을 사용하면 기존 ADF 사용자가 Azure의 데이터 팩터리를 패브릭 작업 영역에서 빠르고 쉽게 사용할 수 있습니다. 이제 Fabric에서 직접 ADF 파이프라인을 관리, 편집 및 호출할 수 있습니다.
추가 원본에 대한 데이터 파이프라인 복사 작업 지원
예상 릴리스 타임라인: 2025년 1분기
릴리스 유형: 일반 공급
복사 작업 더 많은 원본 커넥터에 대한 지원을 확대하여 고객이 Teradata, Spark, Azure databricks delta lake, HubSpot, Cassandra, Salesforce Service Cloud, Oracle(번들) 등 다양한 원본에서 데이터를 원활하게 복사할 수 있도록 하고 있습니다.
데이터 흐름 Gen 2 병렬 실행
예상 릴리스 타임라인: 2025년 1분기
릴리스 유형: 공개 미리 보기
"사용자는 Dataflow Gen2 변환의 논리를 정의하고 다른 인수로 실행을 병렬화하는 유연한 방법을 원합니다. 현재는 여러 인수와 함께 다시 사용할 수 있는 논리를 갖기 위해 단일 데이터 흐름 내에 여러 데이터 흐름 또는 여러 쿼리를 만들어야 합니다.
이 향상된 기능의 일환으로 사용자가 매개 변수 값 목록 역할을 하는 독립 실행형 쿼리에서 구동되는 전체 데이터 흐름 항목에 대해 "foreach"" 루프를 설정하여 병렬화되고 동적 실행을 위해 컨테이너화된 접근 방식을 반복하고 구동할 수 있습니다."
데이터 원본 ID 관리(Azure Key Vault)
예상 릴리스 타임라인: 2025년 1분기
릴리스 유형: 공개 미리 보기
Azure Key Vault 지원 - 키와 비밀을 Azure Key Vault에 저장하고 연결할 수 있습니다. 이렇게 하면 키를 한 곳에서 관리할 수 있습니다.
CosmosDB용 미러링
예상 릴리스 타임라인: 2025년 1분기
릴리스 유형: 일반 공급
미러링에서는 기존 Azure Cosmos DB 데이터를 Microsoft Fabric의 나머지 데이터와 통합하는 원활한 ETL 없음 환경을 제공합니다. 트랜잭션 워크로드의 성능에 영향을 주지 않고 Azure Cosmos DB 데이터를 거의 실시간으로 Fabric OneLake에 직접 복제할 수 있습니다.
데이터 흐름 Gen2 CI/CD 및 공용 API 지원
예상 릴리스 타임라인: 2025년 1분기
릴리스 유형: 일반 공급
데이터 흐름 Gen2 항목은 원본 제어(Git 통합) 및 ALM 배포 파이프라인을 포함하여 패브릭의 CI/CD 기능을 지원합니다. 또한 고객은 Fabric REST API를 통해 패브릭의 Dataflow Gen2 항목과 프로그래밍 방식으로 상호 작용하여 Dataflow Gen2 항목에 대한 CRUDLE 작업을 지원할 수 있습니다.
Dataflow Gen2 공용 API SPN 지원
예상 릴리스 타임라인: 2025년 1분기
릴리스 유형: 공개 미리 보기
데이터 흐름 Gen2 항목은 서비스 주체 인증을 지원하는 패브릭 REST API를 통해 지원됩니다.
데이터 흐름 Gen2 증분 새로 고침
예상 릴리스 타임라인: 2025년 1분기
릴리스 유형: 일반 공급
2024년 9월 말, Dataflow Gen2 증분 새로 고침을 공개 미리 보기 기능으로 릴리스했습니다. Q1CY2025 종료될 예정인 일반 공급으로 이어지는 고객 피드백을 지속적으로 모니터링하고 이 기능을 향상할 것입니다.
Lakehouse 대상에 대한 데이터 흐름 Gen2 증분 새로 고침 지원
예상 릴리스 타임라인: 2025년 1분기
릴리스 유형: 공개 미리 보기
Dataflow Gen2 증분 새로 고침은 datetime 파티션 열을 기반으로 데이터 흐름의 데이터 원본에서 변경된 최신 데이터만 검색하기 위해 데이터 흐름 실행을 최적화합니다. 이렇게 하면 다운스트림 변환을 위해 데이터를 OneLake에 증분 로드하거나 데이터 흐름 출력 대상으로 출력할 수 있습니다.
이 향상된 기능의 일환으로 증분 새로 고침을 직접 지원하여 데이터를 Fabric Lakehouse 테이블에 직접 출력합니다.
데이터 흐름 Gen2 매개 변수화
예상 릴리스 타임라인: 2025년 1분기
릴리스 유형: 공개 미리 보기
사용자는 파이프라인의 다양한 활동에 변수 또는 매개 변수를 삽입할 수 있는 메타데이터 기반 파이프라인을 실행하는 데 익숙하므로 보다 동적으로 작업을 실행합니다. 한 번 만들고 여러 번 다시 사용합니다.
이 향상된 기능의 일환으로 패브릭의 데이터 파이프라인을 통해 실행되는 데이터 흐름에 기존 데이터 흐름 매개 변수에 대한 매개 변수 값을 제공할 수 있도록 합니다.
다른 이름으로 저장 새 항목에 대한 Dataflow Gen2 지원
예상 릴리스 타임라인: 2025년 1분기
릴리스 유형: 공개 미리 보기
고객은 종종 기존 데이터 흐름을 새 데이터 흐름으로 다시 만들려고 합니다. 이 작업을 수행하려면 새 Dataflow Gen2 항목을 처음부터 만들고 기존 쿼리를 복사하여 붙여넣거나 파워 쿼리 내보내기/가져오기 템플릿 기능을 활용해야 합니다. 그러나 불필요한 단계로 인해 불편할 뿐만 아니라 예약된 새로 고침 및 기타 항목 속성(이름, 설명, 민감도 레이블 등)과 같은 추가 데이터 흐름 설정도 수행하지 않습니다.
이 향상된 기능의 일환으로 Dataflow Gen2 편집 환경 내에서 빠른 ""다른 이름으로 저장" 제스처를 제공하여 사용자가 기존 데이터 흐름을 새 데이터 흐름으로 저장할 수 있도록 합니다.
다른 이름으로 저장 데이터 흐름 Gen2 새 항목에 대한 Dataflow Gen1 지원
예상 릴리스 타임라인: 2025년 1분기
릴리스 유형: 공개 미리 보기
고객은 기존 Dataflow Gen1 항목을 새 Dataflow Gen2 항목으로 다시 만들려는 경우가 많습니다. 이 작업을 수행하려면 새 Dataflow Gen2 항목을 처음부터 만들고 기존 쿼리를 복사하여 붙여넣거나 파워 쿼리 내보내기/가져오기 템플릿 기능을 활용해야 합니다. 그러나 불필요한 단계로 인해 불편할 뿐만 아니라 예약된 새로 고침 및 기타 항목 속성(이름, 설명, 민감도 레이블 등)과 같은 추가 데이터 흐름 설정도 수행하지 않습니다.
이 향상된 기능의 일환으로 Dataflow Gen1 편집 환경 내에서 빠른 ""다른 이름으로 저장" 제스처를 제공하여 사용자가 기존 Dataflow Gen1 항목을 새 Dataflow Gen2 항목으로 저장할 수 있도록 합니다.
복사 작업 - 사용자가 워터마크 열을 지정할 필요 없이 증분 복사
예상 릴리스 타임라인: 2025년 1분기
릴리스 유형: 공개 미리 보기
키 커넥터에 대한 복사 작업에서 네이티브 CDC(변경 데이터 캡처) 기능을 소개합니다. 즉, 증분 복사는 변경 내용을 자동으로 검색하므로 고객이 증분 열을 지정할 필요가 없습니다.
작업 복사
예상 릴리스 타임라인: 2025년 1분기
릴리스 유형: 일반 공급
Data Factory의 복사 작업은 데이터 수집 환경을 모든 원본에서 대상으로 보다 간소화되고 사용자 친화적인 프로세스로 승격합니다. 이제 데이터를 복사하는 것이 그 어느 때보다 쉬워졌습니다. 복사 작업은 일괄 복사 및 증분 복사를 비롯한 다양한 데이터 배달 스타일을 지원하여 특정 요구 사항을 충족할 수 있는 유연성을 제공합니다.
복사 작업 CI/CD 지원
예상 릴리스 타임라인: 2025년 1분기
릴리스 유형: 공개 미리 보기
복사 작업 항목은 원본 제어(Git 통합) 및 ALM 배포 파이프라인을 비롯한 패브릭의 CI/CD 기능을 지원합니다.
복사 작업 공용 API 지원
예상 릴리스 타임라인: 2025년 1분기
릴리스 유형: 공개 미리 보기
고객은 패브릭 공용 API를 통해 패브릭의 복사 작업 항목과 프로그래밍 방식으로 상호 작용하여 작업 항목 복사에 대한 CRUDLE 작업을 지원할 수 있습니다.
추가 빠른 복사 원본에 대한 데이터 흐름 Gen2 지원
예상 릴리스 타임라인: 2025년 1분기
릴리스 유형: 공개 미리 보기
더 많은 원본 커넥터를 지원하도록 Dataflow Gen2의 빠른 복사를 확장하여 고객이 더 높은 성능으로 데이터를 로드할 수 있도록 합니다. 새로운 커넥터에는 패브릭 레이크하우스 파일, Google BigQuery, Amazon Redshift 등이 포함되므로 더 빠르고 효율적인 데이터 통합이 가능합니다.
추가 원본에 대한 복사 작업 지원
예상 릴리스 타임라인: 2025년 1분기
릴리스 유형: 공개 미리 보기
복사 작업에서 더 많은 원본 커넥터에 대한 지원을 확장하여 고객이 광범위한 원본에서 데이터를 원활하게 복사할 수 있도록 하고 있습니다. 동시에 전체 복사 및 증분 복사본을 포함하여 다양한 복사 패턴을 제공하면서 간소화된 환경을 유지합니다.
OneLake 스토리지 이벤트 트리거에 대한 데이터 파이프라인 지원
예상 릴리스 타임라인: 2025년 1분기
릴리스 유형: 공개 미리 보기
Fabric Data Factory에서 파이프라인을 호출하는 데 사용되는 인기 있는 메커니즘은 파일 트리거를 사용하는 것입니다. Blob 저장소 또는 ADLS Gen2에 대해 파일 이벤트(즉, 파일 도착, 파일 삭제 ...)가 검색되면 Fabric Data Factory 파이프라인이 호출됩니다. 이제 Fabric의 트리거 이벤트 형식에 OneLake 파일 이벤트를 추가했습니다.
고객이 연결을 매개 변수화할 수 있도록 설정
예상 릴리스 타임라인: 2025년 1분기
릴리스 유형: 공개 미리 보기
연결은 데이터 저장소에 대한 연결 및 인증을 정의하는 공통 프레임워크를 제공합니다. 이러한 연결은 여러 항목에서 공유할 수 있습니다. 매개 변수화 지원을 사용하면 복잡하고 재사용 가능한 파이프라인, Notebook, 데이터 흐름 및 기타 항목 유형을 빌드할 수 있습니다.
DBT에 대한 데이터 파이프라인 지원
예상 릴리스 타임라인: 2025년 1분기
릴리스 유형: 공개 미리 보기
DBT CLI 오케스트레이션(데이터 빌드 도구): 데이터 변환 워크플로에 대한 dbt(데이터 빌드 도구)를 통합합니다.
연결에서 사용자 할당 관리 ID 지원
예상 릴리스 타임라인: 2025년 2분기
릴리스 유형: 공개 미리 보기
연결에서 사용자 할당 관리 ID를 지원하기 위한 이러한 향상된 기능은 데이터 리소스에 액세스하기 위한 보다 안전하고 유연한 인증 방법을 제공하여 상당한 가치를 제공합니다. 하드코딩 자격 증명을 방지하고, 비밀을 회전할 필요가 없도록 하여 관리를 간소화하고, 보안 정책 준수를 보장하며, Azure 서비스와 원활하게 통합되며, 여러 인스턴스가 동일한 ID를 공유할 수 있도록 하여 연결에서 확장성을 지원합니다.
배송된 기능
패브릭의 Azure Data Factory
배송됨(2024년 3분기)
릴리스 유형: 공개 미리 보기
기존 ADF(Azure Data Factory)를 패브릭 작업 영역으로 가져옵니다. 패브릭 작업 영역에서 기존 ADF 팩터리에 연결할 수 있는 새로운 미리 보기 기능입니다.
이제 Fabric 작업 영역 UI에서 직접 ADF 팩터리를 완전히 관리할 수 있습니다. ADF가 패브릭 작업 영역에 연결되면 ADF에서와 마찬가지로 패브릭 내에서 직접 파이프라인을 트리거, 실행 및 모니터링할 수 있습니다.
작업 영역 간 데이터 파이프라인 호출 지원
배송됨(2024년 3분기)
릴리스 유형: 공개 미리 보기
파이프라인 작업 업데이트 호출: 파이프라인 호출 활동에 대한 몇 가지 새롭고 흥미로운 업데이트를 사용하도록 설정하고 있습니다. 압도적인 고객 및 커뮤니티 요청에 대응하여 작업 영역에서 데이터 파이프라인을 실행할 수 있습니다. 이제 실행할 수 있는 액세스 권한이 있는 다른 작업 영역에서 파이프라인을 호출할 수 있습니다. 이렇게 하면 작업 영역과 기능 팀 간에 데이터 엔지니어링 및 통합 팀의 협업을 활용할 수 있는 매우 흥미로운 데이터 워크플로 패턴을 사용할 수 있습니다.
데이터 파이프라인에 추가된 온-프레미스 OPDG(데이터 게이트웨이) 지원
배송됨(2024년 3분기)
릴리스 유형: 일반 공급
이 기능을 사용하면 데이터 파이프라인이 패브릭 데이터 게이트웨이를 사용하여 온-프레미스 및 가상 네트워크 뒤에 있는 데이터에 액세스할 수 있습니다. SHIR(자체 호스팅 통합 런타임)을 사용하는 사용자의 경우 Fabric의 온-프레미스 데이터 게이트웨이로 이동할 수 있습니다.
작업 복사
배송됨(2024년 3분기)
릴리스 유형: 공개 미리 보기
복사 작업은 데이터 흐름 또는 데이터 파이프라인을 만들지 않고도 데이터를 수집해야 하는 고객의 환경을 간소화합니다. 복사 작업은 데이터 원본에서 모든 데이터 대상으로의 전체 및 증분 복사를 지원합니다. 지금 프라이빗 미리 보기에 등록합니다.
Snowflake용 미러링
배송됨(2024년 3분기)
릴리스 유형: 일반 공급
미러링을 사용하면 기존 Snowflake 데이터를 Microsoft Fabric의 나머지 데이터와 통합할 수 있는 원활한 NO-ETL 환경을 제공합니다. 트랜잭션 워크로드의 성능에 영향을 주지 않고 Snowflake 데이터를 거의 실시간으로 Fabric OneLake에 직접 복제할 수 있습니다.
새로 고침 실패에 대한 향상된 메일 알림
배송됨(2024년 3분기)
릴리스 유형: 공개 미리 보기
이메일 알림을 사용하면 Dataflow Gen2 작성자가 데이터 흐름의 새로 고침 작업의 결과(성공/실패)를 모니터링할 수 있습니다.
Dataflow Gen2의 빠른 복사 지원
배송됨(2024년 3분기)
릴리스 유형: 일반 공급
파이프라인 복사 작업 기능을 활용하여 Dataflow Gen2 환경 내에서 직접 대규모 데이터 수집에 대한 지원을 추가하고 있습니다. 이 향상된 기능은 대규모 ELT(추출-부하 변환) 기능을 제공하는 Dataflow Gen2의 데이터 처리 용량을 크게 확장합니다.
Dataflow Gen2의 증분 새로 고침 지원
배송됨(2024년 3분기)
릴리스 유형: 공개 미리 보기
Dataflow Gen2에서 증분 새로 고침 지원을 추가하고 있습니다. 이 기능을 사용하면 데이터 원본에서 데이터를 증분 방식으로 추출하고, 파워 쿼리 변환을 적용하고, 다양한 출력 대상으로 로드할 수 있습니다.
데이터 원본 ID 관리(관리 ID)
배송됨(2024년 3분기)
릴리스 유형: 공개 미리 보기
이렇게 하면 관리 ID를 작업 영역 수준에서 구성할 수 있습니다. 패브릭 관리 ID를 사용하여 데이터 원본에 안전하게 연결할 수 있습니다.
Azure Databricks 작업에 대한 데이터 파이프라인 지원
배송됨(2024년 3분기)
릴리스 유형: 공개 미리 보기
이제 DLT 작업 실행과 같은 흥미로운 워크플로 기능을 가능하게 하는 최신 작업 API를 사용하도록 Data Factory 데이터 파이프라인 Azure Databricks 활동을 업데이트하고 있습니다.
Data Factory에 대한 부조종사(데이터 흐름)
배송됨(2024년 3분기)
릴리스 유형: 일반 공급
Data Factory(Data Factory)용 부조종사(Dataflow)를 사용하면 고객이 Dataflows Gen2를 사용하여 데이터 통합 솔루션을 만들 때 자연어를 사용하여 요구 사항을 표현할 수 있습니다.
SparkJobDefinition에 대한 데이터 파이프라인 지원
배송됨(2024년 2분기)
릴리스 유형: 일반 공급
이제 파이프라인 작업에서 직접 JAR 파일을 포함한 Spark 코드를 실행할 수 있습니다. Spark 코드를 가리키면 파이프라인이 Fabric의 Spark 클러스터에서 작업을 실행합니다. 이 새로운 활동을 통해 Spark 작업과 동일한 파이프라인에 Data Factory 제어 흐름 및 데이터 흐름 기능을 포함하면서 패브릭의 Spark 엔진의 기능을 활용하는 흥미로운 데이터 워크플로 패턴을 사용할 수 있습니다.
이벤트 기반 트리거에 대한 데이터 파이프라인 지원
배송됨(2024년 2분기)
릴리스 유형: 공개 미리 보기
Data Factory 데이터 파이프라인을 호출하는 일반적인 사용 사례는 파일 도착 및 파일 삭제와 같은 파일 이벤트 시 파이프라인을 트리거하는 것입니다. ADF 또는 Synapse에서 Fabric으로 들어오는 고객의 경우 ADLS/블로그 스토리지 이벤트를 사용하면 새 파이프라인 실행에 대한 신호를 받거나 생성된 파일의 이름을 캡처하는 방법으로 매우 일반적입니다. Fabric Data Factory의 트리거는 EventStreams 및 Reflex 트리거를 비롯한 패브릭 플랫폼 기능을 활용합니다. Fabric Data Factory 파이프라인 디자인 캔버스 내부에는 파이프라인에 대한 반사 트리거를 만들기 위해 누를 수 있는 트리거 단추가 있거나 데이터 활성화기 환경에서 직접 트리거를 만들 수 있습니다.
Dataflow Gen 2 출력 대상에 대한 스테이징 기본값
배송됨(2024년 2분기)
릴리스 유형: 공개 미리 보기
Dataflow Gen2는 광범위한 데이터 원본에서 Fabric OneLake로 데이터를 수집하는 기능을 제공합니다. 이 데이터를 준비하면 대규모 데이터 흐름 Gen2 엔진(Fabric Lakehouse/Warehouse SQL 컴퓨팅 기반)을 활용하여 대규모로 변환할 수 있습니다.
Dataflows Gen2의 기본 동작은 대규모 데이터 변환을 사용하도록 OneLake에서 데이터를 스테이징하는 것입니다. 이는 대규모 시나리오에 적합하지만 궁극적으로 데이터 흐름 출력 대상으로 로드되기 전에 데이터에 대한 추가 홉(스테이징)을 도입한다는 점을 감안하면 소량의 데이터가 수집되는 시나리오에서도 잘 작동하지 않습니다.
계획된 향상된 기능을 사용하여 스테이징이 필요하지 않은 출력 대상(즉, Fabric Lakehouse 및 Azure SQL Database)이 있는 쿼리에 대해 기본 스테이징 동작을 사용하지 않도록 설정하도록 미세 조정합니다.
쿼리 설정 창 또는 쿼리 창의 쿼리 상황에 맞는 메뉴를 통해 쿼리별로 스테이징 동작을 수동으로 구성할 수 있습니다.
Azure HDInsight에 대한 데이터 파이프라인 지원
배송됨(2024년 2분기)
릴리스 유형: 일반 공급
HDInsight는 개발자가 클라우드에서 매우 강력한 빅 데이터 솔루션을 빌드할 수 있도록 하는 Hadoop용 Azure PaaS 서비스입니다. 새 HDI 파이프라인 작업을 사용하면 ADF 및 Synapse 파이프라인에서 수년 동안 보관해 온 기존 funcationality와 유사하게 Data Factory 데이터 파이프라인 내에서 HDInsights 작업 작업을 수행할 수 있습니다. 이제 이 기능을 패브릭 데이터 파이프라인으로 직접 가져왔습니다.
복사 작업에 대한 새 커넥터
배송됨(2024년 2분기)
릴리스 유형: 공개 미리 보기
Oracle, MySQL, Azure AI Search, Azure Files, Dynamics AX, Google BigQuery 등의 데이터 파이프라인을 활용하면서 고객이 다음 원본에서 수집할 수 있도록 복사 작업 새 커넥터가 추가됩니다.
Apache Airflow 작업: Apache Airflow를 통해 구동되는 데이터 파이프라인 빌드
배송됨(2024년 2분기)
릴리스 유형: 공개 미리 보기
Apache Airflow 작업(이전의 데이터 워크플로라고 함)은 Apache Airflow를 통해 구동되며 통합된 Apache Airflow 런타임 환경을 제공하여 Python DAG를 쉽게 작성, 실행 및 예약할 수 있습니다.
SPN(데이터 원본 ID 관리)
배송됨(2024년 2분기)
릴리스 유형: 일반 공급
서비스 주체 - Azure AD 테넌트에 의해 보호되는 리소스에 액세스하려면 액세스가 필요한 엔터티를 보안 주체로 표현해야 합니다. 서비스 주체를 사용하여 데이터 원본에 연결할 수 있습니다.
데이터 파이프라인에 대한 Data Factory Git 통합
배송됨(2024년 1분기)
릴리스 유형: 공개 미리 보기
Git 리포지토리에 연결하여 공동 작업 방식으로 데이터 파이프라인을 개발할 수 있습니다. 데이터 파이프라인을 Fabric 플랫폼의 ALM(애플리케이션 수명 주기 관리) 기능과 통합하면 버전 제어, 분기, 커밋 및 끌어오기 요청을 사용할 수 있습니다.
Dataflow Gen2의 출력 대상에 대한 향상된 기능(쿼리 스키마)
배송됨(2024년 1분기)
릴리스 유형: 공개 미리 보기
다음과 같은 높은 요청 기능을 사용하여 Dataflow Gen2의 출력 대상을 향상하고 있습니다.
- 출력 대상을 구성한 후 쿼리 스키마 변경 내용을 처리하는 기능입니다.
- 데이터 흐름 생성을 가속화하는 기본 대상 설정입니다.
자세한 내용은 Dataflow Gen2 데이터 대상 및 관리되는 설정을 참조 하세요.
데이터 환경 개선 가져오기(Azure 리소스 찾아보기)
배송됨(2024년 1분기)
릴리스 유형: 공개 미리 보기
Azure 리소스를 검색하면 Azure 리소스를 탐색하는 원활한 탐색이 제공됩니다. 직관적인 사용자 인터페이스를 통해 Azure 구독을 쉽게 탐색하고 데이터 원본에 연결할 수 있습니다. 필요한 데이터를 빠르게 찾고 연결하는 데 도움이 됩니다.
데이터 파이프라인에 추가된 온-프레미스 OPDG(데이터 게이트웨이) 지원
배송됨(2024년 1분기)
릴리스 유형: 공개 미리 보기
이 기능을 사용하면 데이터 파이프라인이 패브릭 데이터 게이트웨이를 사용하여 온-프레미스 및 가상 네트워크 뒤에 있는 데이터에 액세스할 수 있습니다. SHIR(자체 호스팅 통합 런타임)을 사용하는 사용자의 경우 Fabric의 온-프레미스 데이터 게이트웨이로 이동할 수 있습니다.
Dataflow Gen2의 빠른 복사 지원
배송됨(2024년 1분기)
릴리스 유형: 공개 미리 보기
파이프라인 복사 작업 기능을 활용하여 Dataflow Gen2 환경 내에서 직접 대규모 데이터 수집에 대한 지원을 추가하고 있습니다. Azure Data Lake Storage 및 Blob Storage의 Azure SQL Database, CSV 및 Parquet 파일과 같은 원본을 지원합니다.
이 향상된 기능은 대규모 ELT(추출-부하 변환) 기능을 제공하는 Dataflow Gen2의 데이터 처리 용량을 크게 확장합니다.
Dataflow Gen2에서 새로 고침 지원 취소
배송됨(2023년 4분기)
릴리스 유형: 공개 미리 보기
작업 영역 항목 보기에서 진행 중인 Dataflow Gen2 새로 고침을 취소하는 지원을 추가하고 있습니다.