이 문서에서는 Microsoft Fabric의 Data Factory에 관해 자주 묻는 질문에 대한 답변을 제공합니다.
Fabric의 Data Factory
Fabric의 데이터 팩토리와 데이터 엔지니어링 탭의 차이점은 무엇인가요?
Data Factory는 클라우드 규모의 데이터 이동 및 데이터 변환 서비스를 통해 복잡한 데이터 통합 및 ETL 시나리오를 해결하고, 데이터 엔지니어링은 레이크 하우스를 생성하고, Apache Spark를 사용하여 데이터를 변환 및 준비하는 데 도움을 줍니다. 각 Fabric 용어/환경 사이의 차이점은 Microsoft Fabric 용어에서 확인할 수 있습니다.
파이프라인에 사용되는 Fabric의 용량을 추적하고 모니터링하려면 어떻게 해야 하나요?
Microsoft Fabric 용량 관리자는 메트릭 앱이라고도 하는 Microsoft Fabric 용량 메트릭 앱을 사용하여 용량 리소스에 대한 가시성을 확보할 수 있습니다. 이 앱을 통해 관리자는 데이터 파이프라인, 데이터 흐름 및 기타 항목이 Fabric 용량 지원 작업 영역에서 얼마나 많은 CPU 사용률, 처리 시간 및 메모리를 사용하는지 확인할 수 있습니다. 오버로드 원인, 최대 수요 시간, 리소스 소비 등에 대한 가시성을 확보하고 가장 수요가 많거나 가장 인기 있는 항목을 쉽게 파악할 수 있습니다.
Fabric의 Data Factory 내에서 역할을 할당하는 데 권장되는 접근 방식은 무엇인가요?
작업 영역 간에 서로 다른 워크로드를 분리하고 구성원 및 시청자와 같은 역할을 사용하여 보고서 또는 AI 학습에 사용되는 작업 영역의 데이터를 준비하는 데이터 엔지니어링용 작업 영역을 가질 수 있습니다. 시청자 역할을 사용하면 데이터 엔지니어링 작업 영역에서 데이터를 사용할 수 있습니다.
Fabric Data Factory에서 기존 프라이빗 엔드포인트(PE) 사용 리소스에 연결할 수 있나요?
현재 가상 네트워크 게이트웨이는 가상 네트워크에 원활하게 통합되는 주입식 방법을 제공하여 프라이빗 엔드포인트를 사용하여 데이터 저장소에 보안 연결을 설정할 수 있는 강력한 수단을 제공합니다. 현재 가상 네트워크 게이트웨이는 Fabric 데이터 흐름만 수용한다는 점에 유의하세요. 그러나 앞으로의 이니셔티브에는 Fabric 파이프라인을 포함하도록 기능을 확장하는 것이 포함됩니다.
Fabric Data Factory에서 온-프레미스 데이터 원본에 어떻게 연결할 수 있나요?
온-프레미스 데이터 게이트웨이를 사용하면 이제 Microsoft Fabric의 Data Factory를 통해 데이터 흐름 및 데이터 파이프라인(프리뷰)을 사용하여 온-프레미스 데이터 원본에 연결할 수 있습니다. 자세한 내용은 Data Factory에서 온-프레미스 데이터 원본에 액세스하는 방법을 참조하세요.
릴리스 업데이트 및 가격 책정
Fabric에서 사용할 수 있는 월별 업데이트는 어디에서 확인할 수 있나요?
Microsoft Fabric 블로그에서 Fabric에 대한 월별 업데이트를 확인할 수 있습니다.
Fabric Data Factory 가격 책정/청구 모델이란 무엇인가요?
Microsoft Fabric 의 Data Factory 가격 책정은 데이터 파이프라인과 Dataflow Gen2에 대한 비용을 계산하는 방법에 대한 종합적인 가이드를 제공합니다. 여기에는 가격 책정 모델을 더 잘 이해하는 데 도움이 되는 여러 가지 가격 책정 예시 시나리오가 포함되어 있습니다.
Microsoft Fabric의 Data Factory에 대해 향후 계획된 기능에 대한 자세한 내용은 어디에서 확인할 수 있나요?
Microsoft Fabric의 Data Factory에 대한 새로운 기능과 계획은 출시 예정인 기능과 향후 몇 개월 내에 출시될 것으로 예상되는 각 기능의 출시 일정에 대한 인사이트를 제공합니다.
데이터 파이프라인
Fabric 데이터 파이프라인에서 얼마나 빨리 데이터를 수집할 수 있나요?
Fabric Data Factory를 통해 사용자 환경에 대한 데이터 이동 처리량을 최대화하는 파이프라인을 개발할 수 있습니다. 이러한 파이프라인은 다음 리소스를 완벽하게 활용합니다.
- 원본 및 대상 데이터 저장소 간의 네트워크 대역폭
- 원본 또는 목적지 데이터 저장소 초당 입/출력 작업(IOPS) 및 대역폭. 이 최대 활용도는 다음 리소스로 사용 가능한 최소 처리량을 측정하여 전체 처리량을 추정할 수 있음을 의미합니다:
- 원본 데이터 스토리지
- 대상 데이터 저장소
- 원본과 목적지 데이터 저장소 사이의 네트워크 대역폭. 한편 사용자가 달성할 수 있는 최상의 처리량을 높이기 위해 지속적으로 혁신에 힘쓰고 있습니다. 현재 이 서비스는 1TB TPC-DI 데이터 세트(parquet 파일)를 5분 이내에 Fabric Lakehouse 테이블과 Data Warehouse 모두로 이동하여 1B 행을 1분 이내에 이동할 수 있습니다. 이 성능은 위의 테스트 데이터 세트를 실행하여 얻은 참고자료일 뿐이라는 점에 유의하세요. 실제 처리량은 여전히 앞서 나열한 요인에 따라 달라집니다. 또한 여러 복사 작업을 병렬로 실행하여 처리량을 늘리는 것도 가능합니다. 예를 들어 ForEach 루프를 사용하세요.
Fabric의 Data Factory 내에서 CDC 기능을 사용할 수 있게 되나요?
현재 Fabric의 Data Factory 내에서 CDC 기능을 적극적으로 개발하는 데 중점을 두고 있습니다. 향후 출시될 이 기능을 사용하면 대량/배치 복사 패턴, 증분/연속 복사 패턴(CDC) 및 실시간 복사 패턴을 비롯한 다양한 복사 패턴을 하나의 5x5 환경으로 결합하여 데이터를 여러 데이터 원본 간에 이동할 수 있습니다.
데이터 흐름 Gen2
Fabric Dataflow Gen2는 Azure Data Factory에 내장된 Power Query와 비슷한가요?
ADF 내의 Power Query 작업은 Dataflow Gen2와 유사한 부분이 있지만 특정 데이터 목적지에 쓰기 등의 작업을 사용할 수 있는 추가 기능이 있습니다. 이 비교는 데이터 흐름 1세대(Power BI 데이터 흐름 또는 Power Apps 데이터 흐름)와 더 일치합니다. 자세한 내용은 Dataflow Gen1과 Dataflow Gen2의 차이점을 살펴보세요.
Fabric DataFlow Gen2에서 가끔 DataflowsStaginglakehouse / DataflowsStagingwarehouse와 같은 기능을 볼 수 있습니다. 이 기능은 무엇인가요?
특정 사용자 환경에서는 상호 작용을 위해 의도되지 않은 시스템 아티팩트가 발생할 수 있습니다. 이러한 아티팩트는 나중에 데이터 가져오기 환경에서 제거되므로 무시하는 것이 가장 좋습니다.
“스테이징 아티팩트에 액세스할 수 있는 권한이 부족하여 데이터 흐름 새로 고침에 실패했습니다."라는 오류 메시지와 함께 새로 고침이 실패했습니다. 어떻게 해야 합니까?
이 오류 메시지는 작업 영역에서 첫 번째 데이터 흐름을 만든 사용자가 90일 이상 Fabric에 로그인하지 않았거나 조직을 떠났을 때 발생합니다. 이 오류를 해결하려면 오류 메시지에 언급된 사용자가 Fabric에 로그인해야 합니다. 사용자가 조직을 떠난 경우에는 지원 티켓을 생성하세요.
ADF/Synapse 파이프라인 지원 및 마이그레이션 경로
ADF(Azure Data Factory) 및 Synapse Pipelines는 앞으로 될까요?
Azure Data Factory(ADF) 및 Azure Synapse 파이프라인은 별도의 Platform as a Service(PaaS) 로드맵을 유지 관리합니다. 이 두 솔루션은 Software as a Service(SaaS) 제품인 Fabric Data Factory와 함께 계속 공존합니다. ADF 및 Synapse 파이프라인은 모두 계속 지원되며 사용 중단 계획은 없습니다. 앞으로 예정된 프로젝트의 경우, Fabric Data Factory를 사용하여 프로젝트를 시작하는 것을 권장함을 기억하세요. 또한, ADF 및 Synapse 파이프라인을 Fabric Data Factory로 쉽게 전환하여 새로운 Fabric 기능을 활용할 수 있도록 지원하는 전략도 마련되어 있습니다. 여기에서 자세한 내용을 알아볼 수 있습니다.
Fabric용 Data Factory의 기능 차이를 감안할 때 ADF/Synapse 파이프라인 대신 Data Factory for Fabric을 선택하는 이유는 무엇인가요?
ADF/Azure Synapse 파이프라인에서 제공하는 강력한 데이터 파이프라인 오케스트레이션 및 워크플로 기능을 Fabric Data Factory에 통합하고 기능적 격차를 메우기 위해 노력하고 있는 만큼 ADF/Synapse 파이프라인에 있는 특정 기능이 사용자의 요구 사항에 필수적일 수 있다는 점을 인식하고 있습니다. 이러한 기능이 필요하다면 ADF/Synapse 파이프라인을 계속 활용하는 것이 좋지만, 먼저 Fabric에서 새로운 데이터 통합 가능성을 탐색해 보는 것이 좋습니다. 성공에 필수적인 기능에 대한 피드백은 매우 중요합니다. 이를 용이하게 하기 위해 기존 데이터 팩토리를 Azure에서 Fabric 작업 영역으로 마이그레이션할 수 있는 새로운 기능을 도입하기 위해 적극적으로 노력하고 있습니다.
Fabric Data Factory의 새로운 기능을 ADF/Synapse에서도 사용할 수 있나요?
Fabric 파이프라인의 새로운 기능은 ADF/Synapse 파이프라인으로 백포트되지 않습니다. Fabric Data Factory와 ADF/Synapse에 대해 두 가지의 로드맵을 별도로 유지 관리합니다. 수신되는 피드백에 대한 응답으로 백포트 요청을 평가합니다.
Fabric 데이터 파이프라인은 Azure Synapse 파이프라인과 동일한가요?
Fabric 파이프라인의 주요 기능은 Azure Synapse 파이프라인과 비슷하지만, Fabric 파이프라인을 사용하면 사용자는 Fabric 플랫폼에서 모든 데이터 분석 기능을 적용할 수 있습니다. Fabric 파이프라인과 Azure Synapse 파이프라인의 주요 차이점과 기능 매핑은 Fabric과 Azure의 Data Factory 차이점에서 확인할 수 있습니다.
기존 파이프라인을 Azure Data Factory(또는) Azure Synapse 작업 영역에서 Fabric Data Factory로 마이그레이션하려면 어떻게 해야 하나요?
고객이 Azure Data Factory(ADF)에서 Microsoft Fabric으로 전환할 수 있도록 다양한 필수 기능과 지원 메커니즘을 제공합니다. 먼저, Teams 및 Outlook 기능과 같이 알림에 맞춤화된 새로운 작업 추가와 더불어 Fabric 내에서 ADF에서 사용되는 대부분의 작업에 대한 종합적인 지원을 제공합니다. 고객은 Fabric 내의 Data Factory에서 사용 가능한 작업의 상세 목록에 액세스할 수 있습니다. 또한 Azure Data Factory에 Fabric Lakehouse/Warehouse 커넥터를 도입하여 ADF 고객을 위한 Fabric의 OneLake 환경으로의 원활한 데이터 통합이 가능해졌습니다. 또한 기존 매핑 데이터 흐름 변환을 새로운 Dataflow Gen2 변환에 매핑하는 데 도움이 되는 ADF 고객용 가이드도 제공합니다. 앞으로 로드맵에 ADF 리소스를 Fabric에 탑재하는 기능을 포함할 예정입니다. 이를 통해 고객은 Fabric을 탐색하고 포괄적인 업그레이드 전략을 계획하는 동시에 Azure에서 기존 ADF 파이프라인의 기능을 유지할 수 있습니다. 현재 ADF에서 Fabric으로 데이터 파이프라인을 마이그레이션하는 가장 효과적인 방법을 찾기 위해 고객과 커뮤니티와 긴밀히 협력하고 있습니다. 이러한 노력의 일환으로 Fabric에서 현재 데이터 파이프라인을 탑재하고 업그레이드하는 과정을 통해 테스트할 수 있는 업그레이드 환경을 제공할 것입니다.