Azure Databricks Unity 카탈로그 미러링(미리 보기)
오늘날 많은 조직에서 Azure Databricks 내에서 Unity 카탈로그에 데이터를 등록합니다. 패브릭의 미러된 Unity 카탈로그를 사용하면 고객이 패브릭 워크로드에서 Unity 카탈로그로 관리되는 데이터를 읽을 수 있습니다. Azure Databricks와 Fabric이 함께 더 좋습니다.
Unity 카탈로그를 패브릭으로 미러링하기 위해 Azure Databricks 작업 영역을 구성하는 방법에 대한 자습서는 자습서: Azure Databricks(미리 보기)에서 Microsoft Fabric 미러된 데이터베이스 구성을 참조하세요.
Fabric 의 미러된 데이터베이스를 통해 사용자는 분석 요구 사항을 간소화하도록 설계된 고도로 통합되고 종단 간 사용이 간편한 제품을 이용할 수 있습니다. 분석 요구 사항을 간소화하도록 디자인되고 Microsoft Fabric과 Azure Databricks 간의 개방성과 협업을 위해 빌드된 사용하기 쉬운 제품을 즐길 수 있습니다.
Fabric을 사용하여 Unity 카탈로그에 등록된 데이터를 읽는 경우 데이터 이동 또는 데이터 복제가 없습니다. Azure Databricks 카탈로그 구조만 Fabric에 미러링되고 기본 카탈로그 데이터는 바로 가기를 통해 액세스됩니다. 따라서 데이터의 모든 변경 내용은 패브릭에 즉시 반영됩니다.
기본 제공되는 분석 환경
미러된 카탈로그는 Fabric 데이터 웨어하우징 웨어하우스 및 SQL 분석 엔드포인트와 구별되는 항목입니다.
Azure Databricks Unity 카탈로그를 미러링하면 Fabric은 다음 세 가지 항목을 만듭니다.
- 미러된 Azure Databricks 항목
- Lakehouse의 SQL 분석 엔드포인트
- 기본 의미 체계 모델
미러된 Azure Databricks 데이터에 여러 가지 방법으로 액세스할 수 있습니다.
- 미러된 각 Azure Databricks 항목에는 미러링 프로세스에서 만든 풍부한 분석 환경을 제공하는 자동 생성된 SQL 분석 엔드포인트가 있습니다. T-SQL 명령을 사용하여 읽기 전용 SQL 분석 엔드포인트에서 데이터 개체를 정의하고 쿼리합니다.
- Direct Lake 모드에서 Power BI를 사용하여 Azure Databricks 항목에 대한 보고서를 만듭니다.
메타데이터 동기화
패브릭의 Azure Databricks에서 새 미러된 데이터베이스를 만들 때 기본적으로 선택한 스키마 에 대한 이후 카탈로그 변경 내용을 자동으로 동기화할 수 있습니다. 자동 동기화를 사용하는 경우 다음 메타데이터 변경 내용이 Azure Databricks 작업 영역에서 Fabric으로 반영됩니다.
- 카탈로그에 스키마 추가
- 카탈로그에서 스키마 삭제
- 스키마에 테이블 추가
- 스키마에서 테이블 삭제
스키마/테이블 선택:
- 기본적으로 사용자가 카탈로그를 추가할 때 전체 카탈로그가 선택됩니다.
- 사용자는 스키마 내의 특정 테이블을 제외할 수 있습니다.
- 스키마의 선택을 취소하면 스키마 내의 모든 테이블이 선택 취소됩니다.
- 사용자가 돌아가서 스키마를 선택하면 스키마 내의 모든 테이블이 다시 선택됩니다.
- 카탈로그 내의 스키마에는 동일한 선택 동작이 적용됩니다.
카탈로그/스키마/테이블에 적용되는 다른 여과 조건이 있습니다.
- 구체화된 뷰 및 스트리밍 테이블은 표시되지 않습니다.
- 델타 형식을 지원하지 않는 외부 테이블은 표시되지 않습니다.