Delta Sharing Databricks-to-Databricks 프로토콜을 사용하여 데이터 공유(공급자용)

이 문서에서는 사용자가 Unity Catalog에 사용하도록 설정된 작업 영역에 액세스할 수 있는 한, Databricks 간 Delta Sharing을 사용하여 계정 또는 클라우드 호스트에 관계없이 모든 Databricks 사용자와 데이터를 안전하게 공유하는 방법을 간략하게 설명합니다.

Databricks-Databricks 델타 공유를 사용해야 하는 사람은 누구인가요?

델타 공유를 사용하여 데이터를 공유하는 세 가지 방법이 있습니다.

1. 이 문서에서 다루는 Databricks-Databricks 공유 프로토콜을 사용하면 Unity 카탈로그 사용 작업 영역의 데이터를 Unity 카탈로그 지원 Databricks 작업 영역에 대한 액세스 권한이 있는 사용자와 공유할 수 있습니다.

   이 방법은 Azure Databricks에 기본 제공되는 델타 공유 서버를 사용하며 공급자와 받는 사람 모두에 대한 Notebook 공유, Unity 카탈로그 데이터 거버넌스, 감사 및 사용량 추적을 지원합니다. Unity 카탈로그와 통합하면 공급자와 받는 사람 모두에 대한 설정 및 거버넌스가 간소화되고 성능이 향상됩니다.

2. Databricks 개방형 공유 프로토콜 을 사용하면 Unity 카탈로그 지원 Databricks 작업 영역에서 관리하는 데이터를 모든 컴퓨팅 플랫폼의 사용자와 공유할 수 있습니다.

   Delta Sharing 개방형 공유 프로토콜을 사용하여 데이터 공유(공급자의 경우)를 참조하세요.

3. 오픈 소스 델타 공유 서버 의 고객 관리형 구현을 사용하면 Databricks 여부와 관계없이 모든 플랫폼에서 모든 플랫폼으로 공유할 수 있습니다.

   github.com/delta-io/delta-sharing을 참조하세요.

델타 공유에 대한 소개 및 이러한 세 가지 방법에 대한 자세한 내용은 델타 공유란?을 참조하세요.

Databricks 간 Delta Sharing 워크플로

이 섹션에서는 각 단계에 대한 자세한 설명서에 대한 링크가 포함된 Databricks 간 공유 워크플로에 대한 대략적인 개요를 제공합니다.

Databricks 간 Delta Sharing 모델에서

1. 데이터 수신자는 데이터 공급자가 공유하는 데이터에 액세스하는 데 사용할 Databricks 작업 영역에 연결된 Databricks Unity Catalog 메타스토어에 대한 고유한 공유 식별자를 데이터 공급자에게 제공합니다.

   자세한 내용은 1단계: 수신자의 공유 식별자 요청을 참조하세요.

2. 데이터 공급자는 공급자의 Unity Catalog 메타스토어에 공유를 만듭니다. 이 명명된 개체에는 메타스토어에 등록된 테이블, 뷰, 볼륨 및 Notebook 컬렉션이 포함됩니다.

   자세한 내용은 Delta Sharing에 대한 공유 만들기 및 관리를 참조하세요.

3. 데이터 공급자는 공급자의 Unity Catalog 메타스토어에 수신자 개체를 만듭니다. 이 명명된 개체는 사용자 또는 사용자 그룹이 공유에 액세스하는 데 사용할 작업 영역에 연결된 Unity Catalog 메타스토어의 공유 식별자와 함께 공유에 포함된 데이터에 액세스할 사용자 또는 사용자 그룹을 나타냅니다. 공유 식별자는 보안 연결을 사용하도록 설정하는 키 식별자입니다.

   자세한 내용은 2단계: 수신자 만들기를 참조하세요.

4. 데이터 공급자는 수신자에게 공유에 대한 액세스 권한을 부여합니다.

   자세한 내용은 델타 공유 데이터 공유에 대한 액세스 관리(공급자용)를 참조하세요.

5. 공유는 받는 사람의 Databricks 작업 영역에서 사용할 수 있게 되며 사용자는 Azure Databricks Notebook 또는 Databricks SQL 쿼리 편집기에서 카탈로그 탐색기, Databricks CLI 또는 SQL 명령을 사용하여 액세스할 수 있습니다.

   공유의 테이블, 뷰, 볼륨 및 Notebook에 액세스하려면 metastore 관리자 또는 권한 있는 사용자가 공유에서 카탈로그를 만들어야 합니다. 그런 다음 해당 사용자 또는 적절한 권한이 부여된 다른 사용자가 카탈로그의 카탈로그 및 개체에 대한 액세스 권한을 다른 사용자에게 부여할 수 있습니다. 공유 카탈로그 및 데이터 자산에 대한 사용 권한 부여는 Unity 카탈로그에 등록된 다른 자산과 마찬가지로 작동하며, 중요한 차이점은 델타 공유 공유에서 만든 카탈로그의 개체에 대한 읽기 권한만 사용자에게 부여할 수 있다는 것입니다.

   공유 전자 필기장이 카탈로그 수준에서 라이브 상태이며 카탈로그에 대한 권한이 있는 USE CATALOG 모든 사용자가 액세스할 수 있습니다.

   자세한 내용은 Databricks-to-Databricks 델타 공유를 사용하여 공유된 데이터 읽기(받는 사람용)를 참조하세요.

기록 공유를 사용하여 테이블 읽기 성능 향상

Databricks 간 테이블 공유는 히스토리 공유 기능을 활성화하여 성능을 향상시킬 수 있습니다. 공유 기록은 클라우드 스토리지의 임시 보안 자격 증명을 활용하여 성능을 향상시키고, 공급자의 공유 델타 테이블의 루트 디렉터리로 범위가 축소되어 원본 테이블에 직접 액세스하는 것과 비슷한 성능을 제공합니다.

• 새 테이블 공유의 경우, 테이블 공유를 만들 때 WITH HISTORY 값을 지정하십시오. 테이블을 공유에 추가하려면을 참조하세요.
• 기존 테이블 공유의 경우, 공유를 수정하여 테이블 기록을 공유해야 합니다. 업데이트 주식을 참조하세요.

역사와 관련된 데이터 개인정보 보호 공유

공급자는 Databricks-Databricks 기록 공유를 통해 델타 공유 받는 사람에게 데이터 파일과 델타 로그 모두에 대한 임시 읽기 권한을 부여한다는 점에 유의해야 합니다. 델타 로그에는 각 테이블 버전에 대한 커밋 기록, 커밋자에 대한 정보(GitHub 커밋 기록과 유사) 및 진공되지 않은 삭제된 데이터가 포함됩니다.