Azure Databricks Clean Rooms란?
Important
이 기능은 공개 미리 보기 상태입니다.
이 문서에서는 델타 공유 및 서버리스 컴퓨팅을 사용하여 서로의 데이터에 직접 액세스하지 않고도 여러 당사자가 중요한 엔터프라이즈 데이터에 대해 함께 작업할 수 있는 안전하고 개인 정보 보호 환경을 제공하는 Azure Databricks 기능인 Clean Rooms를 소개합니다.
요구 사항
클린룸을 사용할 수 있도록 하려면 다음을 수행해야 합니다.
- 서버리스 컴퓨팅에 사용할 수 있는 계정이 있어야 합니다. 서버리스 컴퓨팅 사용을 참조하세요.
- Unity 카탈로그에 사용할 수 있는 작업 영역이 있습니다. Unity 카탈로그에 작업 영역 사용을 참조하세요.
클린룸은 어떻게 작동하나요?
클린룸을 만들 때 다음을 만듭니다.
- Unity 카탈로그 메타스토어의 보안 가능한 클린룸 개체입니다.
- Databricks에서 관리하는 격리된 임시 환경인 "중앙" 클린룸입니다.
- 공동 작업자의 Unity 카탈로그 메타스토어에 있는 보안이 가능한 클린룸 개체입니다.
공동 작업자가 클린룸에서 공유하는 테이블, 볼륨(비테이블 형식 데이터), 보기 및 노트북은 델타 공유를 통해 중앙 클린룸과만 공유됩니다.
공동 작업자는 다른 협력자의 테이블, 뷰 또는 볼륨에서 데이터를 볼 수 없지만 열 이름 및 열 형식을 볼 수 있으며 데이터 자산에 대해 작동하는 승인된 Notebook 코드를 실행할 수 있습니다. Notebook 코드는 중앙 클린룸에서 실행됩니다. Notebook은 공동 작업자가 작업 영역에서 작업할 수 있도록 읽기 전용 출력을 Unity 카탈로그 메타스토어에 일시적으로 저장할 수 있는 출력 테이블을 생성할 수도 있습니다.
클린룸은 어떻게 신뢰할 수 없는 환경을 보장하나요?
Databricks Clean Rooms 모델은 "신뢰할 수 없음"입니다. 신뢰할 수 없는 클린룸의 모든 협력자는 클린룸의 작성자를 포함하여 동등한 권한을 갖습니다. 클린 룸은 무단 코드의 실행과 데이터의 무단 공유를 방지하기 위해 설계되었습니다. 예를 들어 모든 공동 작업자는 Notebook을 실행하기 전에 승인해야 합니다. 이 신뢰는 공동 작업자가 직접 만든 Notebook을 실행하지 못하게 하여 암시적으로 적용됩니다. 다른 공동 작업자가 만든 Notebook만 실행할 수 있습니다.
추가 안전 장치 또는 제한 사항
위에서 언급한 암시적 Notebook 승인 프로세스 외에도 다음과 같은 안전 장치가 적용됩니다.
클린룸이 만들어지면 새 협력자가 클린룸에 가입하지 못하도록 잠깁니다.
공동 작업자가 클린룸을 삭제하는 경우 중앙 클린룸은 무효이며 사용자가 클린룸 작업을 실행할 수 없습니다.
공개 미리 보기 동안 각 클린룸은 두 명의 공동 작업자로 제한됩니다.
클린룸의 이름을 바꿀 수 없습니다.
클린룸 이름은 모든 협력자의 메타스토어에서 고유해야 하므로 모든 협력자가 동일한 클린룸을 명확하게 참조할 수 있습니다.
각 협력자의 작업 영역에서 보안이 가능한 클린룸에 대한 주석은 다른 협력자로 전파되지 않습니다.
다른 공동 작업자와 공유되는 항목은 무엇인가요?
- 깨끗한 방 이름입니다.
- 중앙 클린 룸의 클라우드 및 지역.
- 조직 이름(선택한 모든 이름일 수 있습니다).
- 클린룸 공유 식별자(전역 메타스토어 ID + 작업 영역 ID + 사용자 전자 메일 주소).
- 공유 테이블, 뷰 또는 볼륨의 별칭입니다.
- 열 메타데이터(열 이름 또는 별칭 및 형식).
- 전자 필기장(읽기 전용).
- 출력 테이블 (읽기 전용, 임시).
- 회의실 이벤트 시스템 테이블을 정리합니다.
- 다음을 포함한 실행 기록:
- 실행 중인 Notebook의 이름
- Notebook(사용자 아님)을 실행한 협력자입니다.
- Notebook 실행의 상태입니다.
- Notebook 실행의 시작 시간입니다.
중앙 클린 룸과 공유되는 것은 무엇입니까?
이전 섹션에 나열된 모든 항목입니다.
읽기 전용 테이블, 볼륨, 뷰 및 노트북입니다.
테이블, 뷰 및 볼륨은 제공된 별칭과 함께 중앙 클린룸의 메타스토어에 등록됩니다. 데이터 자산은 클린룸의 수명 주기 동안 공유됩니다.
제한 사항
공개 미리 보기 중에는 다음과 같은 제한 사항이 적용됩니다.
- 필요한 Databricks 런타임 버전에 포함된 서비스 자격 증명 Scala 라이브러리가 없습니다.
리소스 할당량
Azure Databricks는 모든 Clean Room 보안 개체에 리소스 할당량을 적용합니다. 이러한 할당량은 리소스 제한에 나열됩니다. 이러한 리소스 제한을 초과할 것으로 예상되는 경우, Azure Databricks 계정 팀에게 문의하세요.
Unity 카탈로그 리소스 할당량 API를 사용하여 할당량 사용량을 모니터링할 수 있습니다. Unity 카탈로그 리소스 할당량 사용량 모니터링을 참조 하세요.