Unity 카탈로그 메타스토어 관리

이 문서에서는 Azure Databricks 계정에서 Unity 카탈로그 메타스토어의 동작을 업데이트, 삭제 및 관리하는 방법을 보여 줍니다.

Unity 카탈로그 메타스토어 및 이를 만드는 방법에 대한 자세한 내용은 Unity 카탈로그 메타스토어 만들기를 참조 하세요.

메타스토어를 새 작업 영역에 자동으로 할당하도록 설정

기존 Unity 카탈로그 메타스토어를 해당 메타스토어 지역의 새 작업 영역에 자동으로 할당하려면 계정 관리자가 메타스토어에 대한 작업 영역 자동 할당을 사용하도록 설정할 수 있습니다. 이 설정을 선택하지 않으면 메타스토어와 동일한 지역에 작업 영역을 만드는 관리자는 Unity 카탈로그에 대한 작업 영역을 수동으로 사용하도록 설정하고 드롭다운에서 메타스토어를 선택해야 합니다.

계정 관리자가 이 옵션을 사용하도록 설정하기 전에 새 작업 영역에 대한 다음과 같은 영향을 이해해야 합니다.

• 작업 영역 카탈로그가 만들어지고 모든 작업 영역 사용자에게 개체를 만드는 데 필요한 권한이 있습니다. Unity 카탈로그 자동 사용을 참조하세요.
• 작업 영역 관리자는 카탈로그 및 외부 위치와 같은 메타스토어 수준 보안 개체를 만드는 데 필요한 권한을 갖습니다. Unity Catalog에 대해 작업 영역이 자동으로 사용하도록 설정된 경우 작업 영역 관리자 권한을 참조하세요
• metastore에 대해 metastore 수준 스토리지를 이미 사용하도록 설정한 경우 작업 영역에서 해당 스토리지를 사용할 수 있습니다. Unity 카탈로그에서 관리되는 스토리지 위치 지정을 참조하세요.
• metastore 관리자가 메타스토어에 대해 정의된 경우 metastore에 연결된 모든 작업 영역의 모든 보안 개체에 대한 액세스를 관리할 수 있습니다. Metastore 관리자를 참조하세요.
• 메타스토어에 대한 델타 공유 설정(사용 또는 사용 안 함)은 메타스토어에 연결된 모든 작업 영역에 적용됩니다. 계정에 대한 델타 공유 설정(공급자용)을 참조하세요.

자동 할당을 사용하도록 설정하려면 다음을 수행합니다.

1. 계정 관리자로서 Azure Databricks 계정 콘솔로 이동합니다.
2. 카탈로그를 클릭합니다.
3. 메타스토어를 선택합니다.
4. 구성 탭의 작업 영역 할당에서 이 메타스토어<region>.
5. 확인 대화 상자에서 자동 할당 사용을 클릭합니다.

기존 메타스토어에 관리형 스토리지 추가

메타스토어 수준 관리 스토리지는 선택 사항이며 자동으로 생성된 메타스토어에는 포함되지 않습니다. 여러 작업 영역의 데이터를 중앙에 저장하는 데이터 격리 모델을 선호하는 경우 metastore 수준 스토리지를 메타스토어에 추가할 수 있습니다. 개인 스테이징 위치를 사용하는 Azure Databricks 파트너인 경우 메타스토어 수준 스토리지가 필요합니다.

Unity 카탈로그에서 관리되는 스토리지 위치 지정도 참조하세요.

요구 사항

• Unity 카탈로그 메타스토어에 하나 이상의 작업 영역이 연결되어 있어야 합니다.
• Azure Databricks 권한이 필요합니다.
  • 외부 위치를 만들려면 메타스토어 관리자이거나 권한이 있는 CREATE EXTERNAL LOCATIONCREATE STORAGE CREDENTIAL 사용자여야 합니다.
  • 메타스토어 정의에 스토리지 위치를 추가하려면 계정 관리자여야 합니다. 계정에서 계정 관리자 역할을 사용하도록 설정하는 방법에 대한 지침은 첫 번째 계정 관리자 설정을 참조하세요.
• Azure 테넌트 권한이 필요합니다.
  • Azure Data Lake Storage Gen2와 함께 사용할 스토리지 계정을 만들 수 있는 권한입니다. 이 스토리지 계정에는 계층 구조 네임스페이스가 있어야 합니다. Data Lake Storage Gen2에서 사용할 스토리지 계정 만들기를 참조하세요.
  • 시스템 할당 관리 ID를 보유할 새 리소스를 만들 수 있는 권한입니다. 이렇게 하려면 테넌트에 있는 모든 구독에서 리소스 그룹의 기여자 또는 소유자여야 합니다.

1단계: 스토리지 위치 만들기

1단계(선택 사항): 메타스토어 수준 관리 스토리지용 스토리지 컨테이너 만들기 및 2단계(선택 사항): 관리되는 스토리지 위치에 액세스하는 관리 ID를 만들어 Azure Data Lake Storage Gen2에 스토리지 컨테이너를 만들고 스토리지 컨테이너에 액세스할 수 있는 관리 ID를 보유하는 Azure Databricks 액세스 커넥터를 만듭니다.

2단계: Unity 카탈로그에서 외부 위치 만들기

이 단계에서는 방금 만든 ADLS Gen 2 경로를 참조하는 외부 위치를 Unity 카탈로그에 만듭니다.

1. 스토리지 자격 증명을 만듭니다.

   스토리지 자격 증명은 1단계: 스토리지 위치 만들기에서 만든 Azure 관리 ID를 나타냅니다.

   Azure Data Lake Storage Gen2에 연결하기 위한 스토리지 자격 증명 만들기의 지침을 따릅니다.

2. 이전 단계에서 만든 스토리지 자격 증명을 참조하는 외부 위치와 1단계에서 만든 ADLS Gen 2 스토리지 컨테이너를 만듭니다. 스토리지 위치를 만듭니다.

   외부 위치 만들기의 지침에 따라 클라우드 스토리지를 Azure Databricks에 연결합니다.

3. 외부 위치에 대한 권한을 자신에게 CREATE MANAGED STORAGE 부여합니다.

   1. 외부 위치 이름을 클릭하여 세부 정보 창을 엽니다.
   2. 사용 권한 탭에서 권한 부여를 클릭합니다.
   3. 권한 부여 대화<external location>상자에서 보안 주체 필드에서 자신을 선택하고 선택합니다CREATE MANAGED STORAGE.
   4. 권한 부여를 클릭합니다.

3단계: metastore에 스토리지 위치 추가

메타스토어 스토리지 버킷을 나타내는 외부 위치를 만든 후에는 metastore에 추가할 수 있습니다.

1. 계정 관리자 권한으로 계정 콘솔에 로그인합니다.

2. 카탈로그를 클릭합니다.

3. 메타스토어 이름을 클릭합니다.

4. Metastore 관리자임을 확인합니다.

   그렇지 않은 경우 편집을 클릭하고 자신을 metastore 관리자로 할당합니다. 이 절차를 완료하면 직접 할당을 취소할 수 있습니다.

5. 구성 탭의 ADLS Gen 2 경로 옆에 있는 [설정]을 클릭합니다.

6. 메타스토어 루트 설정 대화 상자에서 외부 위치를 만드는 데 사용한 ADLS Gen 2 경로를 입력하고 업데이트를 클릭합니다.

   이 경로를 설정한 후에는 수정할 수 없지만 필요한 경우 해당 경로를 제거하고 새 경로를 추가할 수 있습니다.

메타스토어 수준 스토리지 제거

관리되는 테이블 및 볼륨(metastore 스토리지 루트라고도 함)에 대한 메타스토어 수준 스토리지가 있지만 카탈로그 또는 스키마 수준에서 데이터 스토리지 격리를 적용하려는 경우 metastore에 대한 메타스토어 수준 스토리지 옵션을 제거할 수 있습니다. 이렇게 하면 다음이 발생합니다.

• 스토리지 루트가 지정되지 않은 기존 카탈로그에는 메타스토어 스토리지 루트의 클라우드 스토리지 위치가 카탈로그 수준 관리 스토리지 위치로 지정됩니다. 즉, 메타스토어 스토리지 루트는 이러한 카탈로그에 "푸시다운"됩니다. 이러한 카탈로그의 데이터에 대한 액세스는 중단 없이 계속 작동합니다.
• 메타스토어를 만든 방법에 따라 메타스토어 스토리지 루트에 대한 Unity 카탈로그에 정의된 외부 위치 보안 개체가 없을 수 있습니다. 이 경우 새 외부 저장소 위치 및 연결된 스토리지 자격 증명이 만들어집니다. 새 외부 위치의 이름은 기본적으로 prior_metastore_root_location.
• 사용자가 카탈로그를 만들 때마다 Unity 카탈로그에 외부 위치로 등록된 전용 스토리지 위치를 제공해야 합니다.

메타스토어 스토리지 루트를 제거하려면 다음을 수행합니다.

1. 계정 관리자 권한으로 계정 콘솔에 로그인합니다.
2. 카탈로그를 클릭합니다.
3. 메타스토어 이름을 클릭합니다.
4. 구성 탭의 ADLS Gen2 경로아래에서 제거 단추를 클릭합니다.
5. 확인 대화 상자에서 제거를 클릭합니다.

metastore 관리자 추가

Metastore 관리자는 선택 사항이지만 메타스토어에 대해 관리자를 원할 수 있는 상황이 있습니다. 메타스토어 관리자 할당을 참조하세요.

메타스토어 삭제

Azure Databricks 계정을 닫거나 Unity 카탈로그 메타스토어에서 관리하는 데이터에 대한 액세스를 삭제할 다른 이유가 있는 경우 메타스토어를 삭제할 수 있습니다.

메타스토어를 삭제하려면 다음을 수행합니다.

1. 메타스토어 관리자로서 계정 콘솔에 로그인합니다.
2. 카탈로그를 클릭합니다.
3. 메타스토어 이름을 클릭합니다.
4. 구성 탭의 오른쪽 맨 위에 있는 세 개의 단추 메뉴를 클릭하고 삭제를 선택합니다.
5. 확인 대화 상자에서 메타스토어의 이름을 입력하고 삭제를 클릭합니다.