데이터 보안 및 암호화
이 문서에서는 데이터를 보호하는 데 도움이 되는 데이터 보안 구성을 소개합니다.
데이터에 대한 액세스 보안을 강화하는 방법에 대한 정보는 Unity로 데이터 거버넌스 Catalog를 참조하세요.
데이터 보안 및 암호화 개요
Azure Databricks는 데이터를 보호하는 데 도움이 되는 암호화 기능을 제공합니다. 모든 가격 책정 계층에서 모든 보안 기능을 사용할 수 있는 것은 아닙니다. 다음 table에는 기능 개요와 그 기능이 가격 책정 계획과 어떻게 연관되는지가 포함되어 있습니다.
기능 | 가격 책정 계층 |
---|---|
암호화를 위해 고객 관리 키 사용 | Premium |
클러스터 작업자 노드 간의 트래픽 암호화 | Premium |
DBFS 루트에 대한 이중 암호화 | Premium |
쿼리, 쿼리 기록 및 쿼리 결과 암호화 | Premium |
암호화에 고객 관리형 키 사용
Azure Databricks는 데이터에 대한 액세스를 보호하고 제어하는 데 도움이 되는 고객 관리형 키 추가를 지원합니다. Azure Databricks는 Azure Key Vault 자격 증명 모음 및 Azure Key Vault HSM(Managed Hardware Security Modules)의 고객 관리형 키를 지원합니다. 다양한 유형의 데이터에 대한 세 가지 고객 관리형 키 기능이 있습니다.
관리 디스크에 대한 고객 관리형 키: 컴퓨팅 평면의 Azure Databricks 컴퓨팅 워크로드는 Azure 관리 디스크에 임시 데이터를 저장합니다. 기본적으로 관리 디스크에 저장된 데이터는 Microsoft 관리형 키와 함께 서버 측 암호화를 사용하여 미사용 시 암호화됩니다. 관리 디스크 암호화에 사용할 Azure Databricks 작업 영역에 대한 고유 키를 구성할 수 있습니다. Azure 관리 디스크에 대한 고객 관리형 키를 참조 하세요.
관리되는 서비스에 대한 고객 관리형 키: Azure Databricks 컨트롤 플레인의 관리되는 서비스 데이터는 미사용 시 암호화됩니다. 관리되는 서비스에 대한 고객 관리형 키를 추가하여 다음과 같은 유형의 암호화된 데이터에 대한 액세스를 보호하고 제어할 수 있습니다.
- 컨트롤 플레인에 저장된 Notebook 원본 파일입니다.
- 컨트롤 플레인에 저장된 노트북에 대한 노트북 결과입니다.
- 비밀 관리자 API가 저장한 비밀.
- Databricks SQL 쿼리 및 쿼리 기록.
- Databricks Git 폴더와 Git 통합을 set 데 사용되는 개인용 액세스 토큰 또는 기타 credentials.
관리형 서비스에 대한 고객 관리형 키를 참고하세요.
DBFS 루트에 대한 고객 관리형 키: 기본적으로 스토리지 계정은 Microsoft 관리형 키로 암호화됩니다. 작업 영역 스토리지 계정의 모든 데이터를 암호화하도록 사용자 고유의 키를 구성할 수 있습니다. 자세한 내용은 DBFS 루트에 대한 고객 관리형 키를 참조하세요.
Azure Databricks의 고객 관리형 키 기능이 다양한 유형의 데이터를 보호하는 자세한 내용은 암호화에 대한 고객 관리형 키를 참조하세요.
DBFS에 이중 암호화 사용
DBFS(Databricks 파일 시스템 )는 Azure Databricks 작업 영역에 탑재된 분산 파일 시스템이며 Azure Databricks 클러스터에서 사용할 수 있습니다. DBFS는 Azure Databricks 작업 영역의 관리되는 리소스 그룹에서 스토리지 계정으로 구현됩니다. DBFS의 기본 위치를 DBFS 루트라고 합니다.
Azure Storage는 DBFS 루트 스토리지를 포함하여 스토리지 계정의 모든 데이터를 자동으로 암호화합니다. 필요에 따라 Azure 스토리지 인프라 수준에서 암호화를 사용하도록 설정할 수 있습니다. 인프라 암호화를 사용하도록 설정하면 스토리지 계정의 데이터가 다른 암호화 알고리즘 2개와 다른 키 2개를 사용하여 두 번(서비스 수준에서 한 번, 인프라 수준에서 한 번) 암호화됩니다. 인프라 암호화를 사용하여 작업 영역을 배포하는 방법에 대한 자세한 내용은 DBFS 루트용 이중 암호화 구성을 참조하세요.
쿼리, 쿼리 기록 및 쿼리 결과 암호화
Azure Key Vault의 고유한 키를 사용하여 Azure Databricks 컨트롤 플레인에 저장된 Databricks SQL 쿼리 및 쿼리 기록을 암호화할 수 있습니다. 자세한 내용은 쿼리, 쿼리 기록 및 쿼리 결과 암호화를 참조하세요.
클러스터 작업자 노드 간의 트래픽 암호화
사용자 쿼리 및 변환은 일반적으로 암호화된 채널을 통해 클러스터로 전송됩니다. 그러나 기본적으로 클러스터의 작업자 노드 간에 교환되는 데이터는 암호화되지 않습니다. 데이터를 저장 중이든 전송 중이든 항상 암호화해야 하는 환경의 경우 TLS 1.2 연결을 통해 AES 128비트 암호화를 사용하여 작업자 노드 간의 트래픽을 암호화하도록 클러스터를 구성하는 init 스크립트를 만들 수 있습니다. 자세한 내용은 클러스터 작업자 노드 간의 트래픽 암호화를 참조 하세요.
작업 영역 설정 관리
Azure Databricks 작업 영역 관리자는 Notebook을 다운로드하고 사용자 격리 클러스터 액세스 모드를 적용하는 기능과 같은 작업 영역의 보안 설정을 관리할 수 있습니다. 자세한 내용은 작업 영역 관리를 참조하세요.