다음을 통해 공유

Azure Databricks 아키텍처 개요

  • 아티클

이 문서에서는 Azure와 함께 엔터프라이즈 아키텍처를 포함하여 Azure Databricks 아키텍처에 대한 개략적인 개요를 제공합니다.

상위 수준 아키텍처

Azure Databricks는 컨트롤 플레인 및 컴퓨팅 플레인에서 작동합니다.

  • 컨트롤 플레인에는 Azure Databricks가 Azure Databricks 계정에서 관리하는 백 엔드 서비스가 포함됩니다. 컨트롤 플레인 웹 애플리케이션

  • 컴퓨팅 평면은 데이터가 처리되는 위치를 말합니다. 사용 중인 컴퓨팅에 따라 두 가지 유형의 컴퓨팅 평면이 있습니다.

    • 서버리스 컴퓨팅에는, 서버리스 컴퓨팅 리소스가 Azure Databricks 계정의 서버리스 컴퓨터팅 플레인에서 실행되게 됩니다.
    • 클래식 Azure Databricks 컴퓨팅의 경우에는 컴퓨팅 리소스는 클래식 컴퓨팅 플레인이라고 하는 계정 안에 있습니다. 이는 Azure 구독의 네트워크 및 해당 리소스를 나타냅니다.

    클래식 컴퓨팅 및 서버리스 컴퓨팅에 대한 자세한 내용은 컴퓨팅 유형을 참조하세요.

각 Azure Databricks 작업 영역에는 작업 영역 스토리지 계정이라고 하는 스토리지 계정이 있습니다. 작업 공간 저장 계정은 Azure 구독에 있습니다.

다음 다이어그램에서는 전체 Azure Databricks 아키텍처를 설명합니다.

다이어그램: Databricks 아키텍처

서버리스 컴퓨팅 플레인

서버리스 컴퓨팅 플레인에서 Azure Databricks 컴퓨팅 리소스는 Azure Databricks 계정 내의 컴퓨팅 계층에서 실행됩니다. Azure Databricks는 작업 공간의 기존 컴퓨팅 평면과 동일한 Azure 영역에 서버리스 컴퓨팅 평면을 생성합니다. 작업 영역을 만들 지역을 선택합니다.

서버리스 컴퓨팅 평면 내에서 고객 데이터를 보호하기 위해 서버리스 컴퓨팅은 워크스페이스의 네트워크 경계 내에서 실행되며, 다양한 보안 계층을 통해 서로 다른 Azure Databrick 고객 워크스페이스를 격리하고 동일한 고객의 클러스터 간에 추가 네트워크 제어 기능을 제공합니다.

서버리스 컴퓨팅 평면의 네트워킹에 대해 자세히 알아보려면 서버리스 컴퓨팅 평면 네트워킹을 참조하세요.

클래식 컴퓨팅 평면

기존 컴퓨팅 평면에서 Azure Databricks 컴퓨팅 리소스는 Azure 구독에서 실행됩니다. 고객의 Azure 구독에서 각 작업 공간의 가상 네트워크 내에 새로운 컴퓨팅 리소스가 생성됩니다.

클래식 컴퓨팅 평면은 각 고객의 Azure 구독에서 실행되기 때문에 자연 격리되어 있습니다. 클래식 컴퓨팅 평면의 네트워킹에 대한 자세한 내용은 클래식 컴퓨팅 평면 네트워킹을 참조하세요.

지역별 지원은 Azure Databricks 지역을 참조하세요.

작업 영역 스토리지 계정

작업 영역을 만들 때 Azure Databricks는 작업 영역 스토리지 계정으로 사용할 계정을 Azure 구독에 만듭니다.

작업 영역 스토리지 계정에는 다음이 포함됩니다.

  • 작업 영역 시스템 데이터: Notebook 만들기와 같은 다양한 Azure Databricks 기능을 사용하면 작업 영역 시스템 데이터가 생성됩니다. 이 버킷에는 Notebook 수정 버전, 작업 실행 세부 정보, 명령 결과 및 Spark 로그가 포함됩니다.
  • DBFS: DBFS(Databricks 파일 시스템)는 dbfs:/ 네임스페이스에서 액세스할 수 있는 Azure Databricks 환경의 분산 파일 시스템입니다. DBFS 루트 및 DBFS 탑재는 모두 dbfs:/ 네임스페이스에 있습니다. DBFS 루트 또는 DBFS 탑재를 사용한 데이터 저장 및 액세스는 사용되지 않는 패턴이며 Databricks에서 권장하지 않습니다. 자세한 내용은 DBFS란?을 참조하세요.
  • Unity 카탈로그 작업 영역 카탈로그: 작업 영역이 자동으로 Unity 카탈로그에 사용하도록 설정된 경우 작업 영역 스토리지 계정에 기본 작업 영역 카탈로그가 포함됩니다. 작업 영역의 모든 사용자는 이 카탈로그의 기본 스키마에 자산을 만들 수 있습니다. Unity 카탈로그 설정 및 관리를 참조하세요.

권한 있는 리소스 및 네트워크에서만 작업 영역 스토리지 계정에 대한 액세스를 제한하려면 작업 영역 스토리지 계정에 대한 방화벽 지원 사용을 참조하세요.