Azure Databricks에 대한 사용자 정의 경로 설정
Azure Databricks 작업 영역이 고유한 VNet(가상 네트워크)에 배포된 경우 UDR(사용자 정의 경로)이라고도 하는 사용자 지정 경로를 사용하여 작업 영역에 대해 네트워크 트래픽이 올바르게 라우팅되도록 할 수 있습니다. 예를 들어 가상 네트워크를 온-프레미스 네트워크에 연결하면 온-프레미스 네트워크를 통해 트래픽이 라우팅되고 Azure Databricks 컨트롤 플레인에 도달하지 못할 수 있습니다. 사용자 정의 경로를 사용하면 이 문제를 해결할 수 있습니다.
VNet의 모든 아웃바운드 연결 유형에 대해 UDR이 필요합니다. Azure 서비스 태그와 IP 주소를 모두 사용하여 사용자 정의 경로에서 네트워크 액세스 제어를 정의할 수 있습니다. Azure 서비스 태그를 사용하여 IP 변경으로 인한 서비스 중단을 방지하는 것이 좋습니다.
Azure 서비스 태그를 사용하여 사용자 정의 경로 구성
지정된 Azure 서비스의 IP 주소 접두사 그룹을 나타내는 Azure 서비스 태그를 사용하는 것이 좋습니다. Microsoft는 서비스 태그에 포함된 주소 접두사를 관리하고 주소가 변경되면 서비스 태그를 자동으로 업데이트합니다. IP 변경으로 인해 서비스가 중단되는 것을 방지하고, 이러한 IP를 주기적으로 조회할 필요가 없어 경로 table에서 update할 필요가 없습니다. 그러나 조직 정책에서 서비스 태그를 허용하지 않는 경우 필요에 따라 경로를 IP 주소로 지정할 수 있습니다.
서비스 태그를 사용하여 사용자 정의 경로는 다음 규칙을 사용하고 경로 table 가상 네트워크의 공용 및 프라이빗 서브넷에 연결해야 합니다.
| Source | 주소 접두사 | 다음 홉 유형 |
|---|---|---|
| 기본값 | Azure Databricks 서비스 태그 | 인터넷 |
| 기본값 | Azure SQL 서비스 태그 | 인터넷 |
| 기본값 | Azure Storage 서비스 태그 | 인터넷 |
| 기본값 | Azure Event Hubs 서비스 태그 | 인터넷 |
참고 항목
Microsoft Entra ID 서비스 태그를 추가하여 Azure Databricks 클러스터에서 Azure 리소스로 Microsoft Entra ID 인증을 용이하게 할 수 있습니다.
작업 영역에서 Azure Private Link를 사용하도록 설정하면 Azure Databricks 서비스 태그가 필요하지 않습니다.
Azure Databricks 서비스 태그는 Azure Databricks 컨트롤 플레인, SCC(보안 클러스터 연결)및 Azure Databricks 웹 애플리케이션에 필요한 아웃바운드 connections의 IP 주소를 나타냅니다.
Azure SQL 서비스 태그는 Azure Databricks 메타스토어로 필수적인 아웃바운드 connections의 IP 주소를 나타내며, Azure Storage 서비스 태그는 아티팩트 Blob 저장소 및 로그 Blob 저장소에 대한 IP 주소를 나타냅니다. Azure Event Hubs 서비스 태그는 Azure Event Hub에 로깅하는 데 필요한 아웃바운드 connections 나타냅니다.
일부 서비스 태그는 IP 범위를 지정된 지역으로 제한하여 보다 세부적으로 제어할 수 있게 해줍니다. 예를 들어 미국 서부 지역의 Azure Databricks 작업 영역에 대한 경로 table 다음과 같이 표시될 수 있습니다.
| 속성 | 주소 접두사 | 다음 홉 유형 |
|---|---|---|
| adb-servicetag | AzureDatabricks | 인터넷 |
| adb-metastore | Sql.WestUS | 인터넷 |
| adb-storage | Storage.WestUS | 인터넷 |
| adb-eventhub | EventHub.WestUS | 인터넷 |
사용자 정의 경로에 필요한 서비스 태그를
IP 주소를 사용하여 사용자 정의 경로 구성
Databricks는 Azure 서비스 태그를 사용하는 것이 좋지만 조직 정책에서 서비스 태그를 허용하지 않는 경우 IP 주소를 사용하여 사용자 정의 경로에서 네트워크 액세스 제어를 정의할 수 있습니다.
세부 정보는 작업 영역에 대해 SCC(보안 클러스터 연결)가 사용하도록 설정되었는지 여부에 따라 다릅니다.
- 작업 영역에 대해 보안 클러스터 연결이 사용하도록 설정된 경우 클러스터가 컨트롤 플레인의 보안 클러스터 연결 릴레이에 연결할 수 있도록 하는 UDR이 필요합니다. 해당 지역의 SCC 릴레이 IP로 표시된 시스템을 포함해야 합니다.
- 보안 클러스터 연결이 작업 영역에 대해 사용하지 않도록 설정된 경우 컨트롤 플레인 NAT에서 인바운드 연결이 있지만 해당 연결에 대한 하위 수준 TCP SYN-ACK는 기술적으로 UDR이 필요한 아웃바운드 데이터입니다. 해당 지역의 컨트롤 플레인 NAT IP로 표시된 시스템을 포함해야 합니다.
사용자 정의 경로는 다음 규칙을 사용하고 경로 table 가상 네트워크의 공용 및 프라이빗 서브넷에 연결해야 합니다.
| Source | 주소 접두사 | 다음 홉 유형 |
|---|---|---|
| 기본값 | 컨트롤 플레인 NAT IP(SCC가 사용하지 않도록 설정된 경우) | 인터넷 |
| 기본값 | SCC 릴레이 IP(SCC가 사용하도록 설정된 경우) | 인터넷 |
| 기본값 | 웹앱 IP | 인터넷 |
| 기본값 | 메타스토어 IP | 인터넷 |
| 기본값 | 아티팩트 Blob 스토리지 IP | 인터넷 |
| 기본값 | Blob 스토리지 IP 로그 | 인터넷 |
| 기본값 | 작업 영역 스토리지 IP - Blob Storage 엔드포인트 | 인터넷 |
| 기본값 | 작업 영역 스토리지 IP - ADLS gen2(dfs) 엔드포인트 |
인터넷 |
| 기본값 | Event Hubs IP | 인터넷 |
작업 영역에서 Azure Private Link 이 활성화된 경우, 사용자 정의 경로는 다음 규칙을 사용하고 경로 table를 가상 네트워크의 공용 및 프라이빗 서브넷에 연결해야 합니다.
| Source | 주소 접두사 | 다음 홉 유형 |
|---|---|---|
| 기본값 | 메타스토어 IP | 인터넷 |
| 기본값 | 아티팩트 Blob 스토리지 IP | 인터넷 |
| 기본값 | Blob 스토리지 IP 로그 | 인터넷 |
| 기본값 | Event Hubs IP | 인터넷 |
사용자 정의 경로에 필요한 IP 주소를 get 하기 위해 tables 및 지침을 사용하고, Azure Databricks 지역에서 사용합니다. 특히 다음의 내용을 수행하십시오.