태그로 사용량 모니터링하기
비용을 모니터링하고 Azure Databricks 사용량을 조직의 사업부 및 팀(예: 차지백)에 정확하게 특성화하려면 작업 영역(리소스 그룹)에 태그를 지정하고 리소스를 계산할 수 있습니다. 이러한 태그는 Azure Portal에서 액세스할 수 있는 자세한 비용 분석 보고서에 전파됩니다.
참고: 태그 데이터는 전역적으로 복제될 수 있습니다. 리소스의 보안을 손상시킬 수 있는 태그 이름이나 values 사용하지 마세요. 예를 들어 개인 정보나 중요한 정보가 포함된 태그 이름은 사용하지 마십시오.
다음은 Azure Portal의 비용 분석 청구서 세부 정보 보고서로, 1개월 동안 태그별로 clusterid 비용을 자세히 설명합니다.
태그가 지정된 개체 및 리소스
| Object | 태그 지정 인터페이스(UI) | 태그 지정 인터페이스(API) |
|---|---|---|
| 작업 영역 | Azure Portal | Azure Resources API |
| 풀 | Azure Databricks 작업 영역의 풀 UI | 인스턴스 풀 API |
| 다목적 및 작업 컴퓨팅 | Azure Databricks 작업 영역의 컴퓨팅 UI | 클러스터 API |
| SQL 웨어하우스 | Azure Databricks 작업 영역의 SQL Warehouse UI | Warehouses API |
Warning
Name 키가 있는 사용자 지정 태그를 클러스터에 할당하지 마세요. 모든 클러스터에는 Azure Databricks에서 값이 set인 태그 Name가 있습니다.
Name 키와 연결된 값을 변경하면 Azure Databricks에서 클러스터를 더 이상 추적할 수 없습니다. 따라서 유휴 상태가 되면 클러스터가 종료되지 않을 수 있으며 사용 비용이 계속 발생합니다.
기본 태그
Azure Databricks는 다목적 컴퓨팅에 다음 기본 태그를 추가합니다.
| 태그 키 | 값 |
|---|---|
Vendor |
상수 값: Databricks |
ClusterId |
클러스터의 Azure Databricks 내부 ID |
ClusterName |
클러스터의 이름 |
Creator |
클러스터를 만든 사용자의 사용자 이름(이메일 주소) |
작업 클러스터에 있는 Azure Databricks에는 다음의 기본 태그도 적용됩니다.
| 태그 키 | 값 |
|---|---|
RunName |
작업 이름 |
JobId |
작업 ID |
Azure Databricks는 모든 풀에 다음 기본 태그를 추가합니다.
| 태그 키 | 값 |
|---|---|
Vendor |
상수 값: Databricks |
DatabricksInstancePoolCreatorId |
풀을 만든 사용자의 Azure Databricks 내부 ID |
DatabricksInstancePoolId |
풀의 Azure Databricks 내부 ID |
Lakehouse 모니터링에서 사용하는 컴퓨팅에서 Azure Databricks는 다음 태그도 적용합니다.
| 태그 키 | 값 |
|---|---|
LakehouseMonitoring |
true |
LakehouseMonitoringTableId |
모니터링되는 table ID |
LakehouseMonitoringWorkspaceId |
where 작업 영역에서 생성된 모니터의 ID |
LakehouseMonitoringMetastoreId |
모니터링되는 table이 존재하는 메타스토어 where의 ID |
서버리스 컴퓨팅 워크로드 태그 지정
서버리스 컴퓨팅 사용량을 사용자, 그룹 또는 프로젝트에 특성화하려면 예산 정책을 사용할 수 있습니다. 사용자에게 예산 정책이 할당되면 서버리스 사용은 정책의 태그로 자동으로 태그가 지정됩니다. 예산 정책이 있는 특성 서버리스 사용량을 참조하세요.
태그 전파
작업 영역, 풀 및 클러스터 태그는 Azure Databricks에 의해 집계되고 비용 분석 보고를 위해 Azure VM으로 전파됩니다. 하지만 풀 및 클러스터 태그는 서로 다르게 전파됩니다.
작업 영역과 풀 태그는 풀을 호스트하는 Azure VM의 리소스 태그로 집계되고 할당됩니다.
작업 영역과 클러스터 태그는 클러스터를 호스트하는 Azure VM의 리소스 태그로 집계되고 할당됩니다.
클러스터가 풀에서 만들어지면 작업 영역 태그와 풀 태그만 VM에 전파됩니다. 클러스터 태그는 풀 클러스터 시작 성능을 유지하기 위해 전파되지 않습니다.
태그 충돌 해결
사용자 지정 클러스터 태그, 풀 태그 또는 작업 영역 태그의 이름이 Azure Databricks 기본 클러스터 또는 풀 태그와 x_ 동일한 경우 사용자 지정 태그는 전파될 때 접두사가 지정됩니다.
예를 들어 작업 영역에 vendor = Azure Databricks로 태그가 지정되면 해당 태그가 vendor = Databricks 기본 클러스터 태그와 충돌합니다. 이에 따라 태그는 x_vendor = Azure Databricks 및 vendor = Databricks로 전파됩니다.
제한 사항
- 변경 후 사용자 지정 작업 영역 태그가 Azure Databricks에 전파되는 데 최대 1시간이 걸릴 수 있습니다.
- Azure 리소스에는 50개 이하의 태그를 할당할 수 있습니다. 집계된 태그의 전체 수가 이 limit를 초과하면,
x_로 시작하는 태그는 알파벳 순서대로 평가되며, limit를 넘는 태그는 무시됩니다. 모든x_접두사가 있는 태그가 무시되고 개수가 limit을 초과하는 경우, 나머지 태그는 알파벳 순으로 평가되며 limit를 초과하는 태그는 무시됩니다. - 태그 키와 values는 알파벳 문자, 공백, 숫자 또는 문자
+,-,=,.,_,:,/,@만 포함할 수 있습니다. 다른 문자를 포함하는 태그가 잘못되었습니다. - 태그 키 이름을 변경하거나 values경우 이러한 변경 내용은 클러스터를 다시 시작하거나 풀을 확장한 후에만 적용됩니다.
- 클러스터의 사용자 지정 태그가 풀의 사용자 지정 태그와 충돌하는 경우 클러스터를 만들 수 없습니다.
- 새로 추가된 작업 영역 태그는 기존 컴퓨팅 리소스에 자동으로 전파되지 않습니다. 전파할 새 태그를
컴퓨팅 리소스의 세부 정보 페이지를 열고 편집을 클릭한 다음확인 및 다시 시작 .
태그 지정 모범 사례
- 태그를 수동으로 입력할 수 있으므로 조직에서 키-값 쌍을 표준화해야 합니다. Databricks는 모든 사용자와 공유할 수 있는 키 및 값 이름 지정에 대한 비즈니스 정책을 개발하는 것이 좋습니다.
- 모든 리소스는 사업부 또는 프로젝트에 대한 사용 특성을 지정하는 일반 키로 태그를 지정해야 합니다. 예를 들어 재무 팀이 연간 예산에 대해 만든 작업 컴퓨팅 리소스에는
business-unit:finance태그와project:annual-budget포함될 수 있습니다. - 보다 세부적인 인사이트를 보려면 높은 특이성 키를 사용하여 태그를 할당합니다. 예를 들어 역할, 제품, 서비스 또는 고객을 기반으로 키를 만들 수 있습니다.
- 해당하는 경우 작업 영역 관리자는 컴퓨팅 정책 및 예산 정책을 사용하여 태그를 적용해야 합니다. 사용자 지정 태그 강제 시행참조하세요.