비용 제공 모델 모니터링

이 문서에서는 시스템 테이블을 사용하여 Azure Databricks 계정에서 엔드포인트를 제공하는 Mosaic AI 모델의 비용을 모니터링하는 방법에 대한 예제를 제공합니다.

요구 사항

• 시스템 테이블에 액세스하려면 Unity Catalog에 대해 작업 영역을 사용해야 합니다. 자세한 내용은 시스템 테이블 스키마 사용을 참조하세요.

청구 사용량 시스템 테이블 SKU

청구 가능한 사용량 시스템 테이블을 사용하여 Azure Databricks에서 모델 서비스 비용을 추적할 수 있습니다. 청구 사용량 시스템 테이블을 사용하도록 설정하면 테이블이 Databricks 계정의 최신 사용량으로 자동으로 채워집니다. 비용은 다음 중 하나로 열 system.billing.usage 이 있는 테이블에 표시됩니다sku_name.

사용량 쿼리 및 시각화

테이블을 쿼리 system.billing.usage 하여 Mosaic AI 모델 서비스 제공과 연결된 모든 DTU(Databricks 단위)를 집계할 수 있습니다. 다음은 SQL을 사용하여 지난 30일 동안 하루에 DTU를 제공하는 모델을 집계하는 예제 쿼리입니다.

SELECT SUM(usage_quantity) AS model_serving_dbus,
usage_date
FROM system.billing.usage
WHERE sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
GROUP BY(usage_date)
ORDER BY usage_date DESC

LIMIT 30

비용 관찰 대시보드

비용을 제공하는 모델 모니터링을 시작하려면 GitHub에서 예제 비용 특성 대시보드를 다운로드합니다. 모델 서비스 비용 특성 대시보드를 참조하세요.

JSON 파일을 다운로드한 후 대시보드를 작업 영역으로 가져옵니다. 대시보드 가져오기에 대한 지침은 대시보드 파일 가져오기를 참조하세요.

이 대시보드를 사용하는 방법

이 대시보드는 AI/BI를 통해 구동되며 시스템 테이블에 액세스할 수 있어야 합니다. 작업 영역 수준에서 서비스 엔드포인트 비용 및 사용량에 대한 인사이트를 제공합니다.

다음 단계를 시작합니다.

1. 작업 영역 ID를 입력합니다.
2. 시작 날짜 및 종료 날짜를 선택합니다.
3. 드롭다운 목록에서 특정 엔드포인트 이름을 선택하여 대시보드를 필터링합니다(특정 엔드포인트에 관심이 있는 경우).
4. 엔드포인트에 사용자 지정 태그를 사용하는 경우 태그 키를 별도로 입력합니다.

사용할 수 있는 차트

이 대시보드에는 다음 차트가 포함되어 있습니다. 이는 비용 특성 대시보드를 제공하는 고유한 사용자 지정 버전의 모델을 빌드하기 위한 시작점입니다.

• 지난 7일 최고 엔드포인트 사용량
• 일일 총 $DBU 사용량
• 엔드포인트 유형별 비용 제공 모델
  • 토큰당 종량제
  • CPU/GPU
  • 파운데이션 모델
• 모델별 일일 사용량 서비스 유형
• 가장 비용이 많이 드는 서비스 엔드포인트 상위 10개
• 가장 비용이 많이 드는 토큰당 종량제 엔드포인트 상위 10개
• LLM 미세 조정 지난 7일 지출
• 전자 메일당 LLM 미세 조정 지출

태그를 사용하여 비용 모니터링

처음에는 집계된 비용이 전체 모델 제공 비용을 관찰하기에 충분할 수 있습니다. 그러나 엔드포인트 수가 증가함에 따라 사용 사례, 사업부 또는 기타 사용자 지정 식별자에 따라 비용을 절감할 수 있습니다. 모델 서비스 제공은 엔드포인트를 제공하는 모델에 적용할 수 있는 사용자 지정 태그 만들기를 지원합니다.

엔드포인트를 제공하는 모델에 적용된 모든 사용자 지정 태그는 열 아래 system.billing.usage 의 custom_tags 테이블에 전파되며 비용을 집계하고 시각화하는 데 사용할 수 있습니다. Databricks는 정확한 비용 추적을 위해 각 엔드포인트에 설명 태그를 추가하는 것이 좋습니다.

예제 쿼리

비용별 상위 엔드포인트:

SELECT
  usage_metadata.endpoint_name AS endpoint_name,
  SUM(usage_quantity) AS model_serving_dbus
FROM
  system.billing.usage
WHERE
  sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
  AND usage_metadata.endpoint_name IS NOT NULL
GROUP BY endpoint_name
ORDER BY model_serving_dbus DESC
LIMIT 30;

시간이 지남에 따라 태그("business_unit": "데이터 과학")를 사용하는 비용:

SELECT
  SUM(usage_quantity) AS model_serving_dbus,
  usage_date
FROM
  system.billing.usage
WHERE sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
  AND custom_tags['business_unit'] = 'data science'
GROUP BY usage_date
ORDER BY usage_date DESC

LIMIT 30

추가 리소스

계정에서 작업 비용을 모니터링하는 방법에 대한 예제는 시스템 테이블사용하여 작업 비용 & 성능 모니터링을 참조하세요.