Udostępnij za pośrednictwem

Monitorowanie kosztów obsługi modelu

  • Artykuł

W tym artykule przedstawiono przykłady używania tabel systemowych do monitorowania kosztów punktów końcowych obsługi modelu sztucznej inteligencji mozaiki na koncie usługi Azure Databricks.

Wymagania

  • Aby uzyskać dostęp do tabel systemowych, obszar roboczy musi być włączony dla wykazu aparatu Unity. Aby uzyskać więcej informacji, zobacz Włączanie schematów tabel systemowych.

Jednostka SKU tabeli użycia rozliczeń

Koszty obsługi modeli można śledzić w usłudze Azure Databricks przy użyciu rozliczanej tabeli systemu użycia. Po włączeniu tabeli systemu użycia rozliczeń tabela zostanie automatycznie wypełniona najnowszym użyciem na koncie usługi Databricks. Koszty są wyświetlane w system.billing.usage tabeli z kolumną sku_name jako jedna z następujących:

sku_name opis
<tier>_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_<region> Ta jednostka SKU obejmuje wszystkie jednostki DBU naliczane po uruchomieniu punktu końcowego po skalowaniu do zera.
<tier>_SERVERLESS_REAL_TIME_INFERENCE_<region> Wszystkie inne koszty obsługi modelu są pogrupowane w ramach tej jednostki SKU. Gdzie tier odpowiada warstwie platformy usługi Azure Databricks i region odpowiada regionowi chmury wdrożenia usługi Azure Databricks.

Wykonywanie zapytań i wizualizowanie użycia

Możesz wysłać zapytanie do tabeli, system.billing.usage aby zagregować wszystkie jednostki DBU (jednostki usługi Databricks) skojarzone z obsługą modelu sztucznej inteligencji mozaiki. Poniżej przedstawiono przykładowe zapytanie, które agreguje model obsługujący jednostki DBU dziennie w ciągu ostatnich 30 dni przy użyciu języka SQL:


SELECT SUM(usage_quantity) AS model_serving_dbus,
usage_date
FROM system.billing.usage
WHERE sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
GROUP BY(usage_date)
ORDER BY usage_date DESC

LIMIT 30

Pulpit nawigacyjny możliwości obserwowania kosztów

Aby ułatwić rozpoczęcie monitorowania kosztów obsługi modelu, pobierz przykładowy pulpit nawigacyjny przypisywania kosztów z usługi GitHub. Zobacz Pulpit nawigacyjny przypisywania kosztów do obsługi modelu.

Po pobraniu pliku JSON zaimportuj pulpit nawigacyjny do obszaru roboczego. Aby uzyskać instrukcje dotyczące importowania pulpitów nawigacyjnych, zobacz Importowanie pliku pulpitu nawigacyjnego.

Jak używać tego pulpitu nawigacyjnego

Ten pulpit nawigacyjny jest obsługiwany przez sztuczną inteligencję/usługę BI i musisz mieć dostęp do tabel systemowych. Zapewnia wgląd w koszty i użycie punktów końcowych obsługujących na poziomie obszaru roboczego.

Aby rozpocząć pracę, wykonaj następujące kroki:

  1. Wprowadź identyfikator obszaru roboczego.
  2. Wybierz datę rozpoczęcia i datę zakończenia.
  3. Filtruj pulpit nawigacyjny, wybierając konkretną nazwę punktu końcowego z listy rozwijanej (jeśli interesuje Cię określony punkt końcowy).
  4. Oddzielnie wprowadź klucz tagu, jeśli używasz tagów niestandardowych dla punktu końcowego.

Uwaga

Obsługa modelu wymusza domyślne limity w obszarze roboczym, aby upewnić się, że nie ma wydatków na wypadek. Zobacz Limity i regiony obsługi modeli.

Wykresy, których można użyć

Poniższe wykresy znajdują się na tym pulpicie nawigacyjnym. Są one przeznaczone do punktu wyjścia, aby utworzyć własną dostosowaną wersję modelu obsługującego pulpit nawigacyjny przypisywania kosztów.

  • Ostatnie 7 dni najwyższego użycia punktu końcowego
  • Dzienne łączne użycie $DBU
  • Model obsługujący koszty według typu punktu końcowego
    • Płatność za token
    • CPU/GPU
    • Model podstawy
  • Dzienne zużycie na typ obsługi modelu
  • 10 najbardziej kosztownych punktów końcowych obsługujących
  • 10 najbardziej kosztownych punktów końcowych płatności za token
  • Dostrajanie grzywny LLM w ciągu ostatnich 7 dni
  • Dostrajanie drobnych wydatków na pocztę e-mail

Monitorowanie kosztów przy użyciu tagów

Początkowo zagregowane koszty mogą być wystarczające do obserwowania ogólnych kosztów obsługi modelu. Jednak wraz ze wzrostem liczby punktów końcowych możesz podzielić koszty na podstawie przypadków użycia, jednostki biznesowej lub innych identyfikatorów niestandardowych. Obsługa modelu obsługuje tworzenie tagów niestandardowych, które można zastosować do punktów końcowych obsługujących model.

Wszystkie tagi niestandardowe stosowane do modelu obsługujące punkty końcowe są propagowane do system.billing.usage tabeli w custom_tags kolumnie i mogą służyć do agregowania i wizualizowania kosztów. Usługa Databricks zaleca dodawanie tagów opisowych do każdego punktu końcowego w celu precyzyjnego śledzenia kosztów.

Przykładowe zapytania

Najważniejsze punkty końcowe według kosztów:


SELECT
  usage_metadata.endpoint_name AS endpoint_name,
  SUM(usage_quantity) AS model_serving_dbus
FROM
  system.billing.usage
WHERE
  sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
  AND usage_metadata.endpoint_name IS NOT NULL
GROUP BY endpoint_name
ORDER BY model_serving_dbus DESC
LIMIT 30;

Koszt z tagami ("business_unit": "nauka o danych") w czasie:


SELECT
  SUM(usage_quantity) AS model_serving_dbus,
  usage_date
FROM
  system.billing.usage
WHERE sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
  AND custom_tags['business_unit'] = 'data science'
GROUP BY usage_date
ORDER BY usage_date DESC

LIMIT 30

Dodatkowe zasoby

Aby zapoznać się z przykładami monitorowania kosztów zadań na koncie, zobacz sekcję , dotyczącą monitorowania kosztów zadań i &, dotyczącą wydajności za pomocą tabel systemowych.