Überwachen der Model Serving Kosten

Dieser Artikel enthält Beispiele für die Verwendung von Systemtabellen zum Überwachen der Kosten von Mosaik AI Model Serving-Endpunkten in Ihrem Azure Databricks-Konto.

Anforderungen

• Um auf Systemtabellen zuzugreifen, muss Ihr Arbeitsbereich für Unity Catalog aktiviert sein. Weitere Informationen finden Sie unter Aktivieren des Systemtabellenschemas.

SKU der Systemtabelle für die Abrechnungsnutzung

Sie können die Model-Serving-Kosten in Azure Databricks mithilfe der Systemtabelle für die abrechnungsfähige Nutzung verfolgen. Nachdem die Systemtabelle für die Abrechnungsnutzung aktiviert wurde, wird die Tabelle automatisch mit der neuesten Nutzung in Ihrem Databricks-Konto aufgefüllt. Die Kosten erscheinen in der Tabelle system.billing.usage mit der Spalte sku_name als eine der folgenden Angaben:

Nutzung abfragen und visualisieren

Sie können die Tabelle system.billing.usage abfragen, um alle mit Mosaic AI Model Serving verbundenen DBUs (Databricks Units) zu aggregieren. Nachfolgend finden Sie eine Beispielabfrage, die mit Hilfe von SQL die Model Serving DBUs pro Tag für die letzten 30 Tage aggregiert:

SELECT SUM(usage_quantity) AS model_serving_dbus,
usage_date
FROM system.billing.usage
WHERE sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
GROUP BY(usage_date)
ORDER BY usage_date DESC

LIMIT 30

Dashboard zur Kostenüberwachung

Um Ihnen den Einstieg in die Überwachung Ihrer Model-Serving-Kosten zu erleichtern, laden Sie das Beispielkosten-Attributions-Dashboard von GitHub herunter. Siehe Dashboard zur Kostenzuordnung von Model Serving.

Nachdem Sie die JSON-Datei heruntergeladen haben, importieren Sie das Dashboard in Ihren Arbeitsbereich. Anweisungen zum Importieren von Dashboards finden Sie unter Importieren einer Dashboarddatei.

Verwenden dieses Dashboards

Dieses Dashboard wird von KI/BI unterstützt, und Sie benötigen Zugriff auf die Systemtabellen. Es bietet Einblicke in die Kosten und die Nutzung Ihrer Serving-Endpunkte auf Arbeitsbereichsebene.

Mit den folgenden Schritten können Sie beginnen:

1. Geben Sie die Arbeitsbereichs-ID ein.
2. Wählen Sie das Start- und Enddatum aus.
3. Filtern Sie das Dashboard, indem Sie den spezifischen Endpunktnamen in der Dropdownliste auswählen (wenn Sie an einem bestimmten Endpunkt interessiert sind).
4. Geben Sie separat den Tag-Schlüssel ein, wenn Sie benutzerdefinierte Tags für Ihren Endpunkt verwenden.

Diagramme, die Sie verwenden können

Die folgenden Charts sind in diesem Dashboard enthalten. Diese sollen Ausgangspunkt für Sie sein, um Ihre eigene angepasste Version des Modells zu erstellen, das das Kostenzuordnungsdashboard bedient.

• Top-Endpunkt-Verbrauch der letzten 7 Tage
• Tägliche Gesamtnutzung $DBU
• Model-Serving-Kosten nach Endpunkttyp
  • Pay-per-Token
  • CPU/GPU
  • Grundlegende Modelle
• Täglicher Verbrauch pro Model-Serving-Typ
• Top 10 der teuersten Serving-Endpunkte
• Top 10 der teuersten Pay-Per-Token Endpunkte
• LLM Feinabstimmung der Ausgaben der letzten 7 Tage
• LLM Feinabstimmung Ausgaben pro E-Mail

Einsetzen von Tags zum Überwachen von Kosten

Zunächst könnten aggregierte Kosten ausreichen, um die Gesamtkosten des Model Serving zu beobachten. Da sich jedoch die Anzahl der Endpunkte erhöht, sollten Sie Kosten basierend auf Anwendungsfällen, Geschäftseinheiten oder anderen benutzerdefinierten Bezeichnern aufbrechen. Model Serving unterstützt das Erstellen benutzerdefinierter Tags, die auf die Model-Serving-Endpunkte angewandt werden können.

Alle benutzerdefinierten Tags, die auf Model-Serving-Endpunkte angewendet werden, werden in Tabelle system.billing.usage unter der Spalte custom_tags übertragen und können zur Aggregation und Visualisierung von Kosten verwendet werden. Databricks empfiehlt, jedem Endpunkt beschreibende Tags für die genaue Kostennachverfolgung hinzuzufügen.

Beispielabfragen

Top-Endpunkte nach Kosten:

SELECT
  usage_metadata.endpoint_name AS endpoint_name,
  SUM(usage_quantity) AS model_serving_dbus
FROM
  system.billing.usage
WHERE
  sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
  AND usage_metadata.endpoint_name IS NOT NULL
GROUP BY endpoint_name
ORDER BY model_serving_dbus DESC
LIMIT 30;

Kosten mit Tags („business_unit“: „Data Science“) im Laufe der Zeit:

SELECT
  SUM(usage_quantity) AS model_serving_dbus,
  usage_date
FROM
  system.billing.usage
WHERE sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
  AND custom_tags['business_unit'] = 'data science'
GROUP BY usage_date
ORDER BY usage_date DESC

LIMIT 30

Zusätzliche Ressourcen

Beispiele zum Überwachen der Kosten von Aufträgen in Ihrem Konto finden Sie unter Überwachen der Auftragskosten mit Systemtabellen.