Monitore os custos de atendimento do modelo

Este artigo fornece exemplos de como usar tabelas do sistema para monitorar o custo dos pontos de extremidade do Mosaic AI Model Serving em sua conta do Azure Databricks.

Requisitos

• Para acessar as tabelas do sistema, seu espaço de trabalho deve estar habilitado para o Catálogo Unity. Para obter mais informações, consulte Habilitar esquemas de tabela do sistema.

Tabela do sistema de uso de faturamento SKU

Você pode acompanhar os custos de serviço de modelo no Azure Databricks usando a tabela do sistema de uso faturável. Depois que a tabela do sistema de uso de cobrança estiver ativada, a tabela será preenchida automaticamente com o uso mais recente em sua conta do Databricks. Os custos aparecem na tabela com coluna system.billing.usagesku_name como um dos seguintes:

Consultar e visualizar o uso

Você pode consultar a system.billing.usage tabela para agregar todos os DBUs (Databricks Units) associados ao Mosaic AI Model Serving. A seguir está um exemplo de consulta que agrega modelo servindo DBUs por dia nos últimos 30 dias usando SQL:

SELECT SUM(usage_quantity) AS model_serving_dbus,
usage_date
FROM system.billing.usage
WHERE sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
GROUP BY(usage_date)
ORDER BY usage_date DESC

LIMIT 30

Painel de observação de custos

Para ajudá-lo a começar a monitorar seus custos de serviço de modelo, baixe o painel de atribuição de custos de exemplo do GitHub. Consulte Painel de atribuição de custos de serviço de modelo.

Depois de baixar o arquivo JSON, importe o painel para seu espaço de trabalho. Para obter instruções sobre como importar painéis, consulte Importar um arquivo de painel.

Como usar este painel

Este painel é alimentado por IA / BI e você precisa ter acesso às tabelas do sistema. Ele fornece informações sobre seus custos de ponto final de serviço e uso no nível do espaço de trabalho.

Os seguintes passos ajudam-no a começar:

1. Insira o ID do espaço de trabalho.
2. Selecione a data de início e a data de término.
3. Filtre o painel selecionando o nome do ponto de extremidade específico na lista suspensa (se você estiver interessado em um ponto de extremidade específico).
4. Separadamente, insira a chave de tag se você usar qualquer tag personalizada para seu ponto de extremidade.

Gráficos que pode utilizar

Os gráficos a seguir estão incluídos neste painel. Estes destinam-se a ser o ponto de partida para você construir sua própria versão personalizada do modelo que serve o painel de atribuição de custos.

• Últimos 7 dias Top Endpoint Consumption
• Utilização Total Diária de $DBU
• Modelo de Servindo Custos por Tipo de Ponto Final
  • Pagamento por token
  • CPU/GPU
  • Modelo de Fundação
• Consumo diário por tipo de porção do modelo
• Top 10 Terminais de Serviço Mais Caros
• Top 10 Endpoints Pay-Per-Token Mais Caros
• LLM Ajuste fino Últimos 7 dias Passar
• LLM Ajuste fino de gastos por e-mail

Use tags para monitorar custos

Inicialmente, os custos agregados podem ser suficientes para observar os custos gerais do modelo de serviço. No entanto, à medida que o número de pontos de extremidade aumenta, convém dividir os custos com base no caso de uso, unidade de negócios ou outros identificadores personalizados. O serviço de modelo suporta a criação de tags personalizadas que podem ser aplicadas aos pontos de extremidade de serviço do modelo.

Todas as tags personalizadas aplicadas aos pontos de extremidade de serviço de modelo se propagam para a system.billing.usage tabela sob a custom_tags coluna e podem ser usadas para agregar e visualizar custos. A Databricks recomenda a adição de tags descritivas a cada ponto final para um acompanhamento preciso dos custos.

Consultas de exemplo

Principais endpoints por custo:

SELECT
  usage_metadata.endpoint_name AS endpoint_name,
  SUM(usage_quantity) AS model_serving_dbus
FROM
  system.billing.usage
WHERE
  sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
  AND usage_metadata.endpoint_name IS NOT NULL
GROUP BY endpoint_name
ORDER BY model_serving_dbus DESC
LIMIT 30;

Custo com tags ("business_unit": "ciência de dados") ao longo do tempo:

SELECT
  SUM(usage_quantity) AS model_serving_dbus,
  usage_date
FROM
  system.billing.usage
WHERE sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
  AND custom_tags['business_unit'] = 'data science'
GROUP BY usage_date
ORDER BY usage_date DESC

LIMIT 30

Recursos adicionais

Para obter exemplos sobre como monitorar o custo de trabalhos em sua conta, consulte Monitorar custos de trabalho & desempenho com tabelas de sistema.