Compartilhar via

Monitorar o custo da computação sem servidor

  • Artigo

Este artigo explica como usar a tabela do sistema de uso faturável (Visualização Pública) para monitorar o custo do uso da computação sem servidor.

Você pode monitorar o uso de computação sem servidor para notebooks e trabalhos consultando a tabela do sistema de uso faturável (system.billing.usage), que inclui atributos de usuário e carga de trabalho relacionados aos custos de computação sem servidor. Os campos aplicáveis incluem:

  • A coluna identity_metadata inclui o campo run_as, que mostra o usuário ou a entidade de serviço cujas credenciais foram usadas para executar a carga de trabalho.
  • A coluna usage_metadata tem campos que descrevem a carga de trabalho: job_run_id, job_name, notebook_id e notebook_path.

Considerações para registros de uso sem servidor

Ao analisar o uso sem servidor, considere o seguinte:

  • Você pode ver vários registros associados a uma determinada carga de trabalho de computação sem servidor em uma determinada hora. Por exemplo, você pode ver vários registros com o mesmo job_id, job_run_id ou job_name, porém com valores de consumo de DBU diferentes para cada um. A soma dessas DBUs representa coletivamente o consumo horário de DBU para uma determinada execução de trabalho.

Observação

Para obter uma atualização sobre a atribuição de carga de trabalho nula, consulte O que está por vir?.

Usar orçamentos para monitorar os gastos

Os administradores de conta podem configurar orçamentos para agrupar custos e configurar alertas. Confira Usar orçamentos para monitorar os gastos da conta.

Importar um painel de uso

Os administradores de conta podem importar painéis de gerenciamento de custos para qualquer espaço de trabalho habilitado para o Catálogo do Unity em sua conta. Confira Importar um painel de uso.

Localizar um trabalho ou notebook na interface do usuário

Para localizar um trabalho ou notebook na interface do usuário com base em um registro de cobrança, copie o valor usage_metadata.job_id ou usage_metadata.notebook_id do registro de uso. Essas IDs são imutáveis e podem ser usadas mesmo se o nome do trabalho ou o caminho do notebook for alterado.

Para encontrar um trabalho na interface do usuário com base em job_id:

  1. Copie job_id do registro de uso. Para este exemplo, suponha que a ID seja 700809544510906.
  2. Navegue até a interface do usuário de Fluxos de trabalho no mesmo workspace do Azure Databricks que o trabalho.
  3. Verifique se o filtro Somente pertencentes a mim estão desmarcados.
  4. Cole a ID (700809544510906) na barra de pesquisa Filtrar trabalhos.

Para encontrar um notebook na interface do usuário com base em notebook_id, siga as seguintes instruções:

  1. Copienotebook_id do registro de uso. Para este exemplo, suponha que a ID seja 700809544510906.
  2. Navegue até a interface do usuário de Workspaces no mesmo workspace do Azure Databricks que o trabalho.
  3. Clique em qualquer notebook na lista.
  4. Depois de abrir o bloco de anotações, examine a URL na barra de endereços do navegador. Ela deve ter aparência semelhante a https://<account-console-url>/?o=<workspace ID>#notebook/<notebook ID>/command/<command ID>.
  5. Na barra de endereços do navegador, substitua a ID do notebook pela ID copiada na primeira etapa e exclua tudo após a ID do notebook. Ela deve ter aparência semelhante a https://<account-console-url>/?o=<workspace ID>#notebook/700809544510906.
  6. Depois de abrir o notebook, você pode clicar no botão Compartilhar para exibir o proprietário do notebook.

Use alertas para rastrear gastos sem servidor

Os alertas são uma maneira poderosa de se manter informado sobre seus gastos sem servidor. Com os alertas, você pode receber notificações quando determinadas condições são atendidas nos resultados da consulta. Para saber como criar alertas, confira Criar um alerta.

Você pode adicionar alertas às consultas a seguir para monitorar os orçamentos. Em cada consulta, substitua {budget} pelo orçamento escolhido.

Alerta quando qualquer gasto de workspace excede um limite nos últimos 30 dias

Você pode definir um alerta a ser disparado sempre que esta consulta retornar uma linha. Substitua {budget} pelo orçamento escolhido.

SELECT
   t1.workspace_id,
   SUM(t1.usage_quantity * list_prices.pricing.default) as list_cost
FROM system.billing.usage t1
INNER JOIN system.billing.list_prices on
   t1.cloud = list_prices.cloud and
   t1.sku_name = list_prices.sku_name and
   t1.usage_start_time >= list_prices.price_start_time and
   (t1.usage_end_time <= list_prices.price_end_time or list_prices.price_end_time is null)
WHERE
   t1.sku_name LIKE '%SERVERLESS%'
   AND billing_origin_product IN ("JOBS", "INTERACTIVE")
   AND t1.usage_date >= CURRENT_DATE() - INTERVAL 30 DAYS
GROUP BY
   t1.workspace_id
HAVING
   list_cost > {budget}

Alerta quando um usuário excede o limite nos últimos 30 dias

Você pode definir um alerta a ser disparado sempre que esta consulta retornar uma linha. Substitua {budget} pelo orçamento escolhido.

SELECT
   t1.identity_metadata.run_as,
   SUM(t1.usage_quantity * list_prices.pricing.default) as list_cost
FROM system.billing.usage t1
INNER JOIN system.billing.list_prices on
   t1.cloud = list_prices.cloud and
   t1.sku_name = list_prices.sku_name and
   t1.usage_start_time >= list_prices.price_start_time and
   (t1.usage_end_time <= list_prices.price_end_time or list_prices.price_end_time is null)
WHERE
   t1.sku_name LIKE '%SERVERLESS%'
   AND billing_origin_product IN ("JOBS", "INTERACTIVE")
   AND t1.usage_date >= CURRENT_DATE() - INTERVAL 30 DAYS
GROUP BY
   t1.identity_metadata.run_as
HAVING
   list_cost > {budget}

Alerta quando um trabalho excede o limite nos últimos 30 dias

Você pode definir um alerta a ser disparado sempre que esta consulta retornar uma linha. Substitua {budget} pelo orçamento escolhido.

SELECT
   t1.workspace_id,
   t1.usage_metadata.job_id,
   SUM(t1.usage_quantity * list_prices.pricing.default) as list_cost
FROM system.billing.usage t1
INNER JOIN system.billing.list_prices on
   t1.cloud = list_prices.cloud and
   t1.sku_name = list_prices.sku_name and
   t1.usage_start_time >= list_prices.price_start_time and
   (t1.usage_end_time <= list_prices.price_end_time or list_prices.price_end_time is null)
WHERE
   t1.sku_name LIKE '%SERVERLESS%'
   AND billing_origin_product IN ("JOBS")
   AND t1.usage_date >= CURRENT_DATE() - INTERVAL 30 DAYS
GROUP BY
   t1.workspace_id, t1.usage_metadata.job_id,
HAVING
   list_cost > {budget}

Consultas de exemplo

Use as seguintes consultas para obter informações sobre o uso sem servidor em sua conta:

Identificar notebooks de computação sem servidor de alto custo

Esta consulta retorna uma lista de notebooks e quantas DBUs cada notebook consumiu, em ordem decrescente de consumo de DBU:

SELECT
  usage_metadata.notebook_id,
  SUM(usage_quantity) as total_dbu
FROM
  system.billing.usage
WHERE
  usage_metadata.notebook_id is not null
  and billing_origin_product = 'INTERACTIVE'
  and product_features.is_serverless
  and usage_unit = 'DBU'
  and usage_date >= DATEADD(day, -30, current_date)
GROUP BY
  1
ORDER BY
  total_dbu DESC

Identificar trabalhos de computação sem servidor de alto custo

Esta consulta retorna uma lista de trabalhos e quantas DBUs cada trabalho consumiu, em ordem decrescente de consumo de DBU:

SELECT
  usage_metadata.job_id,
  SUM(usage_quantity) as total_dbu
FROM
  system.billing.usage
WHERE
  usage_metadata.job_id is not null
  and billing_origin_product = 'JOBS'
  and product_features.is_serverless
  and usage_unit = 'DBU'
  and usage_date >= DATEADD(day, -30, current_date)
GROUP BY
  1
ORDER BY
  total_dbu DESC

Relatório sobre DBUs consumidas por um usuário específico

Esta consulta retorna uma lista de notebooks e trabalhos que usam a computação sem servidor executada por um determinado usuário ou entidade de serviço e o número de DBUs consumidas por cada carga de trabalho:

SELECT
  usage_metadata.job_id,
  usage_metadata.notebook_id,
  SUM(usage_quantity) as total_dbu
FROM
  system.billing.usage
WHERE
  identity_metadata.run_as = '<emailaddress@domain.com>'
  and billing_origin_product in ('JOBS','INTERACTIVE')
  and product_features.is_serverless
  and usage_unit = 'DBU'
  and usage_date >= DATEADD(day, -30, current_date)
GROUP BY
  1,2
ORDER BY
  total_dbu DESC

Relatório sobre DBUs de computação sem servidor consumidas por cargas de trabalho que compartilham uma marca personalizada

Esta consulta retorna uma lista de trabalhos que usam computação sem servidor que compartilham a mesma marca personalizada e o número de DBUs consumidas por cada carga de trabalho:

SELECT
  usage_metadata.job_id,
  usage_metadata.notebook_id,
  SUM(usage_quantity) as total_dbu
FROM
  system.billing.usage
WHERE
  custom_tags.<key> = '<value>'
  and billing_origin_product in ('JOBS','INTERACTIVE')
  and product_features.is_serverless
  and usage_unit = 'DBU'
  and usage_date >= DATEADD(day, -30, current_date)
GROUP BY
  1,2
ORDER BY
  total_dbu DESC