Monitorar tabelas métricas

Esta página descreve as tabelas métricas criadas pelo monitoramento Databricks Lakehouse. Para obter informações sobre o painel criado por um monitor, consulte Usar o painel do SQL gerado.

Quando um monitor é executado em uma tabela Databricks, ele cria ou atualiza duas tabelas métricas: uma tabela de métricas de perfil e uma tabela de métricas de descompasso.

• A tabela de métricas de perfil contém estatísticas de resumo para cada coluna e para cada combinação de janela de tempo, fatia e colunas de agrupamento. Para a análise InferenceLog, a tabela de análise também contém métricas de precisão do modelo.
• A tabela de métricas de descompasso contém estatísticas que rastreiam as alterações na distribuição de uma métrica. As tabelas de descompasso podem ser usadas para visualizar ou alertar sobre alterações nos dados em vez de valores específicos. Os seguintes tipos de descompasso são calculados:
  • O descompasso consecutivo compara uma janela com a janela de tempo anterior. O descompasso consecutivo só é calculado se existir uma janela de tempo consecutiva após a agregação de acordo com as granularidades especificadas.
  • O descompasso da linha de base compara uma janela com a distribuição da linha de base determinada pela tabela da linha de base. O descompasso da linha de base só é calculado se uma tabela de linha de base for fornecida.

Onde as tabelas métricas estão localizadas

As tabelas métricas do monitor são salvas em {output_schema}.{table_name}_profile_metrics e {output_schema}.{table_name}_drift_metrics, onde:

• {output_schema} é o catálogo e o esquema especificados por output_schema_name.
• {table_name} é o nome da tabela que está sendo monitorada.

Como as estatísticas do monitor são calculadas

Cada estatística e métrica nas tabelas métricas é calculada para um intervalo de tempo especificado (chamado de "janela"). Para a análise Snapshot, a janela de tempo é um único ponto no tempo correspondente ao tempo em que a métrica foi atualizada. Para análise TimeSeries e InferenceLog, a janela de tempo é baseada nas granularidades especificadas em create_monitor e nos valores no timestamp_col especificado no argumento profile_type.

As métricas são sempre calculadas para toda a tabela. Além disso, se você fornecer uma expressão de fatiamento, as métricas serão calculadas para cada fatia de dados definida por um valor da expressão.

Por exemplo:

slicing_exprs=["col_1", "col_2 > 10"]

Gera as seguintes fatias: uma para col_2 > 10, uma para col_2 <= 10 e uma para cada valor exclusivo em col1.

As fatias são identificadas nas tabelas de métricas pelos nomes de coluna slice_key e slice_value. Neste exemplo, uma chave de fatia seria "col_2 > 10" e os valores correspondentes seriam "true" e "false". A tabela inteira é equivalente a slice_key = NULL e slice_value = NULL. As fatias são definidas por uma única chave de fatia.

As métricas são calculadas para todos os grupos possíveis definidos pelas janelas de tempo e chaves e valores de fatia. Além disso, para a análise InferenceLog, as métricas são calculadas para cada ID do modelo. Para obter detalhes, consulte Esquemas de coluna para tabelas geradas.

Estatísticas adicionais para monitoramento da precisão do modelo (somente análise InferenceLog)

As estatísticas adicionais são calculadas para InferenceLog análise.

• A qualidade do modelo é calculada se ambos os label_col e prediction_col forem fornecidos.
• As fatias são criadas automaticamente com base nos valores distintos de model_id_col.
• Para modelos de classificação, estatísticas de imparcialidade e viés são calculadas para fatias que têm um valor booleano.

Análise de consultas e tabelas de métricas de descompasso

Você pode consultar as tabelas de métricas diretamente. O exemplo a seguir é baseado em análise InferenceLog:

SELECT
  window.start, column_name, count, num_nulls, distinct_count, frequent_items
FROM census_monitor_db.adult_census_profile_metrics
WHERE model_id = 1    — Constrain to version 1
  AND slice_key IS NULL    — look at aggregate metrics over the whole data
  AND column_name = "income_predicted"
ORDER BY window.start

Esquemas de coluna para tabelas geradas

Para cada coluna na tabela primária, as tabelas de métricas contêm uma linha para cada combinação de colunas de agrupamento. A coluna associada a cada linha é mostrada na coluna column_name.

Para métricas baseadas em mais de uma coluna, como métricas de precisão de modelo, column_name é definido como :table.

Para métricas de perfil, as seguintes colunas de agrupamento são usadas:

• janela de tempo
• granularidade (somente análise TimeSeries e InferenceLog)
• Tipo de log - tabela de entrada ou tabela de linha de base
• chave e valor de fatia
• ID do modelo (somente análise InferenceLog)

Para métricas de descompasso, as seguintes colunas de agrupamento adicionais são usadas:

• janela de tempo de comparação
• Tipo de descompasso (comparação com a janela anterior ou comparação com a tabela de linha de base)

Os esquemas das tabelas métricas são mostrados abaixo e também são mostrados na documentação de referência da API de monitoramento do Databricks Lakehouse.

Esquema da tabela de métricas de perfil

A tabela a seguir mostra o esquema da tabela de métricas de perfil. Quando uma métrica não é aplicável a uma linha, a célula correspondente é nula.

[1] Formato de struct para confusion_matrix, precision, recall e f1_score:

[2] Para perfis de séries temporais ou de inferência, o monitor faz uma retrospectiva de 30 dias a partir do momento em que o monitor é criado. Devido a esse corte, a primeira análise pode incluir uma janela parcial. Por exemplo, o limite de 30 dias pode cair no meio de uma semana ou mês e, nesse caso, a semana ou o mês inteiro não serão incluídos no cálculo. Esse problema afeta apenas a primeira janela.

[3] A versão mostrada nesta coluna é a versão que foi usada para calcular as estatísticas na linha e pode não ser a versão atual do monitor. Cada vez que você atualiza as métricas, o monitor tenta recalcular as métricas calculadas anteriormente usando a configuração atual do monitor. A versão atual do monitor aparece nas informações do monitor retornadas pela API e pelo Cliente Python.

[4] Código de exemplo para recuperar o 50º percentil: SELECT element_at(quantiles, int((size(quantiles)+1)/2)) AS p50 ... ou SELECT quantiles[500] ... .

[5] Apenas mostrado se o monitor tiver o tipo de análise InferenceLog e se forem fornecidos label_col e prediction_col.

[6] Apenas mostrado se o monitor tiver o tipo de análise InferenceLog e se problem_type for classification.

Esquema de tabela de métricas de descompasso

A tabela a seguir mostra o esquema da tabela de métricas de descompasso. A tabela de descompasso só será gerada se uma tabela de linha de base for fornecida ou se existir uma janela de tempo consecutiva após a agregação de acordo com as granularidades especificadas.

[7] Para perfis de séries temporais ou de inferência, o monitor faz uma retrospectiva de 30 dias a partir do momento em que o monitor é criado. Devido a esse corte, a primeira análise pode incluir uma janela parcial. Por exemplo, o limite de 30 dias pode cair no meio de uma semana ou mês e, nesse caso, a semana ou o mês inteiro não serão incluídos no cálculo. Esse problema afeta apenas a primeira janela.

[8] A versão mostrada nesta coluna é a versão que foi usada para calcular as estatísticas na linha e pode não ser a versão atual do monitor. Cada vez que você atualiza as métricas, o monitor tenta recalcular as métricas calculadas anteriormente usando a configuração atual do monitor. A versão atual do monitor aparece nas informações do monitor retornadas pela API e pelo Cliente Python.

[9] A saída do índice de estabilidade populacional é um valor numérico que representa o quanto duas distribuições são diferentes. O intervalo é [0, inf). PSI < 0,1 significa que não há mudança populacional significativa. PSI < 0,2 indica mudança moderada da população. PSI >= 0,2 indica mudança populacional significativa.