Como fazer: Integre seus dados de métricas ao Consultor de Métricas

Use este artigo para saber mais sobre como integrar seus dados ao Metrics Advisor.

Requisitos e configuração do esquema de dados

O Azure AI Metrics Advisor é um serviço para deteção, diagnóstico e análise de anomalias de séries cronológicas. Como um serviço alimentado por IA, ele usa seus dados para treinar o modelo usado. O serviço aceita tabelas de dados agregados com as seguintes colunas:

• Medida (obrigatório): Uma medida é um termo fundamental ou específico da unidade e um valor quantificável da métrica. Significa uma ou mais colunas contendo valores numéricos.
• Carimbo de data/hora (opcional): zero ou uma coluna, com o tipo de DateTime ou String. Quando esta coluna não está definida, o carimbo de data/hora é definido como a hora de início de cada período de ingestão. Formate o carimbo de data/hora da seguinte forma: yyyy-MM-ddTHH:mm:ssZ.
• Dimensão (opcional): Uma dimensão é um ou mais valores categóricos. A combinação desses valores identifica uma série temporal univariada específica (por exemplo, país/região, idioma e locatário). As colunas de dimensão podem ser de qualquer tipo de dados. Tenha cuidado ao trabalhar com grandes volumes de colunas e valores, para evitar que um número excessivo de dimensões seja processado.

Se você estiver usando fontes de dados como o Armazenamento Azure Data Lake ou o Armazenamento de Blobs do Azure, poderá agregar seus dados para alinhar com o esquema de métricas esperado. Isso ocorre porque essas fontes de dados usam um arquivo como entrada de métricas.

Se você estiver usando fontes de dados como o Azure SQL ou o Azure Data Explorer, poderá usar funções de agregação para agregar dados ao esquema esperado. Isso ocorre porque essas fontes de dados oferecem suporte à execução de uma consulta para obter dados de métricas de fontes.

Se não tiver a certeza sobre alguns dos termos, consulte o Glossário.

Evite carregar dados parciais

Os dados parciais são causados por inconsistências entre os dados armazenados no Metrics Advisor e a fonte de dados. Isso pode acontecer quando a fonte de dados é atualizada depois que o Metrics Advisor termina de extrair dados. O Metrics Advisor só extrai dados de uma determinada fonte de dados uma vez.

Por exemplo, se uma métrica tiver sido integrada ao Consultor de Métricas para monitoramento. O Metrics Advisor captura com êxito os dados métricos no carimbo de data/hora A e executa a deteção de anomalias nele. No entanto, se os dados métricos desse carimbo de data/hora específico A tiverem sido atualizados após a ingestão dos dados. O novo valor de dados não será recuperado.

Você pode tentar preencher os dados históricos (descritos mais tarde) para mitigar inconsistências, mas isso não acionará novos alertas de anomalia, se os alertas para esses pontos de tempo já tiverem sido acionados. Esse processo pode adicionar carga de trabalho adicional ao sistema e não é automático.

Para evitar o carregamento de dados parciais, recomendamos duas abordagens:

• Gere dados em uma transação:

  Certifique-se de que os valores métricos de todas as combinações de dimensões no mesmo carimbo de data/hora sejam armazenados na fonte de dados em uma transação. No exemplo acima, aguarde até que os dados de todas as fontes de dados estejam prontos e, em seguida, carregue-os no Metrics Advisor em uma transação. O Consultor de Métricas pode pesquisar o feed de dados regularmente até que os dados sejam recuperados com êxito (ou parcialmente).

• Atrase a ingestão de dados definindo um valor adequado para o parâmetro de deslocamento de tempo de ingestão:

  Defina o parâmetro Deslocamento de tempo de ingestão para seu feed de dados para atrasar a ingestão até que os dados estejam totalmente preparados. Isso pode ser útil para algumas fontes de dados que não dão suporte a transações, como o Armazenamento de Tabela do Azure. Consulte as configurações avançadas para obter detalhes.

Comece por adicionar um feed de dados

Depois de entrar no portal do Metrics Advisor e escolher seu espaço de trabalho, clique em Começar. Em seguida, na página principal do espaço de trabalho, clique em Adicionar feed de dados no menu à esquerda.

Adicionar configurações de conexão

1. Configurações básicas

Em seguida, você inserirá um conjunto de parâmetros para conectar sua fonte de dados de séries temporais.

• Tipo de fonte: o tipo de fonte de dados onde os dados da série temporal são armazenados.
• Granularidade: o intervalo entre pontos de dados consecutivos em seus dados de série temporal. Atualmente, o Metrics Advisor suporta: Anual, Mensal, Semanal, Diário, Horário, por minuto e Personalizado. O intervalo mais baixo suportado pela opção de personalização é de 60 segundos.
  • Segundos: O número de segundos quando granularityName é definido como Personalizar.
• Ingerir dados desde (UTC): A hora de início da linha de base para a ingestão de dados. startOffsetInSeconds é frequentemente usado para adicionar um deslocamento para ajudar na consistência dos dados.

2. Especifique a cadeia de conexão

Em seguida, você precisará especificar as informações de conexão para a fonte de dados. Para obter detalhes sobre os outros campos e conectar diferentes tipos de fontes de dados, consulte Como: Conectar diferentes fontes de dados.

3. Especificar consulta para um único carimbo de data/hora

Para obter detalhes de diferentes tipos de fontes de dados, consulte Como: Conectar diferentes fontes de dados.

Carregar dados

Depois que a cadeia de conexão e a cadeia de caracteres de consulta forem inseridas, selecione Carregar dados. Dentro dessa operação, o Metrics Advisor verificará a conexão e a permissão para carregar dados, verificará os parâmetros necessários (@IntervalStart e @IntervalEnd) quais precisam ser usados na consulta e verificará o nome da coluna da fonte de dados.

Se houver um erro nesta etapa:

1. Primeiro, verifique se a cadeia de conexão é válida.
2. Em seguida, verifique se há permissões suficientes e se o endereço IP do trabalhador de ingestão recebeu acesso.
3. Em seguida, verifique se os parâmetros necessários (@IntervalStart e @IntervalEnd) se são usados na sua consulta.

Configuração do esquema

Depois que o esquema de dados for carregado, selecione os campos apropriados.

Se o carimbo de data/hora de um ponto de dados for omitido, o Consultor de Métricas usará o carimbo de data/hora quando o ponto de dados for ingerido. Para cada feed de dados, você pode especificar no máximo uma coluna como um carimbo de data/hora. Se você receber uma mensagem informando que uma coluna não pode ser especificada como um carimbo de data/hora, verifique sua consulta ou fonte de dados e se há vários carimbos de data/hora no resultado da consulta - não apenas nos dados de visualização. Ao executar a ingestão de dados, o Metrics Advisor só pode consumir uma parte (por exemplo, um dia, uma hora - de acordo com a granularidade) de dados de séries cronológicas de uma determinada fonte de cada vez.

Se você quiser ignorar colunas, recomendamos atualizar sua consulta ou fonte de dados para excluir essas colunas. Você também pode ignorar colunas usando Ignorar colunas e, em seguida, Ignorar nas colunas específicas. Se uma coluna deve ser uma dimensão e é erroneamente definida como Ignorada, o Consultor de Métricas pode acabar ingerindo dados parciais. Por exemplo, suponha que os dados da sua consulta são os seguintes:

Se País for uma dimensão e Idioma estiver definido como Ignorado, a primeira e a segunda linhas terão as mesmas dimensões para um carimbo de data/hora. O Consultor de Métricas usará arbitrariamente um valor das duas linhas. Neste caso, o Consultor de Métricas não agregará as linhas.

Depois de configurar o esquema, selecione Verificar esquema. Dentro dessa operação, o Metrics Advisor realizará as seguintes verificações:

• Se o carimbo de data/hora dos dados consultados cai em um único intervalo.
• Se há valores duplicados retornados para a mesma combinação de dimensões dentro de um intervalo métrico.

Configurações automáticas de roll-up

O Metrics Advisor pode executar automaticamente a agregação (por exemplo, SUM, MAX, MIN) em cada dimensão durante a ingestão e, em seguida, cria uma hierarquia que será usada na análise de casos raiz e outros recursos de diagnóstico.

Considere os seguintes cenários:

• "Não preciso incluir a análise de roll-up para meus dados."

  Não é necessário usar o pacote cumulativo do Consultor de Métricas.

• "Meus dados já foram acumulados e o valor da dimensão é representado por: NULL ou Empty (Default), NULL only, Others."

  Essa opção significa que o Consultor de Métricas não precisa acumular os dados porque as linhas já estão somadas. Por exemplo, se você selecionar somente NULL, a segunda linha de dados no exemplo abaixo será vista como uma agregação de todos os países e idioma EN-US, a quarta linha de dados que tem um valor vazio para País , no entanto, será vista como uma linha comum que pode indicar dados incompletos.

  País/Região	Idioma	Income
  China	ZH-CN	10000
  (NULIDADE)	PT-EUA	999999
  E.U.A.	PT-EUA	12000
  	PT-EUA	5000

• "Preciso que o Metrics Advisor acumule meus dados calculando Soma/Max/Min/Média/Contagem e represente-os por {alguma string}."

  Algumas fontes de dados, como o Azure Cosmos DB ou o Armazenamento de Blobs do Azure, não oferecem suporte a determinados cálculos, como grupo por ou cubo. O Metrics Advisor fornece a opção de roll-up para gerar automaticamente um cubo de dados durante a ingestão. Essa opção significa que você precisa do Metrics Advisor para calcular o roll-up usando o algoritmo selecionado e usar a string especificada para representar o roll-up no Metrics Advisor. Isso não alterará nenhum dado em sua fonte de dados. Por exemplo, suponha que você tenha um conjunto de séries temporais que significa métricas de vendas com a dimensão (País, Região). Para um determinado carimbo de data/hora, pode ser semelhante ao seguinte:

  País	País/Região	Sales
  Canadá	Alberta	100
  Canadá	Colúmbia Britânica	500
  Estados Unidos da América	Montana	100

  Depois de ativar o Auto Roll Up com Soma, o Consultor de Métricas calculará as combinações de dimensões e somará as métricas durante a ingestão de dados. O resultado pode ser:

  País	País/Região	Sales
  Canadá	Alberta	100
  NULL	Alberta	100
  Canadá	Colúmbia Britânica	500
  NULL	Colúmbia Britânica	500
  Estados Unidos da América	Montana	100
  NULL	Montana	100
  NULL	NULL	700
  Canadá	NULL	600
  Estados Unidos da América	NULL	100

  (Country=Canada, Region=NULL, Sales=600) significa que a soma das vendas no Canadá (todas as regiões) é de 600.

  A seguir está a transformação na linguagem SQL.

  SELECT
      dimension_1,
      dimension_2,
      ...
      dimension_n,
      sum (metrics_1) AS metrics_1,
      sum (metrics_2) AS metrics_2,
      ...
      sum (metrics_n) AS metrics_n
  FROM
      each_timestamp_data
  GROUP BY
      CUBE (dimension_1, dimension_2, ..., dimension_n);
  

  Considere o seguinte antes de usar o recurso de rolagem automática:

  • Se você quiser usar a SOMA para agregar seus dados, certifique-se de que suas métricas sejam aditivas em cada dimensão. Aqui estão alguns exemplos de métricas não aditivas :
    • Métricas baseadas em frações. Isto inclui rácio, percentagem, etc. Por exemplo, não deve adicionar a taxa de desemprego de cada estado para calcular a taxa de desemprego de todo o país/região.
    • Sobreposição de dimensão. Por exemplo, você não deve adicionar o número de pessoas em cada esporte para calcular o número de pessoas que gostam de esportes, porque há uma sobreposição entre eles, uma pessoa pode gostar de vários esportes.
  • Para garantir a saúde de todo o sistema, o tamanho do cubo é limitado. Atualmente, o limite é de 100 mil. Se os seus dados excederem esse limite, a ingestão falhará para esse carimbo de data/hora.

Definições avançadas

Há várias configurações avançadas para habilitar dados ingeridos de forma personalizada, como especificar o deslocamento de ingestão ou simultaneidade. Para obter mais informações, consulte a seção Configurações avançadas no artigo Gerenciamento de feed de dados.

Especifique um nome para o feed de dados e verifique o progresso da ingestão

Dê um nome personalizado para o feed de dados, que será exibido em seu espaço de trabalho. Em seguida, selecione Enviar. Na página de detalhes do feed de dados, você pode usar a barra de progresso da ingestão para exibir informações de status.

Para verificar os detalhes da falha de ingestão:

1. Selecione Mostrar detalhes.
2. Selecione Status e, em seguida, escolha Falha ou Erro.
3. Passe o cursor sobre uma ingestão com falha e visualize a mensagem de detalhes exibida.

Um status com falha indica que a ingestão dessa fonte de dados será repetida mais tarde. Um status de Erro indica que o Consultor de Métricas não tentará novamente para a fonte de dados. Para recarregar dados, você precisa acionar um backfill/reload manualmente.

Você também pode recarregar o progresso de uma ingestão clicando em Atualizar progresso. Após a conclusão da ingestão de dados, você pode clicar em métricas e verificar os resultados da deteção de anomalias.

Próximos passos

• Gerencie seus feeds de dados
• Configurações para diferentes fontes de dados
• Configurar métricas e ajustar a configuração de deteção