Referência de dados de monitoramento do Azure Stream Analytics
Este artigo contém todas as informações de referência de monitoramento para este serviço.
Consulte Monitorar o Azure Stream Analytics para obter detalhes sobre os dados que você pode coletar para o Azure Stream Analytics e como usá-los.
Métricas
Esta seção lista todas as métricas de plataforma coletadas automaticamente para este serviço. Essas métricas também fazem parte da lista global de todas as métricas de plataforma com suporte no Azure Monitor.
Para obter informações sobre retenção de métricas, consulte Visão geral do Azure Monitor Metrics.
O Azure Stream Analytics fornece muitas métricas que você pode usar para monitorar e solucionar problemas de desempenho de consultas e trabalhos. Você pode exibir dados dessas métricas na página Visão geral do portal do Azure, na seção Monitoramento .
Se quiser verificar uma métrica específica, selecione Métricas na seção Monitoramento. Na página exibida, selecione a métrica.
Métricas suportadas para Microsoft.StreamAnalytics/streamingjobs
A tabela a seguir lista as métricas disponíveis para o tipo de recurso Microsoft.StreamAnalytics/streamingjobs.
- Nem todas as colunas podem estar presentes em todas as tabelas.
- Algumas colunas podem estar além da área de visualização da página. Selecione Expandir tabela para visualizar todas as colunas disponíveis.
Cabeçalhos de tabela
- Categoria - O grupo ou classificação de métricas.
- Métrica - O nome para exibição da métrica conforme aparece no portal do Azure.
- Nome na API REST - O nome da métrica conforme referido na API REST.
- Unidade - Unidade de medida.
- Agregação - O tipo de agregação padrão. Valores válidos: Média (Média), Mínima (Mín), Máxima (Máx), Total (Soma), Contagem.
- Dimensões - Dimensões disponíveis para a métrica.
- Intervalos de grãos de - tempo em que a métrica é amostrada. Por exemplo,
PT1Mindica que a métrica é amostrada a cada minuto,PT30Ma cada 30 minutos,PT1Ha cada hora e assim por diante. - DS Export- Se a métrica é exportável para os Logs do Azure Monitor por meio de configurações de diagnóstico. Para obter informações sobre como exportar métricas, consulte Criar configurações de diagnóstico no Azure Monitor.
| Métrica | Nome na API REST | Unit | Agregação | Dimensões | Grãos de tempo | DS Exportação |
|---|---|---|---|---|---|---|
| Solicitações de função com falha Falha no Pedido de Funções |
AMLCalloutFailedRequests |
Count | Total (soma) | LogicalName, PartitionId, ProcessorInstance, NodeName |
PT1M | Sim |
| Eventos de função Eventos de Função |
AMLCalloutInputEvents |
Count | Total (soma) | LogicalName, PartitionId, ProcessorInstance, NodeName |
PT1M | Sim |
| Solicitações de função Pedidos de Função |
AMLCalloutRequests |
Count | Total (soma) | LogicalName, PartitionId, ProcessorInstance, NodeName |
PT1M | Sim |
| Erros de conversão de dados Erros de Conversão de Dados |
ConversionErrors |
Count | Total (soma) | LogicalName, PartitionId, ProcessorInstance, NodeName |
PT1M | Sim |
| Erros de desserialização de entrada Erros de Desserialização de Entrada |
DeserializationError |
Count | Total (soma) | LogicalName, PartitionId, ProcessorInstance, NodeName |
PT1M | Sim |
| Eventos fora de ordem Eventos fora de ordem |
DroppedOrAdjustedEvents |
Count | Total (soma) | LogicalName, PartitionId, ProcessorInstance, NodeName |
PT1M | Sim |
| Eventos de entrada antecipada Eventos de Entrada Antigos |
EarlyInputEvents |
Count | Total (soma) | LogicalName, PartitionId, ProcessorInstance, NodeName |
PT1M | Sim |
| Erros de tempo de execução Erros de tempo de execução |
Errors |
Count | Total (soma) | LogicalName, PartitionId, ProcessorInstance, NodeName |
PT1M | Sim |
| Bytes de evento de entrada Bytes de Evento de Entrada |
InputEventBytes |
Bytes | Total (soma) | LogicalName, PartitionId, ProcessorInstance, NodeName |
PT1M | Sim |
| Eventos de entrada Eventos de Entrada |
InputEvents |
Count | Total (soma) | LogicalName, PartitionId, ProcessorInstance, NodeName |
PT1M | Sim |
| Eventos de entrada em atraso Eventos de Entrada Pendentes |
InputEventsSourcesBacklogged |
Count | Média, Máximo, Mínimo | LogicalName, PartitionId, ProcessorInstance, NodeName |
PT1M | Sim |
| Fontes de entrada recebidas Fontes de entrada recebidas |
InputEventsSourcesPerSecond |
Count | Total (soma) | LogicalName, PartitionId, ProcessorInstance, NodeName |
PT1M | Sim |
| Eventos de entrada tardia Eventos de Entrada atrasados |
LateInputEvents |
Count | Total (soma) | LogicalName, PartitionId, ProcessorInstance, NodeName |
PT1M | Sim |
| Eventos de saída Eventos de saída |
OutputEvents |
Count | Total (soma) | LogicalName, PartitionId, ProcessorInstance, NodeName |
PT1M | Sim |
| Atraso da marca d'água Atraso da marca d'água |
OutputWatermarkDelaySeconds |
Segundos | Média, Máximo, Mínimo | LogicalName, PartitionId, ProcessorInstance, NodeName |
PT1M | Sim |
| % de utilização da CPU % de utilização da CPU |
ProcessCPUUsagePercentage |
Percentagem | Média, Máximo, Mínimo | LogicalName, PartitionId, ProcessorInstance, NodeName |
PT1M | Sim |
| SU (memória) % de utilização SU (memória) % de utilização |
ResourceUtilization |
Percentagem | Média, Máximo, Mínimo | LogicalName, PartitionId, ProcessorInstance, NodeName |
PT1M | Sim |
Descrições de métricas
O Azure Stream Analytics fornece as seguintes métricas para você monitorar a integridade do seu trabalho.
| Métrico | Definição |
|---|---|
| Eventos de entrada em atraso | Número de eventos de entrada que estão em atraso. Um valor diferente de zero para essa métrica implica que seu trabalho não pode acompanhar o número de eventos recebidos. Se esse valor estiver aumentando lentamente ou for consistentemente diferente de zero, você deverá expandir seu trabalho. Para saber mais, consulte Compreender e ajustar unidades de streaming. |
| Erros de conversão de dados | Número de eventos de saída que não puderam ser convertidos para o esquema de saída esperado. Para descartar eventos que encontram esse cenário, você pode alterar a política de erro para Drop. |
| % de utilização da CPU (visualização) | Porcentagem de CPU que seu trabalho utiliza. Mesmo que esse valor seja muito alto (90% ou mais), você não deve aumentar o número de SUs apenas com base nessa métrica. Se o número de eventos de entrada em backlog ou atrasos de marca d'água aumentar, você poderá usar essa métrica para determinar se a CPU é o gargalo. Essa métrica pode ter picos intermitentes. Recomendamos que você faça testes de escala para determinar o limite superior do seu trabalho após o qual as entradas são acumuladas ou os atrasos da marca d'água aumentam devido a um afunilamento da CPU. |
| Eventos de entrada antecipada | Eventos cujo carimbo de hora de aplicação é anterior à sua hora de chegada em mais de 5 minutos. |
| Solicitações de função com falha | Número de chamadas de função do Azure Machine Learning com falha (se houver). |
| Eventos de função | Número de eventos enviados para a função Azure Machine Learning (se houver). |
| Solicitações de função | Número de chamadas para a função Azure Machine Learning (se presente). |
| Erros de desserialização de entrada | Número de eventos de entrada que não puderam ser desserializados. |
| Bytes de evento de entrada | Quantidade de dados que o trabalho do Stream Analytics recebe, em bytes. Você pode usar essa métrica para validar que os eventos estão sendo enviados para a fonte de entrada. |
| Eventos de entrada | Número de registros desserializados dos eventos de entrada. Essa contagem não inclui eventos de entrada que resultam em erros de desserialização. O Stream Analytics pode ingerir os mesmos eventos várias vezes em cenários como recuperações internas e auto-junções. Não espere que as métricas de Eventos de Entrada e Eventos de Saída correspondam se o seu trabalho tiver uma consulta de passagem simples. |
| Fontes de entrada recebidas | Número de mensagens que o trabalho recebe. Para Hubs de Eventos do Azure, uma mensagem é um único EventData item. Para o Armazenamento de Blobs do Azure, uma mensagem é um único blob. Observe que as fontes de entrada são contadas antes da desserialização. Se houver erros de desserialização, as fontes de entrada podem ser maiores do que os eventos de entrada. Caso contrário, as fontes de entrada podem ser menores ou iguais aos eventos de entrada, pois cada mensagem pode conter vários eventos. |
| Eventos de entrada tardia | Eventos que chegaram depois da janela de tolerância configurada para chegadas tardias. Saiba mais sobre as considerações sobre a ordem de eventos do Azure Stream Analytics. |
| Eventos fora de ordem | Número de eventos recebidos fora de ordem que foram descartados ou receberam um carimbo de data/hora ajustado, com base na política de pedidos de eventos. Essa métrica pode ser afetada pela configuração da configuração da Janela de tolerância fora de ordem. |
| Eventos de saída | Quantidade de dados que o trabalho do Stream Analytics envia para o destino de saída, em número de eventos. |
| Erros de tempo de execução | Número total de erros relacionados ao processamento de consultas. Exclui erros encontrados durante a ingestão de eventos ou resultados de saída. |
| SU (memória) % de utilização | Percentagem de memória que o seu trabalho utiliza. Se essa métrica estiver consistentemente acima de 80%, o atraso da marca d'água estiver aumentando e o número de eventos em atraso estiver aumentando, considere aumentar as unidades de streaming (SUs). Alta utilização indica que o trabalho está usando perto do máximo de recursos alocados. |
| Atraso da marca d'água | Atraso máximo de marca d'água em todas as partições de todas as saídas no trabalho. |
Dimensões métricas
Para obter informações sobre o que são dimensões métricas, consulte Métricas multidimensionais.
Este serviço tem as seguintes dimensões associadas às suas métricas.
| Dimensão | Definição |
|---|---|
| Nome lógico | O nome de entrada ou saída para um trabalho do Stream Analytics. |
| ID da partição | A ID da partição de dados de entrada de uma fonte de entrada. Por exemplo, se a fonte de entrada for um hub de eventos, o ID da partição será o ID da partição do hub de eventos. Para trabalhos embaraçosamente paralelos, o ID da partição na saída é o mesmo que na entrada. |
| Nome do nó | O identificador de um nó de streaming que é provisionado quando seu trabalho é executado. Um nó de streaming representa a quantidade de recursos de computação e memória alocados para o seu trabalho. |
Dimensão Nome lógico
Nome lógico é o nome de entrada ou saída de um trabalho do Stream Analytics. Por exemplo, suponha que um trabalho do Stream Analytics tenha quatro entradas e cinco saídas. Você verá as quatro entradas lógicas individuais e as cinco saídas lógicas individuais quando dividir as métricas relacionadas à entrada e à saída por essa dimensão.
A dimensão Nome lógico está disponível para filtrar e dividir as seguintes métricas:
- Eventos de entrada em atraso
- Erros de conversão de dados
- Eventos de entrada antecipada
- Erros de desserialização de entrada
- Bytes de evento de entrada
- Eventos de entrada
- Fonte de entrada recebida
- Eventos de entrada tardia
- Eventos fora de ordem
- Eventos de saída
- Atraso da marca d'água
Dimensão Nome do nó
Um nó de streaming representa um conjunto de recursos de computação que é usado para processar seus dados de entrada. Cada seis unidades de streaming (SUs) se traduzem em um nó, que o serviço gerencia automaticamente em seu nome. Para obter mais informações sobre a relação entre unidades de streaming e nós de streaming, consulte Compreender e ajustar unidades de streaming.
Nome do nó é uma dimensão no nível do nó de streaming. Ele pode ajudá-lo a detalhar certas métricas para o nível específico do nó de streaming. Por exemplo, você pode dividir a métrica % Utilização da CPU pelo nível do nó de streaming para verificar a utilização da CPU de um nó de streaming individual.
A dimensão Nome do Nó está disponível para filtrar e dividir as seguintes métricas:
- Eventos de entrada em atraso
- % de utilização da CPU (visualização)
- Eventos de entrada
- Eventos de saída
- SU (memória) % de utilização
- Atraso da marca d'água
Dimensão de ID de partição
Quando os dados de streaming são ingeridos no serviço Azure Stream Analytics para processamento, os dados de entrada são distribuídos para nós de streaming de acordo com as partições na fonte de entrada. A dimensão ID da partição é a ID da partição de dados de entrada da fonte de entrada.
Por exemplo, se a fonte de entrada for um hub de eventos, o ID da partição será o ID da partição do hub de eventos. O ID da partição na entrada é o mesmo que na saída.
A dimensão ID da partição está disponível para filtrar e dividir as seguintes métricas:
- Eventos de entrada em atraso
- Erros de conversão de dados
- Eventos de entrada antecipada
- Erros de desserialização de entrada
- Bytes de evento de entrada
- Eventos de entrada
- Fonte de entrada recebida
- Eventos de entrada tardia
- Eventos de saída
- Atraso da marca d'água
Registos do recurso
Esta seção lista os tipos de logs de recursos que você pode coletar para este serviço. A seção extrai da lista de todos os tipos de categoria de logs de recursos com suporte no Azure Monitor.
Logs de recursos suportados para Microsoft.StreamAnalytics/streamingjobs
| Categoria | Nome de exibição da categoria | Tabela de registo | Suporta plano de log básico | Suporta a transformação do tempo de ingestão | Consultas de exemplo | Custos de exportação |
|---|---|---|---|---|---|---|
Authoring |
Criação | AzureDiagnostics Logs de vários recursos do Azure. |
No | Não | Consultas | Não |
Execution |
Execução | AzureDiagnostics Logs de vários recursos do Azure. |
No | Não | Consultas | Não |
Esquema de logs de recursos
Todos os logs são armazenados no formato JSON. Cada entrada tem os seguintes campos de cadeia de caracteres comuns:
| Nome | Descrição |
|---|---|
| hora | Carimbo de data/hora (em UTC) do log. |
| resourceId | ID do recurso em que a operação ocorreu, em maiúsculas. Inclui o ID da subscrição, o grupo de recursos e o nome da tarefa. Por exemplo, /SUBSCRIPTIONS/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/RESOURCEGROUPS/MY-RESOURCE-GROUP/PROVIDERS/MICROSOFT. STREAMANALYTICS/STREAMINGJOBS/MYSTREAMINGJOB. |
| category | Categoria de log, Execução ou Criação. |
| operationName | Nome da operação que é registrada. Por exemplo, Send Events: SQL Output write failure to mysqloutput. |
| status | Estado da operação. Por exemplo, Falhou ou Teve êxito. |
| nível | Nível de log. Por exemplo, Erro, Aviso ou Informativo. |
| propriedades | Detalhe específico da entrada de log, serializado como uma cadeia de caracteres JSON. Para obter mais informações, consulte as seções a seguir neste artigo. |
Esquema de propriedades do log de execução
Os logs de execução têm informações sobre eventos que aconteceram durante a execução do trabalho do Stream Analytics. O esquema de propriedades varia dependendo se o evento é um erro de dados ou um evento genérico.
Erros de dados
Qualquer erro que ocorra enquanto o trabalho está processando dados está nessa categoria de logs. Na maioria das vezes, esses logs são criados durante operações de leitura, serialização e gravação de dados. Esses logs não incluem erros de conectividade. Os erros de conectividade são tratados como eventos genéricos. Você pode aprender mais sobre a causa de vários erros de dados de entrada e saída diferentes.
| Nome | Descrição |
|---|---|
| Origem | Nome da entrada ou saída do trabalho onde o erro ocorreu. |
| Mensagem | Mensagem associada ao erro. |
| Type | Tipo de erro. Por exemplo, DataConversionError, CsvParserError ou ServiceBusPropertyColumnMissingError. |
| Dados | Contém dados que são úteis para localizar com precisão a origem do erro. Sujeito a truncamento, dependendo do tamanho. |
Dependendo do valor operationName, os erros de dados têm o seguinte esquema:
Os eventos de serialização ocorrem durante operações de leitura de eventos. Eles ocorrem quando os dados na entrada não satisfazem o esquema de consulta por um destes motivos:
Incompatibilidade de tipo durante a serialização/desserialização de eventos: identifica o campo que está causando o erro.
Não é possível ler um evento, serialização inválida: lista informações sobre o local nos dados de entrada onde o erro ocorreu. Inclui nome de blob para entrada de blob, deslocamento e uma amostra dos dados.
Os eventos de envio ocorrem durante as operações de gravação. Eles identificam o evento de streaming que causou o erro.
Eventos genéricos
Os eventos genéricos abrangem tudo o resto.
| Nome | Descrição |
|---|---|
| Erro | (facultativo) Informações de erro. Normalmente, é a informação de exceção, se estiver disponível. |
| Mensagem | Mensagem de registo. |
| Type | Tipo de mensagem. Mapeia para categorização interna de erros. Por exemplo, JobValidationError ou BlobOutputAdapterInitializationFailure. |
| ID de Correlação | GUID que identifica exclusivamente a execução do trabalho. Todas as entradas do log de execução desde o momento em que o trabalho é iniciado até o trabalho parar têm o mesmo valor de ID de correlação. |
Para referência, consulte uma lista de todos os tipos de categoria de logs de recursos com suporte no Azure Monitor ou todos os tipos de categoria de log de recursos coletados para o Azure Stream Analytics.
Tabelas de Logs do Azure Monitor
Esta seção lista as tabelas de Logs do Azure Monitor relevantes para este serviço, que estão disponíveis para consulta pelo Log Analytics usando consultas Kusto. As tabelas contêm dados de log de recursos e possivelmente mais, dependendo do que é coletado e roteado para elas.
Tarefas do Stream Analytics
| Categoria | Nome de exibição da categoria | Tabela de registo | Suporta plano de log básico | Suporta a transformação do tempo de ingestão | Consultas de exemplo | Custos de exportação |
|---|---|---|---|---|---|---|
Authoring |
Criação | AzureDiagnostics Logs de vários recursos do Azure. |
No | Não | Consultas | Não |
Execution |
Execução | AzureDiagnostics Logs de vários recursos do Azure. |
No | Não | Consultas | Não |
Registo de atividades
A tabela vinculada lista as operações que podem ser registradas no log de atividades desse serviço. Essas operações são um subconjunto de todas as operações possíveis do provedor de recursos no log de atividades.
Para obter mais informações sobre o esquema de entradas do log de atividades, consulte Esquema do log de atividades.