Processar dados do seu hub de eventos usando o Azure Stream Analytics
O serviço Azure Stream Analytics facilita a ingestão, o processamento e a análise de dados de streaming dos Hubs de Eventos do Azure, permitindo insights poderosos para impulsionar ações em tempo real. Você pode usar o portal do Azure para visualizar dados de entrada e escrever uma consulta do Stream Analytics. Quando a consulta estiver pronta, você poderá movê-la para a produção em apenas alguns cliques.
Principais benefícios
Aqui estão os principais benefícios da integração dos Hubs de Eventos do Azure e do Azure Stream Analytics:
- Visualizar dados – Você pode visualizar dados de entrada de um hub de eventos no portal do Azure.
- Testar sua consulta – Prepare uma consulta de transformação e teste-a diretamente no portal do Azure. Para obter a sintaxe da linguagem de consulta, consulte a documentação da linguagem de consulta do Stream Analytics.
- Implantar sua consulta na produção – Você pode implantar a consulta na produção criando e iniciando um trabalho do Azure Stream Analytics.
Fluxo de ponta a ponta
Importante
- Se você não for membro de funções de proprietário ou colaborador no nível de assinatura do Azure, deverá ser membro da função Testador de Consultas do Stream Analytics no nível de assinatura do Azure para concluir com êxito as etapas desta seção. Essa função permite que você execute consultas de teste sem criar um trabalho de análise de fluxo primeiro. Para obter instruções sobre como atribuir uma função a um usuário, consulte Atribuir funções do AD a usuários.
- Se o hub de eventos permitir apenas o acesso privado por meio de pontos de extremidade privados, você deverá ter o trabalho do Stream Analytics associado à mesma rede para que o trabalho possa acessar eventos no hub de eventos.
Inicie sessão no portal do Azure.
Navegue até o namespace dos Hubs de Eventos e navegue até o hub de eventos, que contém os dados de entrada.
No menu de navegação esquerdo, expanda Recursos, selecione Processar dados e, em seguida, selecione Iniciar no bloco Habilitar informações em tempo real a partir de eventos.
Você verá uma página de consulta com valores já definidos para os campos a seguir. Se vir uma janela pop-up sobre um grupo de consumidores e uma política a ser criada para si, selecione OK. Você vê imediatamente um instantâneo dos dados de entrada mais recentes nesta guia.
Seu hub de eventos como uma entrada para a consulta.
Exemplo de consulta SQL com instrução SELECT.
Um alias de saída para fazer referência aos resultados do teste da consulta.
O tipo de serialização em seus dados é detetado automaticamente (JSON/CSV). Você também pode alterá-lo manualmente para JSON/CSV/AVRO.
Você pode visualizar os dados recebidos no formato de tabela ou formato bruto.
Se os dados apresentados não estiverem atualizados, selecione Atualizar para ver os eventos mais recentes.
Na imagem anterior, os resultados são mostrados no formato de tabela. Para ver os dados brutos, selecione Raw
Selecione Testar consulta para ver o instantâneo dos resultados do teste da sua consulta na guia Resultados do teste. Você também pode baixar os resultados.
Escreva sua própria consulta para transformar os dados. Consulte Referência da linguagem de consulta do Stream Analytics.
Depois de testar a consulta e desejar movê-la para a produção, selecione Criar trabalho do Stream Analytics.
Na página de trabalho Novo Stream Analytics , siga estas etapas:
Especifique um nome para o trabalho.
Selecione sua assinatura do Azure onde você deseja que o trabalho seja criado.
Selecione o grupo de recursos para o recurso de trabalho do Stream Analytics.
Selecione o local para o trabalho.
Para o nome da política dos Hubs de Eventos, crie uma nova política ou selecione uma existente.
Para o grupo de consumidores Hubs de Eventos, crie um novo grupo de consumidores ou selecione um grupo de consumidores existente.
Selecione Criar para criar o trabalho do Stream Analytics.
Nota
Recomendamos que você crie um grupo de consumidores e uma política para cada novo trabalho do Azure Stream Analytics criado na página Hubs de Eventos. Os grupos de consumidores permitem apenas cinco leitores simultâneos, pelo que disponibilizar um grupo de consumidores dedicado a cada trabalho evitará quaisquer erros que possam surgir por exceder esse limite. Uma política dedicada permite que você gire sua chave ou revogue permissões sem afetar outros recursos.
Seu trabalho do Stream Analytics agora é criado onde sua consulta é a mesma que você testou e a entrada é seu hub de eventos.
Adicione uma saída à sua escolha.
Navegue de volta para a página de trabalho do Stream Analytics clicando no nome do trabalho no link de navegação.
Selecione Editar consulta acima da janela Consulta .
Atualize
[OutputAlias]com seu nome de saída e selecione Salvar link de consulta acima da consulta. Feche a página Consulta selecionando X no canto superior direito.Agora, na página de trabalho do Stream Analytics, selecione Iniciar na barra de ferramentas para iniciar o trabalho.
Access
Problema : o usuário não pode acessar os dados de visualização porque não tem as permissões corretas na Assinatura.
Opção 1: O usuário que deseja visualizar os dados de entrada precisa ser adicionado como um Colaborador na Assinatura.
Opção 2: O usuário precisa ser adicionado como função de testador de consulta do Stream Analytics na Assinatura. Navegue até Controle de acesso para a assinatura. Adicione uma nova atribuição de função para o usuário como função "Stream Analytics Query Tester".
Opção 3: O usuário pode criar o trabalho do Azure Stream Analytics. Defina a entrada como este hub de eventos e navegue até "Consulta" para visualizar os dados recebidos desse hub de eventos.
Opção 4: O administrador pode criar uma função personalizada na assinatura. Adicione as seguintes permissões à função personalizada e, em seguida, adicione usuário à nova função personalizada.
Unidades de transmissão em fluxo
Seu trabalho do Azure Stream Analytics tem como padrão três unidades de streaming (SUs). Para ajustar essa configuração, selecione Dimensionar no menu esquerdo na página de trabalho do Stream Analytics no portal do Azure. Para saber mais sobre unidades de streaming, consulte Compreender e ajustar unidades de streaming.
Considerações ao usar o recurso de replicação geográfica de Hubs de Eventos
Os Hubs de Eventos do Azure lançaram recentemente o recurso de Replicação Geográfica na visualização pública. Esse recurso é diferente do recurso de Recuperação de Desastres Geográficos dos Hubs de Eventos do Azure.
Quando o tipo de failover é Forçado e a consistência da replicação é assíncrona, o trabalho do Stream Analytics não garante exatamente uma saída para uma saída dos Hubs de Eventos do Azure.
O Azure Stream Analytics, como produtor com um hub de eventos uma saída, pode observar atraso de marca d'água no trabalho durante a duração do failover e durante a limitação pelos Hubs de Eventos caso o atraso de replicação entre primário e secundário atinja o atraso máximo configurado.
O Azure Stream Analytics, como consumidor com Hubs de Eventos como Entrada, pode observar atraso de marca d'água no trabalho durante a duração do failover e pode ignorar dados ou localizar dados duplicados após a conclusão do failover.
Devido a essas ressalvas, recomendamos que você reinicie o trabalho do Stream Analytics com a hora de início apropriada logo após a conclusão do failover dos Hubs de Eventos. Além disso, como o recurso de replicação geográfica dos Hubs de Eventos está em visualização pública, não recomendamos o uso desse padrão para trabalhos do Stream Analytics de produção neste momento. O comportamento atual do Stream Analytics melhorará antes que o recurso de replicação geográfica dos Hubs de Eventos esteja disponível em geral e possa ser usado em trabalhos de produção do Stream Analytics.
Conteúdos relacionados
Para saber mais sobre as consultas do Stream Analytics, consulte Linguagem de consulta do Stream Analytics