Ideias de soluções
Este artigo descreve uma ideia de solução. Seu arquiteto de nuvem pode usar essa orientação para ajudar a visualizar os principais componentes para uma implementação típica dessa arquitetura. Use este artigo como ponto de partida para projetar uma solução bem arquitetada que se alinhe aos requisitos específicos de sua carga de trabalho.
Este artigo apresenta uma solução para usar o Serviço de Kubernetes do Azure (AKS) para processar e analisar rapidamente um grande volume de dados de streaming de dispositivos.
*Apache®, Apache Kafka e Apache Spark são marcas registradas ou marcas comerciais da Apache Software Foundation nos Estados Unidos e/ou em outros países. O uso desta marca não implica aprovação por parte da Apache Software Foundation. Splunk é uma marca registrada da Cisco. *
Arquitetura
Baixe um Arquivo Visio dessa arquitetura.
Fluxo de dados
- Os sensores geram dados e os transmitem para a Azure API Management.
- Um cluster do AKS executa microsserviços implantados como contêineres atrás de uma malha de serviços. Os contêineres são criados usando um processo de DevOps. As imagens de contêiner são armazenadas no Registro de Contêiner do Azure.
- Um serviço de ingestão no AKS armazena dados no Azure Cosmos DB.
- De forma assíncrona, um serviço de análise no AKS recebe os dados e os transmite para o Apache Kafka no Azure HDInsight.
- Os cientistas de dados usam modelos de aprendizado de máquina no Azure HDInsights e na plataforma Splunk para analisar os dados.
- Um serviço de processamento no AKS processa os dados e armazena os resultados no Banco de Dados do Azure para PostgreSQL. O serviço também armazena em cache os dados no Cache do Azure para Redis.
- Um aplicativo Web executado no Serviço de Aplicativo do Azure cria visualizações dos resultados.
Componentes
A solução usa as seguintes tecnologias principais:
- Gerenciamento da API
- Serviço de Aplicativo
- Cache Redis do Azure
- Registro de Contêiner
- Azure Cosmos DB
- Banco de Dados do Azure para PostgreSQL
- HDInsight
- AKS
- Azure Pipelines
Detalhes do cenário
Essa solução é adequada para um cenário que envolve milhões de pontos de dados, onde as fontes de dados incluem dispositivos, sensores e veículos da Internet das Coisas (IoT). Em tal situação, o processamento do grande volume de dados é um desafio. Analisar rapidamente os dados é outra tarefa exigente, à medida que as organizações buscam obter informações sobre cenários complexos.
Microsserviços em contêineres no AKS formam uma parte fundamental da solução. Esses serviços independentes ingerem e processam o fluxo de dados em tempo real. Eles também escalam conforme necessário. A portabilidade dos contêineres possibilita que os serviços sejam executados em diferentes ambientes e processem dados de várias fontes. Para desenvolver e implantar os microsserviços, são usados DevOps e integração contínua/entrega contínua (CI/CD). Essas abordagens encurtam o ciclo de desenvolvimento.
Para armazenar os dados ingeridos, a solução usa o Azure Cosmos DB. Esse banco de dados dimensiona elasticamente a taxa de transferência e o armazenamento, o que o torna uma boa opção para grandes volumes de dados.
A solução também usa o Apache Kafka. Esta plataforma de streaming de baixa latência lida com feeds de dados em tempo real em velocidades extremamente altas.
Outro componente importante da solução é o Azure HDInsight, que é um serviço de nuvem gerenciado que permite processar com eficiência grandes quantidades de dados usando as estruturas de software livre mais populares. O Azure HDInsight simplifica a execução de estruturas de Big Data em grande volume e velocidade ao usar o Apache Spark no Azure. O Splunk auxilia no processo de análise de dados. O Splunk cria visualizações a partir de dados em tempo real e fornece inteligência de negócios.
Possíveis casos de uso
Esta solução beneficia as seguintes áreas:
- Segurança veicular, especialmente no setor automotivo
- Atendimento ao cliente no varejo e em outros setores
- Soluções em nuvem para a área de saúde
- Soluções de tecnologia financeira no setor financeiro
Próximas etapas
Documentação do produto:
- Sobre o Cache do Azure para Redis
- O que é o Gerenciamento de API do Azure?
- Visão geral do Serviço de Aplicativos
- Serviço de Kubernetes do Azure
- Introdução ao registro de contêiner do Azure
- Bem-vindo(a) ao Azure Cosmos DB
- O que é o Banco de Dados do Azure para PostgreSQL?
- O que é o Azure HDInsight?
- O que é o Azure Pipelines?
Módulos de treinamento da Microsoft:
- Criar e armazenar imagens de contêiner com o Registro de Contêiner do Azure
- Configurar planos do Serviço de Aplicativo do Azure
- Trabalhar com o Azure Cosmos DB
- Criar um Banco de Dados do Azure para PostgreSQL e conectar-se a ele
- Desenvolver para Cache do Azure para Redis
- Explorar Gerenciamento de API
- Introdução ao Azure HDInsight