Soluções de IA de pesquisa visual com o Azure IoT Edge
Esta série de artigos descreve como planejar e projetar uma carga de trabalho de pesquisa visual computacional que usa o Azure IoT Edge. Você pode executar o Azure IoT Edge em dispositivos e integrar-se ao Azure Machine Learning, ao Armazenamento do Azure, aos Serviços de Aplicativos do Azure e ao Power BI para soluções de IA de pesquisa visual de ponta a ponta.
Inspecionar visualmente produtos, recursos e ambientes é crítico para muitos empreendimentos. A análise e inspeção visual humana estão sujeitas à ineficiência e imprecisão. Atualmente, as empresas usam redes neurais artificiais de aprendizado profundo chamadas CNNs (redes neurais convolucionais) para emular a visão humana. O uso de CNNs para entrada e análise de imagem automatizada é comumente chamado de pesquisa visual computacional ou IA de pesquisa visual.
Tecnologias como o transporte em contêineres dão suporte à portabilidade, o que permite migrar modelos de IA de pesquisa visual para a borda da rede. Você pode treinar modelos de inferência de pesquisa visual na nuvem, conteinerizar os modelos e usá-los para criar módulos personalizados para dispositivos habilitados para runtime do Azure IoT Edge. A implantação de soluções de IA de pesquisa visual na borda gera benefícios de desempenho e de custo.
Casos de uso
Os casos de uso de IA de pesquisa visual abrangem os setores de manufatura, varejo, saúde e público. Casos típicos de uso de IA de pesquisa visual incluem garantia de qualidade, proteção e segurança.
Garantia de qualidade
Em ambientes de manufatura, a IA de pesquisa visual pode inspecionar peças e processos de modo rápido e preciso. Uma inspeção automatizada de qualidade pode:
- Monitorar a consistência do processo de fabricação.
- Verificar a montagem adequada do produto.
- Fornecer notificações de defeito antecipadas.
Para obter um cenário de exemplo para esse caso de uso, confira Cenário de usuário 1: controle de qualidade.
Segurança e proteção
O monitoramento de pesquisa visual automatizado pode verificar possíveis problemas de segurança e proteção. A automação pode fornecer mais tempo para responder a incidentes e mais oportunidades para reduzir o risco. O monitoramento de segurança automatizado pode:
- Acompanhar a conformidade com as diretrizes de equipamentos de proteção pessoal.
- Monitorar e alertar sobre a entrada em zonas não autorizadas.
- Alertar sobre objetos não identificados.
- Registrar quase acidentes ou falhas em equipamentos de pedestres não relatados.
Para obter um cenário de exemplo para esse caso de uso, confira Cenário de usuário 2: segurança.
Arquitetura
As soluções de IA de pesquisa visual para IoT Edge envolvem vários componentes e processos. Os artigos desta série fornecem diretrizes detalhadas de planejamento e design para cada área.
- As câmeras capturam os dados da imagem para entrada no sistema de IA de pesquisa visual do IoT Edge. Confira Seleção de câmera para a IA de pesquisa visual do Azure IoT Edge.
- A aceleração de hardware em dispositivos IoT Edge fornece o poder de processamento necessário para elementos gráficos de computação e algoritmos de IA. Confira Aceleração de hardware na IA de pesquisa visual do Azure IoT Edge.
- Os modelos de ML implantados como os módulos do IoT Edge pontuam os dados de imagem de entrada. Confira Machine learning na IA de pesquisa visual do Azure IoT Edge.
- O dispositivo IoT Edge envia dados de imagem relevantes e metadados para a nuvem para armazenamento. Os dados armazenados são usados para retreinamento de ML, solução de problemas e análise. Confira Gerenciamento e armazenamento de imagens para a IA de pesquisa visual do Azure IoT Edge.
- Os usuários interagem com o sistema por meio de interfaces do usuário, como aplicativos, visualizações e painéis. Confira Cenários e interfaces do usuário na IA de pesquisa visual do Azure IoT Edge.
Considerações
Os motivos para migrar cargas de trabalho de pesquisa visual computacional da nuvem para a borda incluem desempenho e custo.
Considerações sobre o desempenho
- Exportar menos dados para a nuvem alivia a tensão na infraestrutura de rede que pode causar problemas de desempenho.
- A pontuação de dados localmente ajuda a evitar uma latência de resposta inaceitável.
- Os alertas locais evitam atrasos e maior complexidade.
Por exemplo, uma pessoa que entra em uma área não autorizada pode precisar de intervenção imediata. Posicionar o modelo de pontuação perto do ponto de ingestão de dados permite alteras e pontuação de imagem quase em tempo real.
Considerações de custo
Pontuar dados localmente e enviar apenas dados relevantes para a nuvem pode aprimorar o ROI (retorno sobre o investimento) de uma iniciativa de pesquisa visual computacional. Os módulos de visão computacional do IoT Edge podem pontuar dados de imagem por modelos de ML e enviar apenas imagens consideradas relevantes com confiança razoável para a nuvem para processamento adicional. Enviar apenas imagens selecionadas reduz a quantidade de dados que vão para a nuvem e reduz os custos.
Colaboradores
Esse artigo é mantido pela Microsoft. Ele foi originalmente escrito pelos colaboradores a seguir.
Autor principal:
- Keith Hill | Gerente Sênior de PM
Para ver perfis não públicos do LinkedIn, entre no LinkedIn.
Próximas etapas
Para continuar com esta série sobre IA de pesquisa visual do IoT Edge, acesse o próximo artigo:
Para saber mais sobre CNNs, IA de pesquisa visual, Azure Machine Learning e Azure IoT Edge, confira a seguinte documentação:
- Documentação do Azure IoT Edge
- Documentação do Azure Machine Learning
- Tutorial: realizar a classificação de imagem na borda com o Serviço de Visão Personalizada
- O que é a Pesquisa Visual Computacional?
- Documentação do kit de desenvolvedor do Azure Kinect DK
- Estrutura de ML ONNX (Open Neural Network Exchange)
- Ferramenta MMdnn (rede neural profunda de gerenciamento de modelos)
Recursos relacionados
Para obter mais arquiteturas de pesquisa visual computacional, exemplos e ideias que usam o Azure IoT, confira os seguintes artigos: