Azure Cosmos DB: Casos de uso de análise sem ETL

APLICA-SE A: NoSQL MongoDB Gremlin

O Azure Cosmos DB fornece várias opções de análise para análises sem ETL, quase em tempo real, sobre dados operacionais. Você pode habilitar a análise em seus dados do Azure Cosmos DB usando as seguintes opções:

• Espelhando o Azure Cosmos DB no Microsoft Fabric
• Azure Synapse Link para o Azure Cosmos DB

Para saber mais sobre essas opções, consulte "Analytics e BI em seus dados do Azure Cosmos DB".

Sem ETL, a análise quase em tempo real pode abrir várias possibilidades para os seus negócios. Aqui estão três cenários de exemplo:

• Análise da cadeia de suprimentos, previsão e relatórios
• Personalização em tempo real
• Manutenção preditiva, deteção de anomalias em cenários IOT

Análise da cadeia de suprimentos, previsão e relatórios

Estudos de pesquisa mostram que a incorporação de análises de big data nas operações da cadeia de suprimentos leva a melhorias nos prazos de entrega de ordem a ciclo e na eficiência da cadeia de suprimentos.

Os fabricantes estão integrando tecnologias nativas da nuvem para quebrar as restrições dos sistemas legados de Enterprise Resource Planning (ERP) e Supply Chain Management (SCM). Com as cadeias de suprimentos gerando volumes crescentes de dados operacionais a cada minuto (dados de pedidos, remessas, transações), os fabricantes precisam de um banco de dados operacional. Esse banco de dados operacional deve ser dimensionado para lidar com os volumes de dados, bem como uma plataforma analítica para chegar a um nível de inteligência contextual em tempo real para se manter à frente da curva.

A arquitetura a seguir mostra o poder de usar o Azure Cosmos DB como o banco de dados operacional nativo da nuvem na análise da cadeia de suprimentos:

Com base na arquitetura anterior, você pode obter os seguintes casos de uso:

• Preparar o pipeline preditivo de treinamento de produtos: gere insights sobre os dados operacionais em toda a cadeia de suprimentos usando traduções de aprendizado de máquina. Dessa forma, você pode reduzir o estoque, os custos operacionais e reduzir os tempos de pedido até a entrega para os clientes.

O Mirroring e o Synapse Link permitem analisar as alterações de dados operacionais no Azure Cosmos DB sem processos manuais de ETL. Essas ofertas economizam custos adicionais, latência e complexidade operacional. Eles permitem que engenheiros de dados e cientistas de dados criem pipelines preditivos robustos:

• Consulte dados operacionais do Azure Cosmos DB usando a integração nativa com pools do Apache Spark no Microsoft Fabric ou no Azure Synapse Analytics. Você pode consultar os dados em um bloco de anotações interativo ou trabalhos remotos agendados sem engenharia de dados complexa.

• Crie modelos de Machine Learning (ML) com algoritmos Spark ML e integração do Azure Machine Learning (AML) no Microsoft Fabric ou Azure Synapse Analytics.

• Escreva os resultados após a inferência do modelo no Azure Cosmos DB para pontuação operacional quase em tempo real.

• Relatórios operacionais: As equipes da cadeia de suprimentos precisam de relatórios flexíveis e personalizados sobre dados operacionais precisos e em tempo real. Esses relatórios são necessários para obter uma visão instantânea da eficácia, rentabilidade e produtividade da cadeia de suprimentos. Ele permite que analistas de dados e outras partes interessadas reavaliem constantemente o negócio e identifiquem áreas a serem ajustadas para reduzir os custos operacionais.

O Mirroring e o Synapse Link para Azure Cosmos DB permitem cenários avançados de business intelligence (BI)/relatórios:

• Consulte dados operacionais do Azure Cosmos DB usando integração nativa com total expressividade da linguagem T-SQL.

• Modele e publique painéis de BI de atualização automática no Azure Cosmos DB por meio do Power BI integrado no Microsoft Fabric ou no Azure Synapse Analytics.

A seguir estão algumas orientações para a integração de dados para processamento em lote & streaming de dados no Azure Cosmos DB:

• Integração de dados em lote e orquestração: Com as cadeias de suprimentos ficando mais complexas, as plataformas de dados da cadeia de suprimentos precisam se integrar com uma variedade de fontes e formatos de dados. O Microsoft Fabric e o Azure Synapse são incorporados com o mesmo mecanismo de integração de dados e experiências do Azure Data Factory. Essa integração permite que os engenheiros de dados criem pipelines de dados avançados sem um mecanismo de orquestração separado:

  • Mova dados de 85+ fontes de dados com suporte para o Azure Cosmos DB com o Azure Data Factory.

  • Escreva pipelines de ETL sem código no Azure Cosmos DB, incluindo mapeamentos relacionais para hierárquicos e hierárquicos para hierárquicos com fluxos de dados de mapeamento.

• Integração de dados de streaming e processamento: Com o crescimento da IoT industrial (sensores que rastreiam ativos do "chão para a loja", frotas logísticas conectadas, etc.), há uma explosão de dados em tempo real sendo gerados de forma streaming que precisa ser integrada com os dados tradicionais de movimento lento para gerar insights. O Azure Stream Analytics é um serviço recomendado para streaming de ETL e processamento no Azure com uma ampla variedade de cenários. O Azure Stream Analytics dá suporte ao Azure Cosmos DB como um coletor de dados nativo.

Personalização em tempo real

Hoje em dia, os varejistas devem construir soluções de comércio eletrônico seguras e escaláveis que atendam às demandas dos clientes e das empresas. Essas soluções de comércio eletrônico precisam envolver os clientes por meio de produtos e ofertas personalizados, processar transações de forma rápida e segura e se concentrar no atendimento e no atendimento ao cliente. O Azure Cosmos DB, juntamente com o mais recente Synapse Link for Azure Cosmos DB, permite que os varejistas gerem recomendações personalizadas para os clientes em tempo real. Eles usam configurações de baixa latência e consistência ajustável para insights imediatos, conforme mostrado na arquitetura a seguir:

• Preparar o pipeline preditivo de treinamento de produtos: você pode gerar insights sobre os dados operacionais em suas unidades de negócios ou segmentos de clientes usando modelos Fabric ou Synapse Spark e aprendizado de máquina. Isso se traduz em entrega personalizada para segmentos de clientes alvo, experiências preditivas do usuário final e marketing direcionado para atender às suas necessidades de usuário final. )

Manutenção preditiva IOT

As inovações IOT industriais reduziram drasticamente os tempos de inatividade das máquinas e aumentaram a eficiência geral em todos os campos da indústria. Uma dessas inovações é a análise de manutenção preditiva para máquinas na borda da nuvem.

A seguir está uma arquitetura usando os recursos HTAP nativos da nuvem na manutenção preditiva de IoT:

• Prepare & train predictive pipeline: Os dados operacionais históricos de sensores de dispositivos IoT podem ser usados para treinar modelos preditivos, como detetores de anomalias. Estes detetores de anomalias são depois implementados na periferia para uma monitorização em tempo real. Tal ciclo virtuoso permite a reciclagem contínua dos modelos preditivos.

• Relatórios operacionais: Com o crescimento das iniciativas de gêmeos digitais, as empresas estão coletando grandes quantidades de dados operacionais de um grande número de sensores para construir uma cópia digital de cada máquina. Esses dados alimentam as necessidades de BI para entender as tendências sobre os dados históricos, além dos dados quentes recentes.

Conteúdos relacionados

• Visão geral do espelhamento do Azure Cosmos DB

• Introdução ao espelhamento

• Azure Synapse Link para o Azure Cosmos DB

• Trabalhando com o Azure Synapse Link para Azure Cosmos DB