Análise e BI (Business Intelligence) em seus dados do Azure Cosmos DB
O Azure Cosmos DB oferece várias opções para habilitar análises em larga escala e relatórios de BI em seus dados operacionais.
Para obter insights significativos sobre seus dados do Azure Cosmos DB, talvez seja necessário consultar várias partições, coleções ou bancos de dados. Em alguns casos, você pode combinar esses dados com outras fontes de dados em sua organização, como o Banco de Dados SQL do Azure, o Azure Data Lake Storage Gen2 etc. Você também pode consultar com funções de agregação, como soma, contagem etc. Essas consultas precisam de um poder computacional pesado, que provavelmente consome mais RUs (unidades de solicitação) e, como resultado, essas consultas podem afetar potencialmente o desempenho da carga de trabalho crítica.
Para isolar cargas de trabalho transacionais do impacto de desempenho de consultas analíticas complexas, os dados do banco de dados são ingeridos à noite em um local central, usando pipelines complexos de ETL (extração, transformação e carregamento). Essas análises baseadas em ETL são complexas e dispendiosas, com insights atrasados sobre dados de negócios.
O Azure Cosmos DB aborda esses desafios fornecendo ofertas de análise ETL zero e econômicas.
Análise ETL zero quase em tempo real no Azure Cosmos DB
O Azure Cosmos DB oferece análise ETL zero, quase em tempo real em seus dados, sem afetar o desempenho de suas cargas de trabalho transacionais ou RUs (unidades de solicitação). Essas ofertas eliminam a necessidade de pipelines de ETL complexos, tornando seus dados do Azure Cosmos DB perfeitamente disponíveis para mecanismos de análise. Com a latência reduzida para insights, você pode fornecer experiência aprimorada do cliente e reagir mais rapidamente às mudanças nas condições de mercado ou no ambiente de negócios. Aqui estão alguns cenários de exemplo que você pode obter com insights rápidos sobre seus dados.
Você pode habilitar a análise ETL zero e relatórios de BI no Azure Cosmos DB usando as seguintes opções:
- Espelhando seus dados no Microsoft Fabric
- Habilitar o Link do Azure Synapse para acessar dados do Azure Synapse Analytics
Opção 1: Espelhando seus dados do Azure Cosmos DB no Microsoft Fabric
O espelhamento permite que você traga diretamente os dados do banco de dados do Azure Cosmos DB para o Microsoft Fabric. Com ETL zero, você pode obter insights rápidos de negócios avançados sobre seus dados do Azure Cosmos DB usando as funcionalidades internas de análise, BI e IA do Fabric.
Seus dados operacionais do Cosmos DB são replicados incrementalmente no Fabric OneLake quase em tempo real. Os dados no OneLake são armazenados no formato Delta Parquet de software livre e disponibilizados para todos os mecanismos analíticos no Fabric. Com acesso aberto, você pode usá-lo com vários serviços do Azure, como o Azure Databricks, o Azure HDInsight e muito mais. O OneLake também ajuda a unificar seu patrimônio de dados para suas necessidades de análise. Os dados espelhados podem ser unidos a qualquer outro dado no OneLake, como Lakehouses, Warehouses ou atalhos. Você também pode ingressar dados do Azure Cosmos DB com outras fontes de banco de dados espelhadas, como o Banco de Dados SQL do Azure, Snowflake. Você pode consultar em coleções ou bancos de dados do Azure Cosmos DB espelhados no OneLake.
Com o Espelhamento in Fabric, você não precisa reunir diferentes serviços de vários fornecedores. Em vez disso, você pode desfrutar de um produto altamente integrado, de ponta a ponta e fácil de usar, projetado para simplificar suas necessidades de análise. Você pode usar o T-SQL para realizar consultas agregadas complexas e o Spark para exploração de dados. Você pode acessar sem dificuldades os dados em notebooks, usar a ciência de dados para criar modelos de machine learning e criar relatórios do Power BI usando o Direct Lake alimentado por uma integração avançada do Copilot.
Se você estiver procurando análises sobre seus dados operacionais no Azure Cosmos DB, o espelhamento fornece:
- Análise quase em tempo real, ETL zero e econômica em dados do Azure Cosmos DB sem afetar o consumo de RU (unidade de solicitação)
- Facilidade de trazer dados entre várias fontes para o Fabric OneLake.
- Melhor desempenho de consulta do mecanismo SQL que manipula tabelas delta, com otimizações de ordem V
- Tempo de início frio aprimorado para o mecanismo Spark com integração profunda com ML/notebooks
- Integração de um clique ao Power BI com Direct Lake e Copilot
- Integração de aplicativos mais avançada para acessar consultas e exibições com o GraphQL
- Abrir o acesso de e para outros serviços, como o Azure Databricks
Para começar a usar o espelhamento, visite "Introdução ao tutorial de espelhamento".
Opção 2: Link do Azure Synapse para acessar dados do Azure Synapse Analytics
O Link do Azure Synapse para Azure Cosmos DB cria uma integração perfeita entre o Azure Cosmos DB e o Azure Synapse Analytics, permitindo análises ETL zero quase em tempo real em seus dados operacionais. Os dados transacionais são sincronizados perfeitamente com o repositório analítico, que armazena os dados no formato de colunas, otimizado para análise.
O Azure Synapse Analytics pode acessar esses dados no repositório analítico, sem movimentação adicional, usando o Link do Azure Synapse. Agora analistas de negócios, engenheiros de dados e cientistas de dados podem usar o Synapse Spark ou o SQL do Synapse de forma intercambiável para executar pipelines de business intelligence, análise e aprendizado de máquina quase em tempo real.
A imagem a seguir mostra a integração do Link do Azure Synapse com o Azure Cosmos DB e o Azure Synapse Analytics:
Importante
O espelhamento no Microsoft Fabric agora está disponível em versão prévia para API NoSql. Esse recurso fornece todos os recursos do Link do Azure Synapse com melhor desempenho analítico, capacidade de unificar seu patrimônio de dados com o Fabric OneLake e acesso aberto aos seus dados no OneLake com formato Delta Parquet. Se estiver a considerar o Link do Azure Synapse, recomendamos que tente espelhar para avaliar a adequação geral à sua organização. Para começar a usar o espelhamento, clique aqui.
Para começar a usar o Link do Azure Synapse, visite “Introdução ao Link do Azure Synapse”.
Análise em tempo real e BI no Azure Cosmos DB: outras opções
Há algumas outras opções para habilitar a análise em tempo real nos dados do Azure Cosmos DB:
- Usando o feed de alterações
- Usando o conector do Spark diretamente no Azure Cosmos DB
- Usando o conector do Power BI diretamente no Azure Cosmos DB
Embora essas opções sejam incluídas para integridade e funcionem bem com consultas de partição única em tempo real, esses métodos têm os seguintes desafios para consultas analíticas:
Impacto no desempenho na carga de trabalho:
Consultas analíticas tendem a ser complexas e consomem capacidade de computação significativa. Quando essas consultas são executadas diretamente nos dados do Azure Cosmos DB, você pode enfrentar degradação de desempenho em suas consultas transacionais.
Impacto de custo:
Quando consultas analíticas são executadas diretamente em seu banco de dados ou coleções, elas aumentam a necessidade de unidades de solicitação alocadas, pois as consultas analíticas tendem a ser complexas e precisam de mais poder de computação. O aumento do uso de RU provavelmente levará a um impacto significativo no custo ao longo do tempo, se você executar consultas agregadas.
Em vez dessas opções, recomendamos que você use o Espelhamento no Microsoft Fabric ou no Link do Azure Synapse, que fornecem análises ETL zero, sem afetar o desempenho da carga de trabalho transacional ou as unidades de solicitação.