你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

使用 Azure 服务总线和 Azure 数据资源管理器对数据进行实时分析

Azure 服务总线
Azure 数据资源管理器
Azure 应用服务
Azure SQL 数据库
Azure Cosmos DB

解决方案构想

本文介绍了一种解决方案构想。 云架构师可以通过本指南来帮助可视化此体系结构的典型实现的主要组件。 以本文为起点,设计一个符合工作负荷特定要求的架构合理的解决方案。

本文介绍如何使用 Azure 数据资源管理器和 Azure 服务总线,通过准实时分析增强现有消息代理体系结构。 它适用于 IT 管理员、云架构师和运营和监视团队。

体系结构

显示了用于实现准实时分析的体系结构的示意图。

下载此体系结构的 Visio 文件

Grafana 徽标是 Raintank、Inc.、dba Grafana Labs 的商标。 使用此标志并不意味着认可。

此图显示了两个数据路径。 主路径(由实线和框 1 到 5 表示)是将数据从各种源引入服务总线,然后由流分析作业处理,并存储在 SQL 数据库中。 第二个路径(由虚线和框表示)显示从服务总线流向 Azure 数据资源管理器群集的数据,可在其中通过 Kusto 查询语言(KQL)对其进行查询和分析。

服务总线用于为事务应用程序实现基于队列的负载调控模式。

Azure 数据资源管理器用于准实时地运行分析,并通过 API 或直接查询 Power BI、Azure 托管 Grafana 或 Azure 数据资源管理器仪表板等来公开数据。

数据流

体系结构中的数据源是现有的联机事务处理(OLTP)应用程序。 服务总线用于异步横向扩展应用程序。

  1. 托管在 Azure 应用程序服务中的 OLTP 应用程序(数据源)将数据发送到服务总线。

  2. 数据从两个方向流向服务总线:

    1. 在现有的 OLTP 应用程序流中,它会触发函数应用,将数据存储在 Azure SQL 数据库、Azure Cosmos DB 或类似的操作数据库中。

    2. 在准实时分析流中,它会触发业务流程流。

  3. 业务流程流将数据发送到 Azure 数据资源管理器,以进行准实时分析。 流可以使用以下两种之一:

    • 使用 SDK 以微批次发送数据的函数应用,或在配置为流式引入时使用 Azure 数据资源管理器提供的托管流式引入支持的函数应用。
    • 以微批次将数据发送到 Azure 数据资源管理器的轮询服务,例如托管在 Azure Kubernetes 服务(AKS)或 Azure VM 上的应用程序。 此选项不需要配置 Azure 数据资源管理器流式引入。
  4. Azure 数据资源管理器使用架构映射更新策略来处理数据,并通过 API、SDK 或连接器提供这些数据,以便进行交互式分析或报告。 (可选)Azure 数据资源管理器还可以从其他数据源(如 SQL 数据库或 Azure Data Lake Storage)引入或引用数据。

  5. 应用程序、自定义服务或报表服务(例如 Azure 数据资源管理器仪表板、Power BI 和 Azure 托管 Grafana)可以准实时查询 Azure 数据资源管理器中的数据。

组件

  • 使用应用程序服务可以采用所选编程语言构建和托管 Web 应用、移动后端以及 RESTful API,而无需管理基础结构。
  • 服务总线提供可靠的云消息传递即服务。
  • SQL 数据库 是为云构建的完全托管的 SQL 数据库。 它提供自动更新、预配、缩放和备份。
  • Azure Cosmos DB 是适用于任何规模应用程序的全球分布式多模型数据库。
  • Azure Functions 是事件驱动的无服务器计算平台。 通过 Functions,可以在云中大规模部署和操作,并使用触发器和绑定来集成服务。
  • AKS 是一种高度可用、安全且完全托管的 Kubernetes 服务,适用于应用程序和微服务工作负载。
  • Azure 数据资源管理器是一种快速、完全托管且高度可缩放的数据分析服务,用于实时分析从应用程序、网站和 IoT 设备等资源流式传输的大量数据。
  • Data Lake Storage基于 Azure Blob 存储构建,提供可大规模缩放的安全数据湖功能。
  • Power BI 可帮助你将数据转化为连贯的、有沉浸视感的交互式见解。
  • Azure 托管 Grafana 是一项完全托管的服务,可用于部署 Grafana,而无需花费时间进行配置。

方案详细信息

实时分析是在生成数据后立即分析,以深入了解系统当前状态的过程。 组织越来越多地采用实时分析来获得竞争优势。 准实时分析是实时分析的变体,可在生成数据后的几秒或几分钟内提供见解。

这些流程使组织能够更快地获得见解、做出更好的决策,并更有效地应对不断变化的条件。 准实时分析可以应用于各种领域,如电子商务、医疗保健、制造和金融。 例如,电子商务公司可以使用准实时分析来监视客户行为、优化定价和个性化建议。

许多组织在现有解决方案中采用准实时分析。 此解决方案想法演示了如何将准实时分析添加到基于消息代理的现有体系结构,该结构是业务 OLTP 应用程序的一部分。

OLTP 代表联机事务处理。 它是一种数据处理类型,可管理面向事务的应用程序,通常用于实时环境中的数据输入和检索事务。 OLTP 系统旨针对小型快速交易设计,这些交易常常具有金融性质,例如银行交易或信用卡购买。

可能的用例

下面是一些演示准实时分析的优点的用例:

  • 医疗保健提供商可以跟踪患者结果、检测异常情况并提高护理质量。
  • 制造公司可以优化生产、减少浪费并防止停机。
  • 金融机构可以监视交易、检测欺诈、管理风险,并确保遵守法规。
  • 商业公司可以监视市场活动,并获取支持促销的见解。
  • 公司可以监视、优化、分析和预测供应链。

作者

本文由 Microsoft 维护, 它最初是由以下贡献者撰写的。

主要作者:

其他参与者:

要查看非公开的 LinkedIn 个人资料,请登录到 LinkedIn。

后续步骤