文档

物联网数据处理分析架构参考

更新时间:

物联网平台设备数据上云后,涉及到的大数据链路开发治理以及产生的成本,都是企业需要面临的挑战。本文以一个企业案例介绍如何基于阿里云物联网平台的数据服务,搭建企业物联网大数据应用架构。

背景信息

随着物联网应用场景的深入,企业开始挖掘设备上传的数据,用于客户端应用扩展和服务营收,用于数字化运营、风控,帮助企业高效治理,同时也可作为产品演进决策的依据。

业务描述

企业案例有四个业务同时使用物联网平台数据:

  • 企业信息部门需要分析1年范围的设备时序数据,产出设备增长、活跃的企业经营指标。

  • 业务部门需要查询近3天左右数据,用于分析设备启停周期的业务应用。

  • 企业风控部门需要追踪设备近6个月的数据记录,用于事故追溯查询等。

  • 客户端客户设备中心,需要透出单设备统计指标,提供增值服务以增加客户使用粘性和周边产品的运营销售。

应用架构

针对以上业务场景,提供如下数据架构,进行对比说明。

老架构

基于以上业务场景,案例企业搭建的数据架构图如下:

  1. ①、②:在物联网平台配置云产品流转到Tablestore,并且向上兼容“信息部门”业务,至少存储1年时序数据。

  2. ③:在物联网平台增加配置云产品流转到Lindorm,用于服务风控业务。

  3. ④:统计指标在物联网平台调度生成后,通过数据API轮询同步数据到RDS,作为客户端查询使用。

image..png

存在的问题

主要面临三大挑战:

  • 整体数据架构复杂,数据链路多存在稳定性风险,增加管理和运维的难度和成本。

  • Java应用轮询调用数据API,无法满足大规模数据同步的性能要求。

  • 产生不必要的中间存储成本,企业信息部门无需实时分析时序数据,但是为了兼容业务需要额外多存储362天的数据。

新架构

物联网平台基于以上共性场景,为企业设备上云推出了数据服务的数据集成功能。企业可以通过目前已经发布的DataWorks版本(IoT Reader),在DataWorks配置集成任务直接从物联网平台集成数据到企业数据仓库。

案例企业最新架构如下图,在满足四个业务场景需求的同时,主要改变为:

  • 按需配置云产品流转至Tablestore的数据存储周期(3天过期);

  • 物联网平台数据可以直接通过配置DataWorks集成任务存储,一份时序数据用于“信息部门”分析使用,同时可以配置数据导出任务存储数据到Lindorm。

  • Java应用无需轮询调用物联网平台的数据API,直接集成入仓后同步到RDS指标库。

image..png

带来的好处

  • 按需规划高性能存储时长,合理选择离线和实时业务所需存储,大大降低了整体数据存储成本。

    存储成本计算公式:高性能存储空间(1年)*T1元/TB/月-[高性能存储空间(3天)*T1元/TB/月+离线存储空间*T2元/TB/月]

  • 方便设备时序数据集成企业数据仓库,设备时序数据更容易融合业务维度分析,增加设备数值化的应用价值。

  • 数据链路更简洁,合并四条数据链路为分析和事务两条链路,降低管理和运维的难度和成本。

相关文档

数据集成

  • 本页导读 (1)
文档反馈