物联网平台设备数据上云后,涉及到的大数据链路开发治理以及产生的成本,都是企业需要面临的挑战。本文以一个企业案例介绍如何基于阿里云物联网平台的数据服务,搭建企业物联网大数据应用架构。
背景信息
随着物联网应用场景的深入,企业开始挖掘设备上传的数据,用于客户端应用扩展和服务营收,用于数字化运营、风控,帮助企业高效治理,同时也可作为产品演进决策的依据。
业务描述
企业案例有四个业务同时使用物联网平台数据:
企业信息部门需要分析1年范围的设备时序数据,产出设备增长、活跃的企业经营指标。
业务部门需要查询近3天左右数据,用于分析设备启停周期的业务应用。
企业风控部门需要追踪设备近6个月的数据记录,用于事故追溯查询等。
客户端客户设备中心,需要透出单设备统计指标,提供增值服务以增加客户使用粘性和周边产品的运营销售。
应用架构
针对以上业务场景,提供如下数据架构,进行对比说明。
老架构
基于以上业务场景,案例企业搭建的数据架构图如下:
①、②:在物联网平台配置云产品流转到Tablestore,并且向上兼容“信息部门”业务,至少存储1年时序数据。
③:在物联网平台增加配置云产品流转到Lindorm,用于服务风控业务。
④:统计指标在物联网平台调度生成后,通过数据API轮询同步数据到RDS,作为客户端查询使用。
存在的问题
主要面临三大挑战:
整体数据架构复杂,数据链路多存在稳定性风险,增加管理和运维的难度和成本。
Java应用轮询调用数据API,无法满足大规模数据同步的性能要求。
产生不必要的中间存储成本,企业信息部门无需实时分析时序数据,但是为了兼容业务需要额外多存储362天的数据。
新架构
物联网平台基于以上共性场景,为企业设备上云推出了数据服务的数据集成功能。企业可以通过目前已经发布的DataWorks版本(IoT Reader),在DataWorks配置集成任务直接从物联网平台集成数据到企业数据仓库。
案例企业最新架构如下图,在满足四个业务场景需求的同时,主要改变为:
按需配置云产品流转至Tablestore的数据存储周期(3天过期);
物联网平台数据可以直接通过配置DataWorks集成任务存储,一份时序数据用于“信息部门”分析使用,同时可以配置数据导出任务存储数据到Lindorm。
Java应用无需轮询调用物联网平台的数据API,直接集成入仓后同步到RDS指标库。
带来的好处
按需规划高性能存储时长,合理选择离线和实时业务所需存储,大大降低了整体数据存储成本。
存储成本计算公式:
高性能存储空间(1年)*T1元/TB/月-[高性能存储空间(3天)*T1元/TB/月+离线存储空间*T2元/TB/月]
。方便设备时序数据集成企业数据仓库,设备时序数据更容易融合业务维度分析,增加设备数值化的应用价值。
数据链路更简洁,合并四条数据链路为分析和事务两条链路,降低管理和运维的难度和成本。