如何存储和计算已接入物联网平台设备的数据_物联网平台(IoT)-阿里云帮助中心

本文介绍如何存储和计算已接入物联网平台设备的数据，以挖掘设备数据更多的价值。

背景信息

物联⽹平台数据一般来⾃于已接入的智能设备、传感器设备等。只要设备在运⾏中，就会持续不断地产⽣设备数据。

设备数据的使⽤价值根据场景千差万别，其中时效性对不同场景有不同影响，场景如下。

场景	说明
监控运维场景	超过⼩时周期的数据参考价值很小，并且需要有秒级处理要求。
事务型在线业务场景	应⽤系统需要使⽤⼀定周期（例如7天）的数据，用于事务型应⽤场景，并且需要分钟级处理要求。
经营统计分析场景	数据统计分析需要保持1年至2年的数据周期，并且需要按⼩时或按天得出计算结果。
基于⼈⼯智能的分析场景	设备全周期的数据是AI模型的基础，并且处理要求跟业务场景各不相同。

面临的挑战

在不同的数据⽣命周期中，您需要采⽤不同的技术⽅案去存储和计算是设备数据，在不同的业务场景中，以下是较为典型的选型模式：

场景	说明
监控运维场景	数据存储在RocketMQ等流数据存储产品中，并使⽤实时计算Flink等流计算框架进⾏计算。
事务型在线业务场景	数据存储在Tablestore、TSDB等在线数据库进⾏存储和计算。
经营统计分析场景	数据存储在MaxCompute、Hadoop等⼤数据仓库中，使⽤Spark或Python进⾏计算。
基于⼈⼯智能的分析场景	与⼤数据仓库组合使⽤，例如在DataWorks上使⽤PAI，Hadoop上使⽤Spark ML等。

当您在⾯对以上⼏种或全部存储计算场景时，需要采用不同的技术⽅案进行选择和使⽤，⾯临的主要挑战如下：

数据链路和架构过于复杂，技术⽅案选型眼花缭乱。
同一时间的产品间数据同步和存储，存在数据冗余和⼀致性⻛险。
不同⽣命周期的数据存储，使⽤最优化成本的存储⽅案。

解决方案

针对以上共性问题的抽象和思考，阿⾥云物联网平台逐步建设了⼀套物联⽹数据存储、计算的⽅案。物联网平台提供数据存储服务，包括数据分层存储，并且在数据存储上提供数据导出、变更通知订阅、及连接⼤数据产品的组件等必要的存储相关服务。同时支持搭配计算组件（实时数据处理、交互式分析和离线计算），供您快捷地处理物联网平台设备数据。

分层存储

例如：物联网平台某家摩托⻋⼚商的客户每天产⽣约20 GB数据，按3年时间会产⽣21 TB数据。按照存储产品年费用预计在18万~28万不等，采⽤物联网平台归档存储，年费用不到1万元。如果客户需要分析数据，可以从归档存储中取回数据，假设取回全部21 TB数据，年费⽤预计5万元。更合理的方式是按照数据使⽤情况来规划备份⽣命周期和存储类型，同时切分⼀个归档存储和标准存储的时间范围，以达到成本最优存储⽅案。

如下所示存储规划：

计算模式

实时计算

为了满⾜物联⽹实时计算场景，物联网平台提供了实时数据解析功能，基本功能如下：

功能项	数据解析
数据源	支持解析设备数据源和API数据源。
时效性	实时地抽取和转化数据，延迟在秒级。
数据格式	支持JSON、ProtoBuf、Base64（to_JSON）和原始数据类型的数据格式。
计费	数据解析任务需要消耗数据处理单元（CU）。

⽀持的详细功能项如下表：

功能	节点	说明
输入	源节点	选择待处理数据的数据源。
输入	自定义	仅源节点中数据源的Topic格式为原始数据时，在源节点后会自动添加并连接自定义节点，用于配置自定义脚本解析原始数据。
处理	数据计算	根据源节点配置，自动匹配显示相关字段数据。您可通过配置表达式，计算已有字段数据，来生成新字段数据。
	数据过滤	配置过滤条件，指定只输出满足特定条件的数据。
	值转化	配置判断条件，将解析任务中流转消息的某个字段的值，转化为另一个值，该值可以输出到原字段或新定义的字段。
	数据聚合	类比为Flink SQL的窗口函数，将解析任务中流转消息的字段按照窗口进行聚合计算。
	超时插值	在数据上报产生中断时，配置固定的策略进行补值，防止数据出现中断。
	相邻消息计算	取当前消息与前一条消息中的同一数值字段的值（仅支持BIGINT、DOUBLE类型），按照定义的表达式进行计算，将计算的结果输出到定义的输出字段上。
输出	目标节点	将解析后的数据转入IoT实例Topic、IoT孪生引擎中使用，或IoT实例自定义存储表中存储。选择在自定义存储表中存储时，根据处理功能节点的输出配置，自动匹配显示可输出的字段。您可根据需要删除、修改字段，完成最终输出结果配置。

详细使用内容，请参见数据解析。

交互查询

为了满⾜数据洞察分析，物联网平台提供了SQL⼯作台，可以直接在⼯作台上编写任意SQL脚本分析观察数据。

另外为满⾜物联⽹场景，在⼯作台上提供了可直接使用的物联网平台数据，具体如下表所示：

选项	说明
产品属性时序表	存储了设备上报至物联网平台的物模型属性、事件数据。
产品属性快照表
产品事件表
IoT孪生引擎时序表	存储了IoT孪生引擎对应孪生空间中孪生实体图中孪生节点的物模型属性数据。
IoT孪生引擎快照表	存储了IoT孪生引擎对应孪生空间中孪生实体图中孪生节点的物模型属性数据。
自定义存储表	存储了已完成自定义初始化配置的数据。即数据解析或SQL分析任务，调度任务后，输出至自定义存储表的数据。
平台系统表	存储了产品、设备、设备分组、设备标签和设备位置等基本信息。

详细使用内容，请参见SQL分析。

离线统计分析

SQL⼯作台编写的脚本完成了数据分析洞察，可以配置⼩时、⽇调度，物联网平台系统会定时产出SQL脚本的分析洞察结果。

详细使用内容，请参见设置任务调度策略。

⼈⼯智能分析

针对于特定场景，平台内置了⼈⼯智能算法模型，这些模型原⽣对接存储的数据，最⼤限度降低算法的使⽤⻔槛。

详细使用内容，请参见算法模板。

数据获取

针对分析洞察后数据，物联网平台提供了多种⽅式获取：

方式	说明	相关文档
免费报表	免费的可视化报表，可临时查看相关数据。	数据报表
云云对接	提供数据API，在业务系统使⽤相关数据。	数据API
数据集成	提供IoT Reader，通过企业数据仓库（DataWorks）集成相关数据。	数据集成
CSV导出	提供数据本地导出功能，可以按照时间段导出相关数据的CSV⽂件。	创建和管理自定义存储表