设备元数据(例如设备标签、属性和状态数据)具有高频更新、查询能力要求高等特点,可用于设备管理、设备圈选、设备状态查询,需要支持高并发低延迟的数据更新、多维度检索、地理空间检索以及数据实时计算与分析。表格存储(Tablestore)的宽表引擎是一个分布式的数据表,可用于设备元数据的存储与更新。本文以物模型数据上报Topic为例,介绍使用云产品流转功能将设备数据转发到表格存储(Tablestore)宽表模型中的完整流程。
工作原理
云产品流转将设备的Topic消息转发到表格存储实例中的数据表中存储,使用表格存储的宽表引擎服务。
在上图中:
数据源:支持的Topic类型消息,请参见数据格式(非云网关产品和设备)、自定义Topic(MQTT云网关)、消息转发Topic(GB/T 32960云网关)、消息转发Topic(JT/T 808云网关)、消息转发Topic(SL 651云网关)。
数据目的:创建的表格存储实例中的数据表,用于接收设备数据。
解析器脚本:配置通过数据流转函数
writeTableStore(destinationId, data, flowType)
将Topic数据转发到表格存储的数据表。data
仅支持Map类型数据,其中键(Key)值对应数据库表列名,值(Value)对应列值。函数详细说明,请参见函数列表。
使用限制
新版和旧版云产品流转功能均支持将数据流转到表格存储(Tablestore)。旧版云产品流转使用示例,请参见数据转发到表格存储(旧版)。
物联网平台实例及所在地域支持将数据转发到表格存储(Tablestore)宽表模型。支持的地域详细信息,请参见各地域功能说明。
物联网平台实例下设备消息转发的更多使用限制,请参见使用限制。
应用场景
可应用于车联网、智能家居、工业物联网等物联网场景。详细说明,请参见物联网存储IoTstore的应用场景。
前提条件
背景信息
表格存储宽表模型:类Bigtable/HBase模型,可应用于元数据、大数据等多种场景,支持数据版本、生命周期、主键列自增、条件更新、局部事务、原子计数器、过滤器等功能。更多信息,请参见宽表模型。
将物联网平台设备上报数据转发到表格存储中的详细说明,请参见物联网存储介绍。
创建数据目的
登录物联网平台控制台。
在实例概览页签的全部环境下,找到对应的实例,单击实例卡片。
在左侧导航栏,选择 。
在云产品流转页面,单击右上角体验新版,进入新版功能页面。
说明如果您已执行过此操作,再次进入云产品流转页面,会直接进入新版功能页面。
单击数据目的页签,然后单击创建数据目的。
在创建数据目的对话框,输入数据目的名称,例如DataPurpose,按照以下参数说明,完成配置,然后单击确定。
配置并启动解析器
创建解析器,例如DataParser。具体操作,请参见步骤一:创建解析器。
在解析器详情页面,关联数据源。
在配置向导的数据源下,单击关联数据源。
在弹出的对话框中,单击数据源下拉列表,选择已创建的数据源DataSource,单击确定。
在解析器详情页面,关联数据目的。
单击配置向导的数据目的,然后单击数据目的列表右上方的关联数据目的。
在弹出的对话框中,单击数据目的下拉列表,选择已创建的数据目的DataPurpose,单击确定。
在数据目的列表,查看并保存数据目的ID,例如为1000。
后续解析脚本中,需使用此处的数据目的ID。
在解析器详情页面,单击解析器。
在脚本输入框,输入解析脚本。
解析脚本类似JavaScript语言,编辑脚本的语法参考JavaScript语法,详细编辑方法,请参见脚本语法。
函数参数说明,请参见函数列表。
//通过payload函数,获取设备上报的消息内容,并按照JSON格式转换。 var data = payload("json"); //获取上报的属性值。 var h = data.items.Humidity.value; var t = data.items.Temperature.value; // 表中添加主键deviceName、id,在writeTableStore方法中,可以按column:value的形式,将温湿度值写入对应的列。 writeTableStore(1000, {"deviceName":deviceName(), "id":timestamp(), "temperature":t, "humidity":h});
单击调试,根据页面提示,选择产品和设备,输入Topic和Payload数据,验证脚本可执行。
参数示例如下:
运行结果如下,表示脚本执行成功。
单击发布。
回到云产品流转页面的解析器页签,单击解析器DataParser对应的启动按钮,启动解析器。
后续操作
操作样例
相关文档
设备接入物联网平台上报数据的操作指导,请参见设备接入引导。
您可在实例详情页面,查看消息转发TPS可用资源,确保设备消息能正常转发到表格存储中。具体操作,请参见查看实例信息和运行数据。如果可用资源不足,可进行升配。具体内容,请参见升配。
使用表格存储的注意事项和常见问题,请参见表格存储的一般性问题。