数据转发到表格存储(Tablestore)

设备元数据(例如设备标签、属性和状态数据)具有高频更新、查询能力要求高等特点,可用于设备管理、设备圈选、设备状态查询,需要支持高并发低延迟的数据更新、多维度检索、地理空间检索以及数据实时计算与分析。表格存储(Tablestore)的宽表引擎是一个分布式的数据表,可用于设备元数据的存储与更新。本文介绍使用云产品流转功能将设备数据转发到表格存储(Tablestore)宽表模型中的完整流程。

工作原理

image

云产品流转将设备的Topic消息转发到表格存储实例中的数据表中存储,使用表格存储的宽表引擎服务。

在上图中:

  • 数据源:支持的Topic类型消息,请参见数据格式

  • SQL表达式:编写SQL表达式来解析和处理设备上报的JSON数据。SQL表达式的语法说明,请参见SQL表达式

    说明

    二进制格式的数据不做解析,直接透传。

  • 数据目的:创建的表格存储实例中的数据表,用于接收设备数据。

使用限制

  • 物联网平台实例及所在地域支持将数据转发到表格存储(Tablestore)宽表模型。支持的地域详细信息,请参见各地域功能说明

  • 新版和旧版云产品流转功能均支持将数据流转到表格存储(Tablestore)宽表模型。新版云产品流转使用示例,请参见数据转发到表格存储(Tablestore)宽表模型

  • 新版云产品流转功能还支持将数据流转到表格存储(Tablestore时序模型),使用示例,请参见数据转发到表格存储(Tablestore)时序模型

  • 云网关产品和设备,及MQTT型实例下产品和设备,不支持使用云产品流转(旧版)功能。如果流转对应产品和设备的数据,需要使用云产品流转(新版)功能。具体内容,请参见云产品流转(新版)

  • 物联网平台实例下设备消息转发的更多使用限制,请参见使用限制

应用场景

可应用于车联网、智能家居、工业物联网等物联网场景。详细说明,请参见物联网存储IoTstore的应用场景

前提条件

  • 已创建表格存储实例和用于接收数据的数据表。表格存储使用方法,请参见表格存储文档

    重要

    企业版实例中,表格存储实例所在地域,必须与企业版实例所在地域一致。

  • 已创建数据转发规则和编写处理数据的SQL,请参见设置数据流转规则

    本文示例的规则,定义了如下SQL语句:

    SELECT items.temperature.value as temperature, items.humidity.value as humidity,deviceName() as deviceName 
    FROM "/sys/a1ktuxe****/BZoyHO***/thing/event/property/post"

配置数据转发目的

  1. 登录物联网平台控制台

  2. 实例概览页签的全部环境下,找到对应的实例,单击实例卡片。

  3. 在左侧导航栏,选择消息转发 > 云产品流转

  4. 单击规则对应的查看,进入数据流转规则页面。

    重要

    若当前页面为云产品流转新版页面,需先单击右上角返回旧版,再单击目标规则对应的查看

  5. 单击转发数据一栏对应的添加操作

  6. 添加操作对话框中,按照界面提示,设置参数,单击确认

    说明

    仅支持转发JSON格式数据。

    表格存储

    参数

    说明

    选择操作

    选择存储到表格存储(Tablestore)

    地域

    选择表格存储所在地域。

    实例

    选择表格存储实例。

    您可以单击创建实例,跳转到表格存储控制台,创建表格存储实例,请参见表格存储文档

    数据表

    选择接收数据的表格存储数据表。

    您可以单击创建数据表,跳转到表格存储控制台,创建表格存储数据表。

    主键

    配置表格存储数据表主键对应的值,需设置为规则SQL中SELECT的某字段值。数据流转时,该值将被存为主键对应的值。

    说明
    • 支持配置为变量格式${},如${deviceName},表示该主键对应的值为消息中deviceName的值。

    • 如果主键类型是自增列,这一列主键无需填值,表格存储会自动生成这一主键列的值。所以,自增列主键值,系统已自动设置为AUTO_INCREMENT,且不能编辑。

      更多自增列主键说明,请参见主键列自增

    角色

    授权物联网平台将数据写入表格存储。

    如您还未创建相关角色,单击创建RAM角色,跳转到RAM控制台,创建角色和授权策略,请参见创建RAM角色

  7. 回到云产品流转页,单击规则对应的启动按钮启动规则。

  8. 测试。

    1. 登录物联网平台控制台,进入对应实例

    2. 在左侧导航栏,选择监控运维 > 设备模拟器

    3. 选择调试用的设备,依次单击上行指令调试属性上报启动设备模拟器

    4. 默认模块下,设置测试数据,单击发送指令

      设备模拟器

后续操作

  1. 物联网平台控制台,单击目标企业版实例,查看设备状态和消息转发日志。具体操作,请参见云端运行日志

  2. 数据推送成功后,在表格存储接收数据的数据表的数据管理页签,查看是否成功接收到指定数据。

    数据管理

操作样例

设备元数据接入方案

相关文档

  • 设备接入物联网平台上报数据的操作指导,请参见设备接入引导

  • 您可在实例详情页面,查看消息转发TPS可用资源,确保设备消息能正常转发到表格存储中。具体操作,请参见查看实例信息和运行数据。如果可用资源不足,可进行升配。具体内容,请参见升配

  • 使用表格存储的注意事项和常见问题,请参见表格存储的一般性问题