通过物联网平台云产品流转功能将设备数据流转到数据总线DataHub后,用户可以编写应用程序或者使用流计算引擎来处理写入到数据总线DataHub的流式数据(例如再流转至实时计算、MaxCompute等服务中),产出各种实时的数据处理结果,例如实时图表、报警信息、实时统计等。本文介绍将数据流转到数据目的地的完整流程。
工作原理
云产品流转将设备的Topic消息转发到DataHub Project中的Topic,使用DataHub服务进行清洗、分析、归档数据等操作。详细内容,请参见数据总线DataHub。
在上图中:
应用场景
将物联网平台数据写入DataHub进行统一管理:
可投递到下游的分析、归档等系统,构建清晰的数据流,让您更好地释放数据的价值。
可结合实时计算,把多种数据源的异构数据实时清洗成统一的结构化数据,为进一步分析做准备。
可搭建原始数据层、实时明细层和实时汇总层,打造实时数据仓库。
详细说明,请参见DataHub的应用场景。
使用限制
物联网平台实例及所在地域支持将数据转发到DataHub。支持的地域详细信息,请参见各地域功能说明。
目前,新版和旧版云产品流转功能均支持将数据流转到DataHub。新版云产品流转使用示例,请参见数据转发到DataHub(新版)。
云网关产品和设备,及MQTT型实例下产品和设备,不支持使用云产品流转(旧版)功能。如果流转对应产品和设备的数据,需要使用云产品流转(新版)功能。具体内容,请参见云产品流转(新版)。
物联网平台实例下设备消息转发的更多使用限制,请参见使用限制。
前提条件
配置数据转发目的
登录物联网平台控制台。
在实例概览页签的全部环境下,找到对应的实例,单击实例卡片。
在左侧导航栏,选择 。
单击规则对应的查看,进入数据流转规则页面。
重要若当前页面为云产品流转新版页面,需先单击右上角返回旧版,再单击目标规则对应的查看。
单击转发数据一栏对应的添加操作。
在添加操作对话框中,按照界面提示,设置参数,单击确认。
参数
说明
选择操作
选择发送数据到DataHub中。
地域
选择DataHub所在地域。
Project
选择DataHub Project。
您可以单击创建Project,跳转到DataHub控制台,创建DataHub Project,请参见Project操作。
Topic
选择接收数据的DataHub Topic。
选择Topic后,规则引擎会自动获取Topic中的Schema,规则引擎筛选出来的数据将会映射到对应的Schema中。
说明将数据映射到Schema时,需使用
${}
,否则存入表中的将会是一个常量。Schema与规则引擎的数据类型必须保持一致,否则无法存储。
您可以单击创建Topic,跳转到DataHub控制台,创建DataHub Topic。
角色
授权物联网平台将数据写入DataHub。
如您还未创建相关角色,单击创建RAM角色,跳转到RAM控制台,创建角色和授权策略,请参见创建RAM角色。
回到云产品流转页,单击规则对应的启动按钮启动规则。
操作样例
后续操作
您可在物联网平台控制台对应实例下云端运行日志。
页面的云端运行日志页签,查看设备到云消息及云产品流转的运行日志。具体操作,请参见您可登录DataHub服务控制台,查看写入DataHub的数据。具体内容,请参见快速入门。
您可将对应Topic中的数据
实时/准实时
的同步到第三方阿里云产品中,打通阿里云产品间的数据流通。目前支持MaxCompute(原ODPS)、分析型数据库MySQL(ADS)、云数据库RDS、表格存储TableStore、对象存储OSS、ElasticSearch以及函数计算服务等。详细内容,请参见数据同步。
相关文档
设备接入物联网平台上报数据的操作指导,请参见设备接入引导。
您可在实例详情页面,查看消息转发TPS可用资源,确保设备消息能正常转发到DataHub中。具体操作,请参见查看实例信息和运行数据。如果可用资源不足,可进行升配。具体内容,请参见升配。
使用DataHub的常见问题,请参见DataHub常见问题归类。