文档

数据转发到DataHub

更新时间:

通过物联网平台云产品流转功能将设备数据流转到数据总线DataHub后,用户可以编写应用程序或者使用流计算引擎来处理写入到数据总线DataHub的流式数据(例如再流转至实时计算、MaxCompute等服务中),产出各种实时的数据处理结果,例如实时图表、报警信息、实时统计等。本文介绍将数据流转到数据目的地的完整流程。

工作原理

image

云产品流转将设备的Topic消息转发到DataHub Project中的Topic,使用DataHub服务进行清洗、分析、归档数据等操作。详细内容,请参见数据总线DataHub

在上图中:

  • 数据源:支持的Topic类型消息,请参见数据格式

  • SQL表达式:编写SQL表达式来解析和处理设备上报的JSON数据。SQL表达式的语法说明,请参见SQL表达式

    说明

    二进制格式的数据不做解析,直接透传。

  • 数据目的:创建的DataHub Project及对应Topic,用于接收设备数据。

应用场景

将物联网平台数据写入DataHub进行统一管理:

  • 可投递到下游的分析、归档等系统,构建清晰的数据流,让您更好地释放数据的价值。

  • 可结合实时计算,把多种数据源的异构数据实时清洗成统一的结构化数据,为进一步分析做准备。

  • 可搭建原始数据层、实时明细层和实时汇总层,打造实时数据仓库。

详细说明,请参见DataHub的应用场景

使用限制

  • 物联网平台实例及所在地域支持将数据转发到DataHub。支持的地域详细信息,请参见各地域功能说明

  • 目前,新版和旧版云产品流转功能均支持将数据流转到DataHub。新版云产品流转使用示例,请参见数据转发到DataHub(新版)

  • 云网关产品和设备,及MQTT型实例下产品和设备,不支持使用云产品流转(旧版)功能。如果流转对应产品和设备的数据,需要使用云产品流转(新版)功能。具体内容,请参见云产品流转(新版)

  • 物联网平台实例下设备消息转发的更多使用限制,请参见使用限制

前提条件

  • 已创建DataHub Project和用于接收数据的Topic。DataHub使用方法,请参见Project操作

    重要

    企业版实例中,DataHub Project所在地域必须与企业版实例所在地域一致。

  • 已创建数据转发规则和编写处理数据的SQL,请参见设置数据流转规则

配置数据转发目的

  1. 登录物联网平台控制台

  2. 实例概览页签的全部环境下,找到对应的实例,单击实例卡片。

  3. 在左侧导航栏,选择消息转发 > 云产品流转

  4. 单击规则对应的查看,进入数据流转规则页面。

    重要

    若当前页面为云产品流转新版页面,需先单击右上角返回旧版,再单击目标规则对应的查看

  5. 单击转发数据一栏对应的添加操作

  6. 添加操作对话框中,按照界面提示,设置参数,单击确认

    数据流转到DataHub

    参数

    说明

    选择操作

    选择发送数据到DataHub中

    地域

    选择DataHub所在地域。

    Project

    选择DataHub Project。

    您可以单击创建Project,跳转到DataHub控制台,创建DataHub Project,请参见Project操作

    Topic

    选择接收数据的DataHub Topic。

    选择Topic后,规则引擎会自动获取Topic中的Schema,规则引擎筛选出来的数据将会映射到对应的Schema中。

    说明
    • 将数据映射到Schema时,需使用${},否则存入表中的将会是一个常量。

    • Schema与规则引擎的数据类型必须保持一致,否则无法存储。

    您可以单击创建Topic,跳转到DataHub控制台,创建DataHub Topic。

    角色

    授权物联网平台将数据写入DataHub。

    如您还未创建相关角色,单击创建RAM角色,跳转到RAM控制台,创建角色和授权策略,请参见创建RAM角色

  7. 回到云产品流转页,单击规则对应的启动按钮启动规则。

操作样例

通过大数据平台搭建设备监控大屏

后续操作

  • 您可在物联网平台控制台对应实例下监控运维 > 日志服务页面的云端运行日志页签,查看设备到云消息云产品流转的运行日志。具体操作,请参见云端运行日志

  • 您可登录DataHub服务控制台,查看写入DataHub的数据。具体内容,请参见快速入门

  • 您可将对应Topic中的数据实时/准实时的同步到第三方阿里云产品中,打通阿里云产品间的数据流通。目前支持MaxCompute(原ODPS)、分析型数据库MySQL(ADS)、云数据库RDS、表格存储TableStore、对象存储OSS、ElasticSearch以及函数计算服务等。详细内容,请参见数据同步

相关文档