全部产品
存储与CDN 数据库 安全 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网 钉钉智能硬件
阿里云物联网套件

数据转发到DataHub

更新时间:2017-07-31 16:01:11

数据转发到DataHub中

物联网套件的定位在于设备接入和设备管理,对于数据存储和计算,物联网套件会将这部分工作交给阿里云其他云产品。

在很多物联网场景中,流计算是刚需。阿里云流计算平台的数据采集模块,均是围绕DataHub作为流式数据采集的目的Pub/Sub系统。

Q: DataHub是什么?

A: 流计算是一种事件触发的模型,即一旦有新的事件(数据)达到,流计算系统将完成一次计算,并继续转为等待下一次事件到来。源源不断的数据流将为下游的流计算提供触发,阿里云流计算触发的数据流就存放在DataHub,DataHub产品即可为下游的流式计算提供事件触发机制,触发流计算的运行。因此用户只需要将驱动流计算运行的流式数据写入DataHub,使用了该DataHub Topic的下游流计算任务即可被触发进行一次运算。

DataHub定义为大数据Pub/Sub系统,为下游的流计算、MaxCompute等提供了实时数据的入口。

规则引擎将设备数据实时转发到Datahub,进而和流式计算打通,帮助用户实现对设备数据进行实时计算的场景。详细请参考流计算文档

下图是在控制台上配置转发规则,将数据转发到DataHub中。

datahub

操作说明:

  • 用户需要先选择DataHub中的Project,然后根据Project选择Topic。如果没有资源,那就需要去DataHub控制台创建相应的资源。
  • 选择完DataHub中的Topic后,规则引擎会自动获取Topic中的Schema,接下来需要将规则引擎筛选出来的数据映射到对应的Schema中。
  • 规则引擎不能操作用户的DataHub资源,必须经过用户的授权才能对用户的DataHub进行写数据。所以,用户需要创建一个具有DataHub写入权限的角色,然后将该角色赋予给规则引擎,这样规则引擎才能将处理过后的数据写入DataHub中。

特别注意:将规则引擎筛选出来的数据映射到对应的Schema,需要使用${},如果不使用的话,存到表中的将会是一个常量;Schema与规则引擎的的数据类型必须保持一致,不然无法存储。

本文导读目录