云产品流转概述

物联网平台提供云产品流转服务,支持通过SQL脚本处理设备Topic数据,并将数据转发至其他Topic或其他阿里云产品进行存储或处理。

什么是云产品流转

设备基于Topic与物联网平台进行通信时,您可以在数据流转中,编写SQL对Topic中的数据进行处理,并配置转发规则将处理后的数据转发到其他设备Topic或阿里云其他服务。

数据目的

说明

相关文档

Topic

将数据转发到另一个设备的Topic中,实现设备间的M2M通信

数据转发到另一Topic

AMQP消费组

通过AMQP服务端订阅消费组,将设备消息流转到您的业务服务器上。

RDS

将设备数据转发到云产品中进行存储。

数据转发到云数据库RDS

Tablestore

数据转发到表格存储(Tablestore)

TSDB

数据转发到时序数据库(TSDB)

DataHub

将设备数据转发到DataHub中,然后使用实时计算进行流计算;使用MaxCompute进行大规模离线计算。

数据转发到DataHub

RocketMQ

将设备数据转发到消息队列RocketMQ、轻量消息队列(原 MNS) SMQ(Simple Message Queue (formerly MNS))实现高可靠消费数据。

数据转发到消息队列RocketMQ

MNS

数据转发到消息服务(MNS)

函数计算

将设备数据转发到函数计算中进行事件计算。

数据转发到函数计算(FC)

数据流转流程

使用云产品流转功能流转数据,您无需购买服务器部署分布式架构,即可实现采集、计算、存储的全栈服务。

image

使用说明

  • 使用物联网平台提供的服务端订阅和云产品流转服务,均可实现设备数据流转。您可根据实际业务场景,选择合适的流转方案。具体说明,请参见数据流转方案对比

  • 使用云产品流转功能将设备数据转发至其他阿里云产品时,需确认目的云产品已经在该地域上线,并且支持相应格式数据的转发。具体说明,请参见各地域功能说明

限制说明

限制项

描述

限制

规则数量

一个实例下最多可以设置1,000条规则。

1,000

流转目标数量

一条规则中转发数据的操作不能超过10个。

10

消息转发处理消息量

  • 新版和旧版公共实例:一个阿里云账号下,消息转发TPS为固定值。

  • 企业版实例:一个实例下消息转发处理消息量,由购买的消息转发TPS规格决定。

    购买企业版实例说明,请参见购买企业版实例

RAM用户共享阿里云账号配额。

消息转发TPS说明:

消息转发TPS=每秒钟通过服务端订阅发送到您的业务服务器的消息数量+云产品流转发送的消息数量

同一秒内,可能n条消息流转至消息转发,然后从消息转发流转到m个目的地,消息转发TPS计算规则为:

  • n>=m时,消息转发TPS计为n

  • n<m时,消息转发TPS计为m

说明
  • 对于流转至云产品的消息量,如果请求量超出该限制,或目标云产品写入耗时过高导致同一时刻写入请求量超出40个,数据转发会被限流。

    转发到RocketMQ、RDS、TSDB等类型的云产品时,若云产品资源变化导致目的云产品无法访问,系统会停止执行转发,并显示规则异常信息;其他异常情况,系统会间隔1秒、3秒、10秒进行3次重试,3次重试均失败后,消息会被丢弃,同时会向您指定的转发错误数据的目标云产品发送一条错误记录。

  • 对于被限流的消息,系统会自动重试处理,多次重试失败的数据会被丢弃。

流转目标要求

数据转发依赖目标云产品,需确保目标云产品实例正常。目标云产品的实例宕机、欠费、参数错误(如授权变更、值非法)、配置错误等异常状况会导致消息流转失败。

消息去重

数据流转时,为确保消息送达,同一条消息可能重复发送,直到客户端返回ACK或消息过期。同一条消息的消息ID相同,您可根据消息ID去重。

使用指南

  • 设置数据流转规则:如何设置一条数据转发规则。

  • SQL表达式:规则中SQL表达式的写法详解。

  • 函数列表:规则中SQL表达式支持的函数列表。

  • 数据流转过程:进行数据流转的过程和各阶段的数据格式。

  • 数据格式:基础通信Topic、物模型通信Topic消息经物模型解析后的数据格式。数据流转规则中,SQL字段需按照解析后的数据格式编写。

相关文档

云产品流转(新版)