消息队列(Message Queue,简称MQ)是阿里云商用的专业消息中间件、企业级互联网架构的核心产品,基于高可用分布式集群技术,搭建了包括发布订阅、消息轨迹、资源统计、定时(延时)、监控报警等一套完整的消息云服务。

MQ的更多信息请参见创建消息队列MQ源表

配置面板说明

参数 注释说明 备注
血缘表名(任务唯一) 任务中表的唯一标志,不能与任务中其他血缘表重名。
定义列 定义要读取的MetaQ字段列表。
topic 项目下的具体的topic。
订阅消费group名 订阅消费group名。
拉取时间间隔 拉取时间间隔,单位为毫秒。
消息消费启动的时间点 消息消费启动的时间点,为可选项。
跨单元访问app所在单元 跨单元访问时,需指明app所在单元。
订阅的标签 订阅的标签。 多个tag时使用,为可选项。
解析message body时的行分隔符 解析message body时的行分隔符。
字段分隔符 字段分隔符。 支持以\u开头,接四位十六进制数字表示任意unicode字符,例如\u0001表示Crtl+A。
编码格式 编码格式。
单行字段条数检查策略 单行字段条数的检查策略。
  • SKIP:字段数目不符合时跳过。
  • EXCEPTION:字段数目不符合时抛出异常。
  • PAD:按顺序填充,不存在的置为null。

类型映射

MQ字段类型 实时计算字段类型
STRING VARCHAR

注意事项

MQ实际上是非结构化存储格式,对于数据的Schema不提供强制定义,完全由业务层指定。目前实时计算支持类CSV格式和二进制格式。