DataWorks数据集成支持使用MetaQ Reader读取消息队列Message Queue(简称MQ)的数据,本文为您介绍DataWorks的MetaQ数据读取能力。
支持的版本
MetaQ Reader通过消息队列服务的Java SDK订阅MetaQ中的实时消息数据,使用的Java SDK版本如下所示。
<dependency>
<groupId>com.taobao.metaq.final</groupId>
<artifactId>metaq-client</artifactId>
<version>4.0.1</version>
</dependency>
<dependency>
<groupId>com.aliyun.openservices</groupId>
<artifactId>ons-sdk</artifactId>
<version>1.3.1</version>
</dependency>
使用限制
当前仅支持使用脚本模式,通过MetaQ Reader插件读取MQ数据。
MetaQ Reader支持使用Serverless资源组(推荐)和独享数据集成资源组。
支持的字段类型
支持的字段类型如下。
字段类型 | 离线读(MetaQ Reader) |
字段类型 | 离线读(MetaQ Reader) |
STRING | 支持 |
MetaQ Reader针对MetaQ类型的转换列表,如下所示。
数据集成数据类型 | 消息队列数据类型 |
数据集成数据类型 | 消息队列数据类型 |
STRING | STRING |
数据同步任务开发
数据同步任务的配置入口和通用配置流程可参见下文的配置指导。
操作流程请参见通过脚本模式配置离线同步任务。
脚本模式配置的全量参数和脚本Demo请参见下文的附录:MetaQ 脚本Demo与参数说明。
附录:MetaQ 脚本Demo与参数说明
离线任务脚本配置方式
如果您配置离线任务时使用脚本模式的方式进行配置,您需要按照统一的脚本格式要求,在任务脚本中编写相应的参数,详情请参见通过脚本模式配置离线同步任务,以下为您介绍脚本模式下数据源的参数配置详情。
该文章对您有帮助吗?
- 本页导读 (1)
- 支持的版本
- 使用限制
- 支持的字段类型
- 数据同步任务开发
- 附录:MetaQ 脚本Demo与参数说明
- 离线任务脚本配置方式
- Reader脚本Demo
- Reader脚本参数