RDBMS Reader是一个通用的关系数据库读插件,您可以通过添加、注册数据库驱动等方式增加各种关系型数据库的读支持。本文为您介绍如何通过RDBMS Reader添加关系型数据库驱动。
前提条件
在添加关系型数据库驱动前,您需要购买ECS服务器作为您的自定义资源组,建议购买规格如下:
- 使用CentOS 6、CentOS 7或AliyunOS。
- 如果您添加的ECS需要执行MaxCompute任务或同步任务,需要检查当前ECS的python版本是否为Python2.6或2.7的版本(CentOS 5的Python版本为2.4,其它OS自带2.6以上版本)。
- 以是否能够ping通www.aliyun.com作为衡量标准,确认ECS可以访问公网。
- 建议ECS的配置为8核16G。
背景信息
添加自定义资源组
添加MySQL驱动
配置数据同步任务
目前RDBMS Reader仅支持通过脚本模式配置同步任务,配置示例如下。
{
"job": {
"setting": {
"speed": {
"byte": 1048576
},
"errorLimit": {
"record": 0,
"percentage": 0.02
}
},
"content": [
{
"reader": {
"name": "rdbmsreader",
"parameter": {
"username": "xxxxx",
"password": "yyyyyy",
"column": [
"*",
],
"splitPk": "id",
"connection": [
{
"table": [
"a2"
],
"jdbcUrl": [
"jdbc:mysql://xxx.mysql.yy.aliyuncs.com:3306/xxx" //直接配置您的SQL地址。
]
}
],
"where": ""
}
},
"writer": { //writer部分根据您的需要进行配置即可。
"name": "streamwriter",
"parameter": {
"print": true
}
}
}
]
}
}
在文档使用中是否遇到以下问题
更多建议
匿名提交