ApsaraDB For OceanBase是阿里云和蚂蚁金服自主研发的金融级分布式关系数据库,本文为您介绍ApsaraDB For OceanBase Reader的实现原理、参数说明及配置示例。
背景信息
ApsaraDB For OceanBase在金融行业创造了三地五中心的城市级故障自动无损容灾的新标准,在普通硬件上实现了金融高可用。同时具备在线水平扩展能力,是在功能、稳定性、可扩展性、性能方面都经历严格检验的国产数据库。
ApsaraDB For OceanBase Reader实现了从ApsaraDB For OceanBase读取数据,支持Oracle和MySQL两种模式的同步功能。
在底层实现上,ApsaraDB For OceanBase Reader通过JDBC连接远程ApsaraDB For OceanBase数据库,并执行相应的SQL语句,从ApsaraDB For OceanBase库中选取数据。
- 对于您配置的table、column和where等信息,ApsaraDB For OceanBase Reader将其拼接为SQL语句发送至ApsaraDB For OceanBase数据库。
- 对于您配置的querySql信息,ApsaraDB For OceanBase直接将其发送至ApsaraDB For OceanBase数据库。
<dependency>
<groupId>com.alipay.OceanBase</groupId>
<artifactId>OceanBase-connector-java</artifactId>
<version>3.1.0</version>
</dependency>
参数说明
参数 | 描述 | 是否必选 | 默认值 |
---|---|---|---|
datasource | 如果您使用的DataWorks版本支持添加ApsaraDB For OceanBase数据源,即可在此处根据数据源名称引用您添加的ApsaraDB For OceanBase数据源。
包括jdbcUrl和username两种配置方式。 |
是 | 无 |
jdbcUrl | 到对端数据库的JDBC连接信息。使用JSON的数组描述,并支持一个库填写多个连接地址。
如果配置了多个,ApsaraDB For OceanBase Reader可以依次探测IP的可连接性,直到选择一个合法的IP。 如果全部连接失败,则ApsaraDB For OceanBase Reader报错。
说明 jdbcUrl必须包含在connection配置单元中。
jdbcUrl根据ApsaraDB For OceanBase官方规范,可以填写连接附件控制信息。例如 |
否 | 无 |
username | 数据源的用户名。 | 否 | 无 |
password | 数据源指定用户名的密码。 | 否 | 无 |
table | 选取的需要同步的表。使用JSON的数组进行描述,支持同时读取多张表。
当配置为多张表时,您需要保证多张表的Schema结构一致,ApsaraDB For OceanBase Reader不检查表的逻辑是否统一。
说明 table必须包含在connection配置单元中。
|
是 | 无 |
column | 所配置的表中需要同步的列名集合,使用JSON的数组描述字段信息 。默认使用所有列配置,例如[ * ]。
|
是 | 无 |
splitPk | ApsaraDB For OceanBase Reader进行数据抽取时,如果指定splitPk,表示您希望使用splitPk代表的字段进行数据分片,数据同步因此会启动并发任务进行数据同步,提高数据同步的效能。
|
否 | 空 |
where | ApsaraDB For OceanBase Reader根据指定的column、table、where条件拼接SQL,并根据该SQL进行数据抽取。
例如,在进行测试时,可以指定where条件为limit 10。在实际业务场景中,通常会选择当天的数据进行同步,指定where条件为
gmt_create>$bizdate 。
|
否 | 无 |
querySql | 在部分业务场景中,where配置项不足以描述所筛选的条件,您可以通过该配置型来自定义筛选SQL。配置该项后,数据同步系统会忽略tables、columns和splitPk配置项,直接使用该项配置的内容对数据进行筛选。
当您配置querySql时,ApsaraDB For OceanBase Reader直接忽略table、column、where和splitPk条件的配置。 |
否 | 无 |
fetchSize | 该配置项定义了插件和数据库服务器端每次批量数据获取条数,该值决定了数据集成和服务器端的网络交互次数,能够较大地提升数据抽取性能。
说明 fetchSize值过大(>2048)可能造成数据同步进程OOM。
|
否 | 1,024 |
脚本开发介绍
{
"type": "job",
"steps": [
{
"stepType": "apsaradb_for_OceanBase", //插件名
"parameter": {
"datasource": "", //数据源名
"where": "",
"column": [ //字段
"id",
"name"
],
"splitPk": ""
},
"name": "Reader",
"category": "reader"
},
{
"stepType": "stream",
"parameter": {
"print": false,
"fieldDelimiter": ","
},
"name": "Writer",
"category": "writer"
}
],
"version": "2.0",
"order": {
"hops": [
{
"from": "Reader",
"to": "Writer"
}
]
},
"setting": {
"errorLimit": {
"record": "0" //错误记录数
},
"speed": {
"throttle": true, //当throttle值为false时,mbps参数不生效,表示不限流;当throttle值为true时,表示限流。
"concurrent": 1, //作业并发数
"mbps":"12"//限流
}
}
}