Parameters参数说明

在调用ModifyDtsJobConfig接口修改DTS任务参数时,您可以根据需求配置Parameters参数。

参数说明

Parameters的数据类型为字符串String,传入格式为JSON,需要配置如下参数:

  • module

    参数对应的模块,取值为:

    • 03:同步或迁移任务的全量迁移模块。

    • 04:迁移任务的增量写入模块。

    • 07:同步任务的增量写入模块。

  • name

    参数名称,详情如下表所示。

  • value

    参数的取值,详情如下表所示。

参数(name)

可配置模块(module)

说明(value)

source.column.encoding

03、04、07

源数据库类型为Oracle时实际业务的写入编码,解决数据库字符集编码和业务写入字符集编码不一致并且不兼容从而导致迁移乱码问题。取值为:

  • default

  • GB 2312

  • GBK

  • GB 18030

  • UTF-8

  • UTF-16

  • UTF-32

sink.worker.type

03

通过参数sink.worker.typesink.bulk.copy.enable可以配置MySQL、PostgreSQL的数据写入模式。

  • 使用bulk copy写入模式:sink.worker.type需为stream,且sink.bulk.copy.enabletrue

  • 使用PreparedStatement executeBatch写入模式:sink.worker.type需为batch,且sink.bulk.copy.enablefalse

sink.bulk.copy.enable

03

sink.batch.size.minimum

03

写线程单次批量写入目标库的最小记录数,取值为:[0,1024]的整数。

sink.batch.size.maximum

03、04、07

  • 全量迁移模块:写线程单次批量写入目标库的最大记录数。

  • 增量写入模块:事务合并的数量。

取值为:[0,1024]的整数。

source.connection.idle.second

03、04、07

连接源库的超时时间,如果DTS在设置的重试时间内重新连接上源库,任务将自动恢复;否则任务将会失败。取值为:[0,86400]的整数,单位为秒。

sink.connection.idle.second

03、04、07

连接目标库的超时时间,如果DTS在设置的重试时间内重新连接上目标库,任务将自动恢复;否任务将会失败。取值为:[0,86400]的整数,单位为秒。

trans.hot.merge.enable

04、07

是否开启热点合并,取值为:

  • true:开启热点合并。

  • false:不开启热点合并。

sink.batch.enable

04、07

是否以batch(批量提交)的方式发送数据,取值为:

  • true:是,以batch的方式发送数据。

  • false:否,不以batch的方式发送数据。

source.filter.ddl.enable

04、07

是否过滤DDL,取值为:

  • true:增量任务过滤DDL并继续执行。

  • false:增量任务正常执行DDL。

sink.ignore.failed.ddl

04、07

是否忽略执行失败的DDL,取值为:

  • true:执行DDL失败时,任务忽略失败并继续执行。

  • false:执行DDL失败时,任务失败。

trans.size.maximum

04、07

事务拆分的阈值,取值为:[0,1024]的整数。

dts.datamove.record.spouter.writers

07

数据写线程的数量,取值为:[0,64]的整数。

示例

JSON格式的取值示例如下所示:

[
    {
        "module": "07",
        "name": "sink.connection.idle.second",
        "value": 60
    },
    {
        "module": "07",
        "name": "sink.batch.size.maximum",
        "value": 64
    }
]