高级选项功能

通过一键建仓向导创建Schema时,您可以在高级选项中自定义一些设置,例如过滤字段或者表、控制表同步过程中使用的连接数等。

过滤字段

设置方式:sensitive-columns=<table_name>.<column_name>...<table_name>.<column_name>,可以同时指定多个字段,以英文逗号(,)隔开。

例如sensitive-columns=tbl01.col1,tbl01.col2,tbl02.col3,表示tbl01col1col2以及tbl02col3是敏感字段,创建Schema时不会将col1col2col3同步至OSS中。

只同步某些表

设置方式:include-tables=<table_name>table_name可以是表名或者包含通配符%的表名。

例如include-tables=tbl01,view_%,表示只同步tbl01表或者以view_开头的所有表。

过滤表

设置方式:exclude-tables=<table_name>table_name可以是表名或者包含通配符%的表名。

例如exclude-tables=tbl01,view_%,表示不同步tbl01表或者表名以view_开头所有表。

说明:

  • 不建议同时配置include-tablesexclude-tables

  • 同时配置include-tablesexclude-tables时,exclude-tables的优先级高于include-tables

指定同步单个表时占用的连接数

DLA同步数据时默认占用的连接数是20,当RDS表中含有数值型自增主键时,如果RDS表中的数据量非常大,您可以自定义设置数据同步占用的连接数。

设置方式:connections-per-job=<连接数>

例如connections-per-job=100

设置总的连接数

DLA支持您自定义设置数据同步所占用的总连接数,防止同步任务占用所有连接,影响其它任务运行。

设置方式:total-allowed-connections=<连接数>,通常和connections-per-job=<连接数>一起使用。

例如,以下示例指定单个同步任务占用100个连接,最多可用1000个连接,则DLA最多同时可以同步10个表。

  1. connections-per-job=100
  2. total-allowed-connections=1000