全部产品
大数据开发套件

设置数据同步通道控制参数

更新时间:2017-08-22 11:18:03   分享:   

数据集成同步任务的通道控制,主要用来控制整个同步任务的同步速率和并发数。

作业速率上限

作业速率上限是指数据同步作业可能达到的最高速率,其最终实际速率受网络环境、数据库配置等影响。

作业并发数

单并发同步作业:作业并发数 * 单并发的传输速率 = 作业传输总速率。

在作业速率上限已选定的情况下,应该如何选择作业并发数?

  • 如果您的数据源是线上的业务库,建议您不要将并发数设置过大,以防对线上的业务库造成影响。
  • 如果您特别在意数据同步速率,建议您选择最大作业速率上限和较大的作业并发数。

作业速率上限和作业并发数在 json 里的表现形式

  • mbps:表示作业并发的速率上限,例如: “mbps”: “1”,表示作业速率上限是 1MB/S。

  • concurrent:表示并发的数目,例如:”concurrent”: “1”,表示作业并发的数目为 1。

错误记录数

错误记录数,表示脏数据的最大容忍条数。示例如下:

  • 如果您配置为 0,表示严格不允许脏数据存在。
  • 如果您不填此项,则代表允许存在脏数据,即如果出现脏数据,数据集成会记录并打印部分脏数据,方便您进行排查。

查看脏数据日志的方法:

进入 运维中心 > 任务管理 页面,找到同步节点,右键单击 查看节点运行日志

本文导读目录
本文导读目录
以上内容是否对您有帮助?