文档

资源调优动态扩缩容条件说明

更新时间:

数据集成实时同步任务支持动态扩缩容,本文介绍任务资源的设置需要遵循的规则。

规则说明

任务在动态扩缩容资源时,需要确保扩缩容后,满足任务单个Worker占用的CU不发生变化。

当只有任务的Worker数量发生变化时,要求任务扩缩容的目标CU满足如下公式:

说明

数据集成CU售卖最小单位为0.5 CU。

目标CU = ceil( (任务初始CU ± 单个Worker占用CU的整数倍) / 0.5) × 0.5

任务初始CU设置与单个Worker占用CU的公式如下:

  • 任务Worker数 = floor(任务初始CU/经验常量)

  • 单个Worker占用CU = (任务初始CU-任务管控进程占用CU)/任务Worker数

说明

上述公式中:

  • 经验常量目前设置为3,后续可能根据实际情况做出调整。

  • 任务管控进程占用CU设置如下,后续可能根据实际情况做出调整:

    • 任务初始CU <= 2时,任务管控进程占用CU为0.25 CU

    • 任务初始2 < CU <= 10时,任务管控进程占用CU为0.5 CU

    • 任务CU > 10时,任务管控进程占用CU为0.75 CU

当扩缩容CU设置不满足上述公式时,任务执行扩缩容时可能触发重启(是否重启,取决于具体的目标CU设置以及调度先后次序)。