限速历史数据迁移任务

背景信息

LTS会将迁移、同步任务拆分为多个线程任务由Worker节点执行，因此，总限速的计算方式为：单个线程任务的限速 * 每个Worker的线程数 * Worker节点总数。

Worker节点总数为您购买LTS时选择的LTS节点数量。您可以通过LTS控制台查看Worker节点总数，具体请参见查看Worker节点总数。

前提条件

• 已检查源集群、目标集群、LTS的网络连通性。

• 已添加Lindorm数据源。如何添加，请参见添加Lindorm宽表数据源。

注意事项

迁移前请确认目标实例的HDFS容量，确保可用容量足以支撑数据迁移，避免迁移过程中出现容量已满导致任务失败的情况。

查看Worker节点总数

1. 登录LTS。

2. 在左侧导航栏，单击集群信息。

3. 在基本信息区域，查看Worker节点总量。您也可以在worker节点信息区域，查看当前实例的Worker节点的详细信息。

   

全局配置

您可以通过全局配置限速所有历史数据迁移任务，也可以在创建迁移任务时通过配置高级参数来对单个任务进行限速。

1. 登录LTS。

2. 在页面右上角，单击配置管理。

3. 在配置管理页面，修改以下配置项的现有值：

   • bds.full.reader.bandwidth：单个线程任务的最大带宽。单位为Byte/s。

   • bds.full.task.pool.size：每个Worker节点可处理的线程任务数量。单位为个。

4. 单击左下角的修改，保存配置。

限速单个迁移任务

您可以从以下两个方面对单个迁移任务进行限速：

• 单个线程任务的最大带宽：需在创建迁移任务时通过高级参数进行配置。配置后仅对该任务生效，优先级大于全局配置。

• 每个Worker处理的线程数：全局配置，必须通过配置管理修改。