StarRocks跨集群数据迁移工具

准备工作

步骤一：获取源集群或实例的Token

• 自建集群或EMR on ECS（半托管）集群

  （推荐）方法一：通过FE节点的元数据获取Token

  登录FE节点所在的服务器，执行以下命令获取集群Token。

  cat fe/meta/image/VERSION | grep token

  如果您使用的是EMR on ECS的集群，请登录集群的Master节点，然后执行以下命令获取集群token。

  cat /mnt/disk1/starrocks/meta/image/VERSION | grep token

  返回信息如下所示。其中token字段即为当前集群的Token。

  token=wwwwwwww-xxxx-yyyy-zzzz-uuuuuuuuuu

  方法二：通过FE的HTTP端口获取Token

  在源集群的FE节点上，执行以下命令获取Token。

  curl -v http://<fe_host>:<fe_http_port>/check

  其中，涉及参数如下：

  • <fe_host>：集群FE的IP地址或FQDN。

  • <fe_http_port>：集群FE的HTTP端口（默认为8030，EMR半托管环境为18030）。

  如果您使用的是EMR on ECS的集群，则命令执行后会返回类似以下内容。其中token字段即为当前集群的Token。

  * Trying xxx.xx.xxx.xx...
  * TCP_NODELAY set
  * Connected to xxx.xx.xxx.xx (xxx.xx.xxx.xx) port 18030 (#0)
  > GET /check HTTP/1.1
  > Host: xxx.xx.xxx.xx:18030
  > User-Agent: curl/7.29.0
  > Accept: */*
  >
  < HTTP/1.1 200 OK
  < content-length: 0
  < cluster_id: yyyyyyyyyyy
  < content-type: text/html
  < token: wwwwwwww-xxxx-yyyy-zzzz-uuuuuuuuuu
  < connection: keep-alive
  <
  * Connection #0 to host xxx.xx.xxx.xx left intact

• Serverless StarRocks实例

  在进行Serverless StarRocks实例间的数据迁移时，您可以在StarRocks实例的实例详情页面的基础信息区域，单击获取迁移Token，以获取待迁移实例所需的Token。

步骤二：下载迁移工具

单击starrocks-cluster-sync-2.1.1.tar.gz以获取EMR Serverless StarRocks迁移工具。

步骤三：配置迁移工具

1. 连接ECS实例，并上传获取到的迁移工具，详情请参见连接实例和使用Workbench上传或下载文件。

2. 配置迁移工具。

   修改starrocks-cluster-sync-2.1.1/conf/目录下的sync.properties配置文件。

   必填参数

   以下参数是迁移任务成功运行所必需的，请根据实际环境正确配置。

   参数	说明
   source_fe_host	源集群FE的IP地址或FQDN。
   source_fe_query_port	源集群FE的查询端口（query_port）。
   source_cluster_user	用于登录源集群的用户名。
   source_cluster_password	用于登录源集群的用户密码。
   source_cluster_token	源集群的Token。
   target_fe_host	目标集群FE的IP地址或FQDN。
   target_fe_query_port	目标集群FE的查询端口（query_port）。
   target_cluster_user	用于登录目标集群的用户名。
   target_cluster_password	用于登录目标集群的用户密码。
   include_data_list	需要迁移的数据库和表，多个对象时使用逗号（,）分隔。例如，db1,db2.tbl2,db3。 说明 如果您需要迁移集群中所有数据库和表，则无须配置该项。
   exclude_data_list	不需要迁移的数据库和表，多个对象时使用逗号（,）分隔。例如，db1,db2.tbl2,db3。该参数优先于include_data_list生效。 说明 如果您需要迁移集群中所有数据库和表，则无须配置该项。

   说明

   在同时配置include_data_list和exclude_data_list时，最终需要迁移的数据表是从include_data_list中排除exclude_data_list所指定的表。例如，配置include_data_list=db1.tbl1,db1.tbl2,db1.tbl3以及exclude_data_list=db1.tbl2时，最终生效的数据表为db1.tbl1和db1.tbl3。

   可选参数

   以下参数可以根据需求进行调整，但通常保持默认值即可。

   参数	说明
   target_cluster_storage_volume	当目标集群是存算分离集群时，用于指定待迁移的表所在的Storage Volume，默认为空，表示使用目标集群的默认存储卷。
   target_cluster_replication_num	指定目标集群表的副本数量，默认为 -1，表示目标集群表的副本数量与源集群保持一致。
   target_cluster_max_disk_used_percent	迁移工具对目标集群 BE 磁盘检查阈值，当任何一个 BE 的最大磁盘使用率大于这个配置的百分比，迁移工具会自动退出，防止磁盘打满。默认为90。
   max_replication_data_size_per_job_in_gb	迁移工具触发数据同步任务的（分区）数据大小阈值。单位：GB。如果要迁移的数据大小超过此值，将产生多个数据同步任务，默认值为 1024。

   非必要不调整的参数

   以下参数通常可以使用默认值，无需调整。仅在特殊场景下需要修改时，请根据实际需求进行调整。

   参数	默认值	说明
   one_time_run_mode	false	选择是否关闭增量同步模式。启用后，系统将仅执行一次全量数据同步而不进行后续的增量数据更新，即每张表将只同步一次。
   meta_job_interval_seconds	180	迁移工具获取源集群和目标集群元数据的周期，单位为秒。
   meta_job_threads	4	迁移工具获取源集群和目标集群元数据的线程数量。
   ddl_job_interval_seconds	10	迁移工具在目标集群执行DDL的周期，单位为秒。
   ddl_job_batch_size	10	迁移工具在目标集群执行DDL的批大小。
   ddl_job_allow_drop_target_only	false	迁移工具是否自动删除仅在目标集群存在而源集群不存在的数据库和数据表。
   ddl_job_allow_drop_partition_target_only	true	迁移工具是否自动删除仅在目标集群存在而源集群不存在的分区。
   ddl_job_allow_drop_schema_change_table	true	迁移工具是否自动删除源集群和目标集群Schema不一致的表。
   ddl_job_allow_drop_inconsistent_partition	true	迁移工具是否自动删除源集群和目标集群数据分布方式不一致的分区。
   ddl_job_allow_drop_materialized_view_target_only	false	迁移工具是否自动删除仅在目标集群存在而源集群不存在的物化视图。
   ddl_job_allow_drop_view_target_only	false	迁移工具是否自动删除仅在目标集群存在而源集群不存在的逻辑视图。
   ddl_job_allow_drop_bitmap_index_target_only	true	迁移工具是否自动删除仅在目标集群存在而源集群不存在的bitmap索引。
   replication_job_interval_seconds	15	迁移工具触发数据同步任务的周期，单位为秒。
   replication_job_batch_size	10	迁移工具触发数据同步任务的批大小。
   compaction_job_interval_seconds	30	迁移工具在目标集群对迁移完成的表执行Compaction的周期，单位为秒。
   compaction_job_batch_size	10	迁移工具在目标集群对迁移完成的表执行Compaction的批大小。

步骤四：启动迁移工具

在ECS实例中执行以下命令，启动迁移工具，开始数据迁移。

./bin/start.sh

步骤五：查看迁移进度

SHOW PROC "/transactions/<db_name>/running";

SHOW PARTITIONS FROM <table_name>;

SHOW DATA;

SELECT 
    TABLE_NAME, 
    TABLE_ROWS 
FROM 
    INFORMATION_SCHEMA.TABLES 
WHERE 
    TABLE_TYPE = 'BASE TABLE' 
ORDER BY 
    TABLE_NAME;

步骤六：恢复目标集群配置

使用该工具完成数据迁移后，请根据目标集群的类型（存算一体或存算分离），设置以下参数及时恢复默认配置。

• 迁移到存算一体集群

  • 在StarRocks实例的参数配置页面，单击新增配置项，新增以下配置信息。

    文件	Key	Value	说明
    FE	emr_serveless_replication_enable	false	目标集群是否启用数据迁移功能。
    FE	enable_legacy_compatibility_for_replication	false	目标集群是否启用旧版本兼容性。若源集群版本为2.4.0或以上，并且未曾从2.3.18及以下版本进行原地升级，则可不配置该参数。

  • 在SQL Editor中执行以下命令。

    SET GLOBAL enable_filter_unused_columns_in_scan_stage=true;

• 迁移到存算分离集群

  • 在StarRocks实例的参数配置页面，单击新增配置项，新增以下配置信息。

    文件	Key	Value	说明
    FE	emr_serveless_replication_enable	false	目标集群是否启用数据迁移功能。
    FE	enable_legacy_compatibility_for_replication	false	目标集群是否启用旧版本兼容性。若源集群版本为2.4.0或以上，并且未曾从2.3.18及以下版本进行原地升级，则可不配置该参数。

  • 在StarRocks实例的参数配置页面，将lake_compaction_max_tasks参数设置为-1，然后重启集群以恢复Compaction功能。

  • 在SQL Editor中执行以下命令。

    SET GLOBAL enable_filter_unused_columns_in_scan_stage=true;