将自建ClickHouse数据迁移至云ClickHouse社区兼容版

步骤一：自建集群检查并开启使用系统表system。

在数据迁移之前，您需根据自建集群是否已启用system.part_log和system.query_log，对config.xml文件进行修改配置，以实现增量迁移。

<part_log>
    <database>system</database>
    <table>part_log</table>
    <partition_by>event_date</partition_by>
    <order_by>event_time</order_by>
    <ttl>event_date + INTERVAL 15 DAY DELETE</ttl>
    <flush_interval_milliseconds>7500</flush_interval_milliseconds>
</part_log>

<query_log>
    <database>system</database>
    <table>query_log</table>
    <partition_by>event_date</partition_by>
    <order_by>event_time</order_by>
    <ttl>event_date + INTERVAL 15 DAY DELETE</ttl>
    <flush_interval_milliseconds>7500</flush_interval_milliseconds>
</query_log>

步骤二：配置目标集群兼容自建集群版本。

步骤三：（可选）目标集群开启使用MaterializedMySQL引擎。

如果自建集群中有引擎为MaterializedMySQL的表，您需执行下述语句，开启MaterializedMySQL引擎的使用。

SET GLOBAL allow_experimental_database_materialized_mysql = 1;

步骤四：创建迁移任务

1. 登录云数据库ClickHouse控制台。

2. 在集群列表页面，选择社区版实例列表，单击目标集群ID。

3. 在左侧导航栏，单击数据迁移及同步 > 从自建或云ClickHouse迁移。

4. 在迁移任务页面，单击创建迁移任务。

   1. 配置源实例与目标实例。

      配置以下信息，单击测试连接进行下一步。

      说明

      测试连接成功后，进入下一个步骤。如果测试连接失败，请根据提示，重新配置源实例和目标实例。

      

      源集群配置项

      目标集群配置项

      配置项	说明	示例
      源端接入方式	固定选择专线/VPN网关/智能网关/ESC自建ClickHouse。	专线/VPN网关/智能网关/ESC自建ClickHouse
      集群名称	源集群的名称。 仅由阿拉伯数字和英文字母组成。	DataMigration
      源实例cluster名称	您需通过SELECT * FROM system.clusters;获取源实例cluster名称。	default
      VPC IP地址	集群每个shard的IP和PORT（即shard的TCP地址），并使用英文逗号隔开。 重要 不能使用云ClickHouse的VPC域名地址或者SLB地址。 格式：IP:PORT,IP:PORT,...... 根据自建上云的使用场景不同，集群IP和PORT的获取方法不同。 阿里云ClickHouse实例的跨账户、跨地域迁移 非阿里云ClickHouse实例迁移 您可以使用以下SQL获取自建集群的IP和PORT。 SELECT shard_num, replica_num, host_address as ip, port FROM system.clusters WHERE cluster = 'default' and replica_num = 1; 其中replica_num=1表示选择第一个副本集，您也可以选择其他副本集或者自行挑选每个shard的一个副本组成。 如果IP不变映射到阿里云，您可以使用以下SQL获取自建集群的IP和PORT。 SELECT shard_num, replica_num, host_address as ip, port FROM system.clusters WHERE cluster = '<cluster_name>' and replica_num = 1; 参数说明如下。 cluster_name：目标集群的名字。 replica_num=1表示选择第一个副本集，也可以选择其他副本集或者自行挑选每个shard一个副本组成。 如果IP和端口发生了转换后映射到阿里云，则需要根据网络打通情况配置对应的IP和PORT。	192.168.0.5:9000,192.168.0.6:9000
      数据库账号	源集群数据库账号。	test
      数据库密码	源集群数据库账号密码。	test******

      配置项	说明	示例
      数据库账号	目标集群数据库账号。	test
      数据库密码	目标群数据库账号密码。	test******

   2. 确认迁移内容。

      仔细阅读页面中数据迁移的包含内容提示信息，单击下一步：预检测并启动同步。

   3. 后台迁移链路预检测并启动任务。

      后台会对目标集群和自建集群进行实例状态检测、存储空间检测和本地表和分布式表检测。

      • 检测成功：

        检测成功后的界面如下图所示。

        

        1. 仔细阅读页面迁移过程中对实例的影响提示内容。

        2. 单击完成。

           重要

           • 单击完成后，任务创建完成且启动，任务状态为运行中，您可在任务列表查看任务。

           • 完成任务创建后，您还需监控迁移任务，在迁移完成的最后阶段，主动停写自建集群，进行剩余库表结构迁移。如何监控迁移任务，请参见监控迁移任务并停写自建集群。

      • 检测失败：您需要按照提示信息进行操作，重新进行数据迁移。检测内容及要求如下。检测报错信息以及解决方案，请参见迁移检查中报错信息查询及解决方案。

        检测项目	检测要求
        实例状态检测	迁移发起时，自建集群和目标集群不能有正在运行的管控任务（包含扩容，升降配等）。如果当前自建集群和目标集群有管控任务正在运行，则不能发起迁移任务。
        存储空间检测	迁移进行前，进行存储空间校验。保证目标集群的存储空间大于等于自建集群的已使用空间的1.2倍。
        本地表和分布式表检测	如果自建集群存在本地表没有创建分布式表或者分布式表不唯一，则校验失败。请删除多余的分布式表或创建唯一分布式表。

通过remote函数进行数据迁移

1. （可选）在进行云数据库ClickHouse数据迁移时，如果需要考虑网络流量。您可以通过调整network_compression_method参数来选择合适的压缩算法，减少流量的使用。

   • 在目标实例云数据库ClickHouse中临时修改或查看network_compression_method，示例如下。

   SET network_compression_method = 'ZSTD';

   • 在目标实例云数据库ClickHouse中查看network_compression_method参数值，示例如下。

   SELECT * FROM system.settings WHERE name = 'network_compression_method';

2. 在目标实例云数据库ClickHouse中，通过如下SQL进行数据迁移。

   INSERT INTO <new_database>.<new_table> 
   SELECT * 
   FROM remote('<old_endpoint>', <old_database>.<old_table>, '<username>', '<password>') 
   [WHERE _partition_id = '<partition_id>']
   SETTINGS max_execution_time = 0, max_bytes_to_read = 0, log_query_threads = 0;

   说明

   20.8版本优先使用remoteRaw函数进行数据迁移，如果失败可以申请小版本升级。

   INSERT INTO <new_database>.<new_table> 
   SELECT * 
   FROM remoteRaw('<old_endpoint>', <old_database>.<old_table>, '<username>', '<password>')
   [WHERE _partition_id = '<partition_id>']
   SETTINGS max_execution_time = 0, max_bytes_to_read = 0, log_query_threads = 0;

   参数说明：

   重要

   通过partition_id对数据过滤后，可以减少资源占用，建议您选用此参数。

   （可选）如果您不知道如何获取partition_id及part的数量，可以通过以下SQL在system.parts系统中查询。

   SELECT partition_id, count(*) AS part_count from clusterAllReplicas(default, system, parts) WHERE `database` = '<old_database>' AND `table` = '<old_table>' GROUP BY partition_id ;

   参数	描述
   new_database	目标云数据库ClickHouse实例中的数据库名。
   new_table	目标实例云数据库ClickHouse中的表名。
   old_endpoint	源实例的endpoint。 自建ClickHouse 云数据库ClickHouse endpoint格式：源实例节点的IP:port。 重要 此处port为TCP port。 源实例的endpoint为VPC内网endpoint，不是公网endpoint。 重要 以下端口3306和9000是固定值。 社区版实例： endpoint格式：VPC内网地址:3306。 示例：cc-2zeqhh5v7y6q*****.clickhouse.ads.aliyuncs.com:3306 企业版实例： endpoint格式：VPC内网地址:9000。 示例：cc-bp1anv7jo84ta*****clickhouse.clickhouseserver.rds.aliyuncs.com:9000
   old_database	自建集群的数据库名。
   old_table	自建集群的表名。
   username	自建集群的账号。
   password	自建集群的密码。
   max_execution_time	查询的最大执行时间。设置为0表示没有时间限制。
   max_bytes_to_read	查询在读取源数据时能读取的最大字节数。设置为0表示没有限制。
   log_query_threads	是否记录查询执行的线程信息。设置为0表示不记录线程信息。
   _partition_id	数据分区ID。

通过文件导出导入方式进行数据迁移

通过文件，将数据从自建集群数据库导出到目标实例云数据库ClickHouse中。

• 通过CSV文件导出导入

  1. 将数据从自建集群数据库导出为CSV格式文件。

     clickhouse-client --host="<old host>" --port="<old port>" --user="<old user name>" --password="<old password>"  --query="select * from <database_name>.<table_name> FORMAT CSV"  > table.csv

  2. 导入CSV文件到目标实例云数据库ClickHouse。

     clickhouse-client --host="<new host>" --port="<new port>" --user="<new user name>" --password="<new password>"  --query="insert into <database_name>.<table_name> FORMAT CSV"  < table.csv

• 通过Linux pipe管道进行流式导出导入

  clickhouse-client --host="<old host>" --port="<old port>" --user="<user name>" --password="<password>"  --query="select * from <database_name>.<table_name> FORMAT CSV" | 
  clickhouse-client --host="<new host>" --port="<new port>" --user="<user name>" --password="<password>"   --query="INSERT INTO <database_name>.<table_name> FORMAT CSV"