无感数据集成（Zero-ETL）

准备工作

创建服务关联角色并授予RAM用户对应的管理权限。

1. 创建服务关联角色AliyunServiceRoleForClickHouseZeroETL。

   说明

   在创建链路进行配置，并点击数据库实例ID下拉列表项时，会有弹窗报错提示创建服务关联角色AliyunServiceRoleForClickHouseZeroETL（如下图），无需手动创建，系统会自动创建该角色。

   

2. 授予RAM用户管理权限。

   RAM用户必须具备以下三种权限，才可以成功创建Zero-ETL链路。如何给RAM用户授权，请参见为RAM用户授权。

   • 源端RDS MySQL的权限：AliyunRDSFullAccess。

   • 目标端ClickHouse的权限：AliyunClickHouseFullAccess。

   • DTS的权限：DTS的自定义策略脚本如下，如何创建自定义权限，请参见创建自定义权限策略。

     {
         "Version": "1",
         "Statement": [
             {
                 "Action": "dts:*",
                 "Resource": "*",
                 "Effect": "Allow"
             },
             {
                 "Action": "ram:PassRole",
                 "Resource": "*",
                 "Effect": "Allow",
                 "Condition": {
                     "StringEquals": {
                         "acs:Service": "dts.aliyuncs.com"
                     }
                 }
             }
         ]
     }

同步数据

步骤一：进入无感数据集成（Zero-ETL）页面

1. 登录云数据库ClickHouse控制台。

2. 在页面左上角，选择目标集群所在的地域。

3. 在集群列表页面，选择社区版实例列表，单击目标集群ID。

4. 在集群信息页面的左侧导航栏，单击无感集成（Zero-ETL），进入无感数据集成（Zero-ETL）页面。

步骤二：创建Zero-ETL任务并启动任务

在无感数据集成（Zero-ETL）页面，单击创建Zero-ETL任务，进入创建Zero-ETL任务页面。

填写任务名称，并完成以下配置。

1. 配置源库及目标库。

   根据下述参数配置源库及目标库，配置完成后，单击测试连接以进行下一步。

   源库信息

   源库信息	说明
   数据库类型	仅支持RDS for MySQL。
   接入方式	仅支持云实例。
   实例地区	选择源实例所属地域。
   RDS实例ID	RDS MySQL实例ID。
   数据库账号	RDS MySQL实例的数据库账号。
   数据库密码	RDS MySQL数据库账号的密码。
   连接方式	根据需求选择非加密连接或SSL安全连接。如果设置为SSL安全连接，您需要提前开启RDS MySQL实例的SSL加密功能，详情请参见使用云端证书快速开启SSL链路加密。

   目标库信息

   目标库信息	说明
   数据库类型	ClickHouse
   接入方式	仅支持云实例接入。
   实例地区	目标库的集群所属地域。
   集群ID	目标库的集群ID。
   集群类型	集群的类型分为社区版和企业版。
   数据库账号	目标库集群的数据库账号。
   数据库密码	目标库集群的数据库账号的密码。

2. 配置Zero-ETL。

   在源库对象框的多选框中选择待同步对象，然后单击将其移动至已选择对象框，单击下一步配置库表字段。

   

3. 配置库表字段。

   在库表列配置页面，配置待同步表在目标库中的类型、主键列、排序键、分布键和分区键信息。

   说明

   • 页面默认展示未定义的表信息，您可以将定义状态选择为全部后进行修改。

   • 主键列和排序键可以是组合键，即您可以在对应的下拉框中选择多个字段作为主键列或排序键，且需要从主键列中选择一个或者多个列作分区键；分布键只能选择一个字段。更多关于主键列、排序键、分区键的信息，请参见CREATE TABLE。

   • 分区键可以不设置，但不可以选择为可空的字段，否则同步任务将会失败。

4. 保存任务。

   配置库表字段完成后，单击下一步保存任务并预检查。

   说明

   此操作完成后，无论预检查是否通过，任务创建均已保存。

5. 预检查并启动任务。

   预检查通过率显示为100%时，单击启动，启动Zero-ETL任务。

   您可以在无感数据集成（Zero-ETL）页面，查看目标Zero-ETL任务的名称、源/目标、运行状态等信息。

   如果预检查失败，根据失败信息调整源库和目标库后，可以在无感数据集成（Zero-ETL）页面找到目标任务，进行任务修改，重新进行预检查。待预检查成功后，即可启动任务。