从RDS MySQL同步
云数据库ClickHouse支持通过创建RDS MySQL分析实例将RDS MySQL数据同步至云数据库ClickHouse。
如果您需要在生产环境中同步MySQL数据至云数据库ClickHouse中,请使用数据传输服务DTS,RDS MySQL同步至ClickHouse集群。DTS为您提供功能更丰富、传输性能更强、易用性更高且安全可靠的服务,帮助您简化复杂的数据交互工作,专注于上层的业务开发。
背景信息
云ClickHouse分析实例会自动通过MaterializedMySQL引擎将RDS MySQL实例中的数据同步到云数据库ClickHouse中,利用其强大的分析性能解决多维聚合实时分析问题。
关于MaterializeMySQL引擎,请参见MaterializeMySQL引擎。
注意事项
云数据库ClickHouse的企业版集群不支持RDS MySQL分析实例。
目标集群只支持20.8及其以上版本的云数据库ClickHouse社区兼容版集群。
同一目标集群的同一数据库不能重复配置同步任务。
源实例RDS MySQL和目标集群云数据库ClickHouse必须在同一地域和同一VPC网络。
源实例RDS MySQL必须开启GTID功能。
用户具有RDS MySQL的日志访问权限以及RDS MySQL数据库的RELOAD、REPLICATION SLAVE、REPLICATION CLIENT和SELECT权限。
说明您可以通过
GRANT RELOAD, REPLICATION SLAVE, REPLICATION CLIENT, SELECT ON *.* TO 'your-user-name';
命令获取RDS MySQL数据库的相关权限。RDS MySQL实例版本需满足以下条件才可以创建RDS MySQL分析实例:
RDS MySQL 8.0高可用系列(SSD云盘、ESSD云盘或本地SSD盘)
RDS MySQL 8.0集群系列
RDS MySQL 5.7集群系列
RDS MySQL 5.7高可用系列(SSD云盘、ESSD云盘或本地SSD盘)
RDS MySQL 5.6
操作步骤
创建同步任务。
登录云数据库ClickHouse控制台。
说明您也可以直接登录云数据库RDS控制台,参考步骤v及以后的操作步骤。
在集群列表页面,选择默认实例列表,单击目标集群ID。
在左侧导航栏单击MySQL实时同步。
如果是首次创建同步任务,单击提示语句中的RDS for MySQL,跳转至云数据库RDS控制台。
说明如果您已经创建了同步任务,再次创建同步任务请登录云数据库RDS控制台创建同步任务。
在实例列表页面,单击目标实例ID。
在基本信息页面的实例分布区域,单击分析实例后的云ClickHouse分析实例。
如果是首次创建分析实例,需要进行授权。具体步骤如下。
说明若您之前已完成授权操作,单击云ClickHouse分析实例直接跳转至MySQL到ClickHouse分析实例数据同步配置页面。
在弹出的创建服务关联角色窗口,单击AliyunServiceRoleForClickHouse。
单击确认。
配置数据同步信息。
在MySQL到ClickHouse分析实例数据同步配置页面,选择ClickHouse实例,并分别填写MySQL实例和ClickHouse实例对应的用户名和密码。
单击测试连接以进行下一步,进行实例连通性校验。
测试连接成功,进行下一步。
测试连接失败,进行异常提示。请根据提示信息进行排查。
在源库对象框中选中待同步的表。
说明默认会选中忽略不支持同步的表结构,建议保持选中状态。目前不支持同步无主键的表。
不能只选中同步库,只有选中要同步的表才能配置成功。
单击
图标将其同步至目标实例配置框。
单击下一步:保存任务并启动同步。
配置成功,进行下一步。
配置失败,进行异常提示。请按照提示信息进行排查。
(可选)配置成功后,数据同步任务启动,单击点击查看同步任务。