PolarDB MySQL版的联邦分析功能已于2024年7月23日完成迭代升级。该功能的入口已下线,不再支持新建任务。后续您可前往PolarDB控制台-数据集成,进行同步任务的创建。详情请参见通过无感集成同步数据。
若您已经设置了联邦分析链路,您仍可在华东1(杭州)、华东2(上海)、华南1(深圳)、华北2(北京)、美国(弗吉尼亚)地区看到联邦分析入口,以便进行链路管理。
联邦分析使用AnalyticDB for MySQL的免费高速数据管道服务(APS)将PolarDB MySQL中的数据实时同步至AnalyticDB for MySQL企业版、基础版及湖仓版集群中,帮助您一站式完成数据同步与管理。本文介绍如何通过联邦分析将PolarDB MySQL中的数据同步至AnalyticDB for MySQL企业版、基础版及湖仓版集群。
前提条件
使用限制
PolarDB MySQL联邦分析仅支持AnalyticDB for MySQL企业版、基础版及湖仓版集群。
仅部分地域支持联邦分析:华北1(青岛)、华北2(北京)、华北3(张家口)、华东1(杭州)、华东2(上海)、华南1(深圳)、华南3(广州)、中国(香港)、日本(东京)、新加坡、马来西亚(吉隆坡)、印度尼西亚(雅加达)、美国(硅谷)、美国(弗吉尼亚)、德国(法兰克福)、英国(伦敦)。
单个PolarDB MySQL实例仅允许创建3个同步链路任务;单个地域仅允许创建30个同步链路任务。
创建同步链路
登录PolarDB控制台。
在页面左上角,选择目标实例所在地域。
在左侧导航栏选择联邦分析。
单击新建链路,在弹出的新建链路面板中配置如下参数:
参数
说明
任务名称
您可以自定义任务名称。任务名称默认为data-sync-时间标识。
PolarDB MySQL集群
源PolarDB MySQL实例ID。
源数据库账号名
联邦分析会自动为PolarDB MySQL实例创建数据库账号,执行数据同步操作。数据库账号以sync开头,请勿删除或修改该数据库账号名称。
AnalyticDB MySQL实例
目标AnalyticDB for MySQL集群ID。
您可以选择已有的企业版、基础版及湖仓版集群或单击点击新建AnalyticDB MySQL实例,新建企业版、基础版及湖仓版集群。
高级设置
默认关闭。关闭时为源端整实例同步。
开启高级配置后可配置同步库表选择和大表分区键设置参数。
同步库表选择
您可以选择需要同步的数据库和数据表。默认同步源端所有的库表。
重要不支持同步无主键的表,无主键的表会被自动过滤。
AnalyticDB for MySQL每个集群最多可创建2048个数据库。更多信息,请参见使用限制。
大表分区键设置
为了提高数据的写入和查询性能,建议您设置分区键。如何设置分区键,请参见表结构设计。
支持设置的分区格式如下:
value:按值进行分区。
yyyyMMdd:按年、月、日进行分区。
yyyyMM:按年、月进行分区。
yyyy:按年进行分区。
单击确定。任务自动启动。
在联邦分析页面,您可以查看已创建的任务,也可以在操作列查看、编辑、删除、暂停、启动同步任务。
重要任务删除后无法恢复。
单击目标实例ID,页面将自动跳转到云原生数据仓库 AnalyticDB MySQL 版控制台。您可以在AnalyticDB for MySQL控制台进行数据分析。相关操作请参见SQL开发编辑器。
后续操作
创建同步链路后,您可以进行SQL开发或Spark开发,具体开发步骤请参考以下文档: