通过联邦分析同步数据

重要
  • PolarDB MySQL版联邦分析功能已于2024年7月23日完成迭代升级。该功能的入口已下线,不再支持新建任务。后续您可前往PolarDB控制台-数据集成,进行同步任务的创建。详情请参见通过无感集成同步数据

  • 若您已经设置了联邦分析链路,您仍可在华东1(杭州)、华东2(上海)、华南1(深圳)、华北2(北京)、美国(弗吉尼亚)地区看到联邦分析入口,以便进行链路管理。

联邦分析使用AnalyticDB for MySQL的免费高速数据管道服务(APS)将PolarDB MySQL中的数据实时同步至AnalyticDB for MySQL企业版、基础版及湖仓版集群中,帮助您一站式完成数据同步与管理。本文介绍如何通过联邦分析将PolarDB MySQL中的数据同步至AnalyticDB for MySQL企业版、基础版及湖仓版集群。

前提条件

  • PolarDB MySQL实例与AnalyticDB for MySQL企业版、基础版及湖仓版集群位于同一地域。具体操作,请参见创建实例创建集群

  • PolarDB MySQL实例已开启Binlog功能。具体操作,请参见开启Binlog

使用限制

  • PolarDB MySQL联邦分析仅支持AnalyticDB for MySQL企业版、基础版及湖仓版集群。

  • 仅部分地域支持联邦分析:华北1(青岛)、华北2(北京)、华北3(张家口)、华东1(杭州)、华东2(上海)、华南1(深圳)、华南3(广州)、中国(香港)、日本(东京)、新加坡、马来西亚(吉隆坡)、印度尼西亚(雅加达)、美国(硅谷)、美国(弗吉尼亚)、德国(法兰克福)、英国(伦敦)。

  • 单个PolarDB MySQL实例仅允许创建3个同步链路任务;单个地域仅允许创建30个同步链路任务。

创建同步链路

  1. 登录PolarDB控制台

  2. 在页面左上角,选择目标实例所在地域。

  3. 在左侧导航栏选择联邦分析

  4. 单击新建链路,在弹出的新建链路面板中配置如下参数:

    参数

    说明

    任务名称

    您可以自定义任务名称。任务名称默认为data-sync-时间标识

    PolarDB MySQL集群

    源PolarDB MySQL实例ID。

    源数据库账号名

    联邦分析会自动为PolarDB MySQL实例创建数据库账号,执行数据同步操作。数据库账号以sync开头,请勿删除或修改该数据库账号名称。

    AnalyticDB MySQL实例

    目标AnalyticDB for MySQL集群ID。

    您可以选择已有的企业版、基础版及湖仓版集群或单击点击新建AnalyticDB MySQL实例,新建企业版、基础版及湖仓版集群。

    高级设置

    默认关闭。关闭时为源端整实例同步。

    开启高级配置后可配置同步库表选择大表分区键设置参数。

    同步库表选择

    您可以选择需要同步的数据库和数据表。默认同步源端所有的库表。

    重要
    • 不支持同步无主键的表,无主键的表会被自动过滤。

    • AnalyticDB for MySQL每个集群最多可创建2048个数据库。更多信息,请参见使用限制

    大表分区键设置

    为了提高数据的写入和查询性能,建议您设置分区键。如何设置分区键,请参见表结构设计

    支持设置的分区格式如下:

    • value:按值进行分区。

    • yyyyMMdd:按年、月、日进行分区。

    • yyyyMM:按年、月进行分区。

    • yyyy:按年进行分区。

  5. 单击确定。任务自动启动。

    联邦分析页面,您可以查看已创建的任务,也可以操作查看编辑删除暂停、启动同步任务。

    image.png

    重要

    任务删除后无法恢复。

  6. 单击目标实例ID,页面将自动跳转到云原生数据仓库 AnalyticDB MySQL 版控制台。您可以在AnalyticDB for MySQL控制台进行数据分析。相关操作请参见SQL开发编辑器

后续操作

创建同步链路后,您可以进行SQL开发或Spark开发,具体开发步骤请参考以下文档: