通过一键建仓同步至数仓版

更新时间:
重要

本文中含有需要您注意的重要提示信息,忽略该信息可能对您的业务造成影响,请务必仔细阅读。

您可以在AnalyticDB for MySQL控制台上通过一键建仓将一个或多个RDS MySQL实例中的数据同步到AnalyticDB for MySQL集群中,快速创建RDS MySQL数据仓库。

适用范围

一键创建数据仓库仅适用于AnalyticDB for MySQL数仓版集群。

前提条件

  • 已创建RDS MySQL实例。更多信息,请参见创建RDS MySQL实例

  • 已创建RDS MySQL数据库。更多信息,请参见创建数据库

  • RDS MySQL数据库中已存在表数据。

计费

一键创建RDS MySQL数据仓库时,系统自动通过DTS同步数据。DTS计费规则,请参见计费概述

注意事项

  • 数据同步过程中,若在源实例RDS MySQL中新增库,新增库数据不会自动同步,需要手动配置同步链路,请参见手动配置

  • 不要在数据同步过程中增加无主键表,将导致同步链路中断。

  • 同步链路中断7天后不再保证数据正确性,请及时处理链路中断问题。

  • 一键建仓链路不支持修改同步的库表对象,例如不支持手动移除或添加同步表等。

应用场景

一键建仓主要解决云上企业构建数据仓库时配置数据同步链路繁杂的问题,同时提供了高性价比的AnalyticDB for MySQL存储计算资源方案。一键建仓适用于以下场景:

  • 全库同步。通过一键建仓一键生成同步链路,将一个或多个RDS实例中的数据同步到同一个AnalyticDB for MySQL集群中。

    说明

    一键建仓支持跨区域同步数据,例如您可以将杭州区域的RDS实例数据同步到上海地域的AnalyticDB for MySQL集群中。

  • 多源汇集。通过一键建仓,可以将RDS、PolarDB MySQL、日志数据便捷地汇集到同一个AnalyticDB for MySQL集群。

支持同步的SQL操作

操作类型

SQL操作语句

DML

INSERT、UPDATE、DELETE

说明

在数据写入到云原生数据仓库 AnalyticDB MySQL 版时,UPDATE语句会自动转化为REPLACE INTO语句(若更新的是主键,则会转化为DELETE+INSERT语句)。

DDL

CREATE TABLE、DROP TABLE、RENAME TABLE、TRUNCATE TABLE、ADD COLUMN、MODIFY COLUMN、DROP COLUMN

警告

如果在数据同步过程中变更了源表的字段类型,同步任务将报错并中断。您可以参照以下方法手动修复。

  1. 在同步至目标库AnalyticDB for MySQL时,源表(例如customer)因字段类型变更而导致同步任务失败。

  2. AnalyticDB for MySQL中创建一个新表(customer_new),表结构与customer表保持一致。

  3. 通过INSERT INTO SELECT命令,将customer表的数据复制并插入到新创建的customer_new表中,确保两张表的数据保持一致。

  4. 重命名或删除同步失败的表customer,然后将customer_new表的名称修改为customer。

  5. 在DTS控制台,重新启动数据同步任务。

操作步骤

  1. 登录云原生数据仓库AnalyticDB MySQL控制台
  2. 在左侧导航栏,单击集群列表
  3. 单击一键建仓 > 数据库一键建仓

  4. 数据库一键建仓页面,按照页面提示进行参数配置。

    类别

    参数

    说明

    数据源配置

    源实例地域

    源实例地域下拉列表,选择RDS MySQL实例所在地域,然后从左侧实例列表中选择一个或多个实例,单击右移将其添加到右侧的已选择实例中。

    说明

    一键建仓支持跨地域同步数据,例如您可以将杭州地域的RDS数据同步到上海AnalyticDB for MySQL集群中,跨地域详情以具体页面为准。

    云原生数据仓库

    集群地域

    集群地域下拉列表,选择AnalyticDB for MySQL集群所在地域。

    集群名称

    集群名称下拉列表,选择一个AnalyticDB for MySQL集群。

    AnalyticDB for MySQL将根据您选择的RDS实例中的数据存储量,自动进行存储空间计算,只在集群名称中显示符合条件的AnalyticDB for MySQL集群。

    您也可以单击立即购买新建AnalyticDB for MySQL集群,将RDS MySQL数据同步到新集群中,请参见创建集群

  5. 完成上述参数配置后,单击创建AnalyticDB for MySQL系统自动创建DTS同步链路并进行数据同步。

查看或变更同步任务

通过AnalyticDB for MySQL控制台查看或变更同步任务

云原生数据仓库AnalyticDB MySQL控制台同步概览页面,可查看该集群下的同步任务详情。您也可以修改同步的数据源,暂停、启动、删除同步任务。

通过DTS控制台查看同步任务

  1. 登录数据传输控制台

  2. 在左侧导航栏,单击数据同步

  3. 同步任务页面顶部,选择数据同步实例所属地域。

    说明

    数据同步实例的所属地域与目标AnalyticDB for MySQL集群所属地域一致。

  4. 同步任务页的搜索框中,输入任务名ADB一键建仓同步作业,即可查看当前地域下所有AnalyticDB for MySQL一键建仓的同步任务详情。

    说明

    DTS同步任务详情,请参见查看同步链路状态和性能

相关文档