使用DMS归档数据到X-Engine - 云数据库 RDS

本文介绍如何通过任务编排实现周期性地将MySQL InnoDB表中的历史数据迁移至MySQL X-Engine表，实现低成本的RDS X-Engine存储方案。

前提条件

源库和目标库实例满足以下条件：

源库为RDS MySQL InnoDB数据库。
目标库为RDS MySQL X-Engine数据库，创建方法请参见创建RDS MySQL实例。
管控模式均为安全协同。
源库和目标库均已开启跨库查询，开启方法请参见编辑实例。

说明本案例中RDS MySQL InnoDB引擎对应的DBLink名称为dblink_src_rds，RDS MySQL X-Engine引擎对应的DBLink名字为dblink_target_rds。

背景信息

为解决企业随着业务的发展，数据库存储膨胀而导致存储成本急剧上升、数据库性能出现下降等问题，阿里云推出基于X-Engine存储引擎的低成本存储方案。通过将现有MySQL InnoDB表中的历史数据迁移至MySQL X-Engine引擎上，仅保留最近的热数据的方式，可降低企业存储成本，提高数据库安全及可用性。

说明 X-Engine是阿里云自研的OLTP数据库存储引擎，已经广泛应用在阿里集团内部诸多业务系统中，包括交易历史库、钉钉历史库等核心应用，大幅缩减了业务成本，同时也作为双十一大促的关键数据库技术，挺过了数百倍平时流量的冲击。X-Engine的性能与InnoDB存储引擎相似，但是存储成本远低于InnoDB，因此拥有极高的性价比。更多信息请参见X-Engine简介。

流程如下图所示：

您可以使用DMS的任务编排功能实现历史数据定期、自动地迁移到X-Engine上，降低人工操作的成本。

本文将介绍在DMS任务编排中，创建可周期性地（每天）将MySQL InnoDB表中的历史数据（一个月前）迁移至MySQL X-Engine表上，然后对InnoDB表进行历史数据清理和表空间优化的任务流。随着任务流的周期运行，MySQL InnoDB表中将只保留最近一个月的数据，而大量历史数据则保存至低成本的X-Engine引擎上。

创建任务流

登录新版DMS控制台。
在页面顶部，选择全部功能 > 数据工厂 > 任务编排。
在任务编排页面的自由编排任务区域，单击新建任务流。
在新建任务流对话框，将任务流名称设置为Rds_innodb_to_X-Engine，将描述设置为Rds_innodb_to_X-Engine demo，单击确认。即会进入任务编排页面。

创建任务节点

本章节将介绍在Rds_innodb_to_X-Engine任务流中创建4个任务节点：

创建X-Engine表：创建数据转储的目标表。
历史数据迁移：利用DSQL跨库查询的能力将InnoDB表的数据迁移至X-Engine表上。
删除InnoDB表的历史数据：删除InnoDB表中已迁移的数据。
优化InnoDB表：历史数据删除后，可通过OPTIMIZE命令对InnoDB表空间进行优化，以节省存储空间。

在任务编排页面中，创建并配置以下节点：
创建X-Engine表
1. 将左侧任务类型中的MySQL拖拽到页面中的空白区域。
2. 双击画面中的目标任务节点，重命名为：创建X-Engine表，按回车保存节点名。
3. 单击此节点，在右侧面板中选中内容设置页签。
4. 在内容设置页签中，从数据库列表，选择RDS MySQL X-Engine数据库实例。
5. 输入以下建表语句，并单击保存。
```
CREATE TABLE IF NOT EXISTS `target_xengine_tbl` (
  `id` BIGINT,
  `price` DECIMAL(10,2),
  `count` INT,
  `trx_time` DATETIME,
  PRIMARY KEY (`id`)
) ENGINE=XENGINE DEFAULT CHARSET=utf8;
```
  说明本案例中将目标表命名为：target_xengine_tbl，且该表的表结构与InnoDB业务库里的表结构src_innodb_tbl必须一致。
历史数据迁移
1. 将左侧任务类型中的跨库SQL拖拽到页面中的空白区域。
2. 双击画面中的目标任务节点，重命名为：历史数据迁移，按回车保存节点名。
3. 单击任务流中画布的空白处，在右侧面板中选中任务流变量页签，参考下图添加变量名为thirty_one_days_ago和thirty_days_ago的变量，并单击保存。
  在配置完变量后，您可以在SQL任务中，用${变量名}表示时间点或时长。关于变量的规则与作用详情，请参见任务。
  - 新增thirty_one_days_ago变量，格式为yyyy-MM-dd，偏移为-30日。
    表示获取当前日期往前30天的日期（精确至日期），例如当前日期为2021-01-15，该变量的值即为2020-12-15。
  - 新增thirty_days_ago变量，格式为yyyy-MM-dd，偏移为-29天。
    表示获取当前日期往前29天的日期（精确至日期），例如当前日期为2021-01-15，该变量的值即为2020-12-16。
4. 单击此节点，在右侧面板中选中内容设置页签。
5. 输入以下语句，并单击保存。
```
INSERT INTO `dblink_target_rds`.`target_db`.`target_xengine_tbl`
 (`id`, `price`, `count`, `trx_time`)
SELECT `id`, `price`, `count`, `trx_time`
FROM `dblink_src_rds`.`src_db`.`src_innodb_tbl`
WHERE `trx_time` >= '${thirty_one_days_ago}'
AND `trx_time` < '${thirty_days_ago}';
```
  说明该语句的主要作用是将InnoDB表的部分数据迁移至X-Engine表中。
  
  本案例中dblink_src_rds指源RDS MySQL InnoDB引擎的数据库实例，dblink_target_rds指目标RDS MySQL X-Engine引擎的数据库实例。
  
  迁移数据的范围（WHERE条件）由两个任务流变量来控制：${thirty_one_days_ago}和${thirty_days_ago}。
删除InnoDB表的历史数据
1. 将左侧任务类型中的无锁数据变更拖拽到页面中的空白区域。
2. 双击画面中的目标任务节点，重命名为：删除InnoDB表的历史数据，按回车保存节点名。
3. 单击此节点，在右侧面板中选中内容设置页签。
4. 在内容设置页签中，从数据库列表，选择RDS MySQL InnoDB数据库实例。
  
  说明该节点的目的是删除RDS MySQL InnoDB表中对已迁移的数据。
5. 输入以下语句，并单击保存。
```
DELETE FROM `src_innodb_tbl`
  WHERE `trx_time` >= '${thirty_one_days_ago}'
  AND `trx_time` < '${thirty_days_ago}';
```
优化InnoDB表
1. 将左侧任务类型中的无锁数据变更拖拽到页面中的空白区域。
2. 双击画面中的目标任务节点，重命名为：优化InnoDB表，按回车保存节点名。
3. 单击此节点，在右侧面板中选中内容设置页签。
4. 在内容设置页签中，从数据库列表，选择RDS MySQL InnoDB数据库实例。
5. 输入以下语句，并单击保存。
```
OPTIMIZE TABLE `src_innodb_tbl`;
```
  说明为避免运行OPTIMIZE命令对在线业务的影响，建议您将RDS实例开启OnlineDDL功能（如下图所示），开启方法请参见编辑实例。
在任务流中的画布中，按顺序将4个任务节点进行连接。

开启调度任务

单击任务流中画布的空白处，在右侧面板中选中调度配置页签，打开开启调度按钮，参考下图完成配置。

说明为避开业务高峰期，本案例的调度配置为每日凌晨01:00运行，您可以按需配置调度计划。
单击保存即可。