数据开发之数据归档 - 数据管理 DMS

本文介绍如何通过数据开发功能快速实现常见的数据归档需求。

背景信息

随着业务的发展，在线表中的数据会逐渐增加。常规业务都有冷热数据现象明显的特性（需要访问的都是近期产生的热数据；时间久远的冷数据出于备份、备案溯源等诉求会进行在线保留）。在业务表数据量可控、数据库服务性能有足够余量时，一般不会对冷数据进行处理。在需要进行频繁的数据、结构变更时，如果能够及时、有效的分离冷热数据，就可以极大的优化变更时间、变更性能开销等方面。

在没有数据开发功能之前，常规的数据归档方式如下：

开发：写个转储逻辑、写个清理逻辑，部署在某个应用服务器，周期调度这段代码。
DBA/运维：写个转储SQL、写个清理SQL，提交crontab部署在数据库服务器，周期调度这个脚本。

常规的数据归档方式不足之处如下：

每个业务表都需要重复一次这样的开发与配置。
无法有效全局管控，如遇到大促、变更等重要窗口无法有效的暂停任务的调度。
任务未有效调度时无法及时、有效的通知介入，容易造成在线表数据量过大的问题降级服务性能。
执行日志无法统一管理，有效溯源查看。

数据开发简介

数据开发基础概念及使用请参见文档数据开发。
使用数据开发进行在线数据归档拥有以下几点优势：
- 每个业务的数据表都可以按需随时进行归档逻辑的配置。
- 所有任务流配置清晰可见，如遇大促等重保需求可便捷的进行调度的暂停处理。
- 研发、DBA、运维等角色都可以直接在功能模块内进行统一的可视化配置，减少研发工作量。
- 统一操作入口后，调度执行日志随时可查看。
- 在任务执行失败后可以及时接收到通知进行介入处理。

操作步骤

登录DMS控制台。
单击上方菜单栏中数据工厂 > 任务编排。
在任务编排页面，单击新建任务流。
在新建任务流对话框，自定义填写任务流名称和描述后，单击确认。
单击页面中间添加任务，将左侧任务类型中单实例SQL拖拽到页面中空白区域。

若转储的数据和在线数据不在一个实例存储的场景请使用跨实例SQL。
配置任务节点。
1. 单击步骤5中新建的任务节点，在右侧属性面板中单击内容设置，进入到任务节点的SQL编辑页面。
2. 在内容设置页签编辑转储数据逻辑。
  - 每个月的表您可以通过结构设计-逻辑表结构变更一次性完成多年表的创建；也可以在当前SQL任务中使用create命令新建。
  - 下图方案1中每个月对一张表进行存储，insert的目标表需要变量指定，变量格式为${变量名}，支持无引号或者单引号处理。
3. 单击属性面板中的变量设置，设置变量。
4. 完成SQL、变量配置之后，单击SQL预览确认是否满足预期。
5. 确认无误后，单击属性面板右下角保存。