本文介绍如何通过数据开发功能快速实现常见的数据归档需求。
随着业务的发展,在线表中的数据会逐渐增加。常规业务都有冷热数据现象明显的特性(需要访问的都是近期产生的热数据;时间久远的冷数据出于备份、备案溯源等诉求会进行在线保留)。在业务表数据量可控、数据库服务性能有足够余量时,一般不会对冷数据进行处理。在需要进行频繁的数据、结构变更时,如果能够及时、有效的分离冷热数据,就可以极大的优化变更时间、变更性能开销等方面。
在没有数据开发功能之前,常规的数据归档方式如下:
常规的数据归档方式不足之处如下:
登录DMS控制台。
单击上方菜单栏中数据工厂 > 任务编排。
在任务编排页面,单击新建任务流。
在新建任务流对话框,自定义填写任务流名称和描述后,单击确认。
单击页面中间添加任务,将左侧任务类型中单实例SQL拖拽到页面中空白区域。
若转储的数据和在线数据不在一个实例存储的场景请使用跨实例SQL。
配置任务节点。
7.重复步骤5和步骤6,再拖拽一个任务节点进行在线表的数据清理。
8.返回到DAG图中,在两个任务节点上画线。
数据归档需要先完成转储才可以进行数据清理,画线方式如下图所示。
9.完成DAG图的流程走向编辑后,在右侧属性面板中开启调度,完成配置后单击保存即可。
任务流调度周期支持每月、每周、每天多维度配置,您可以按需求选择调度周期。
在数据开发页面,单击左侧运行管理页签即可查看(本例中配置为每月19号调度,暂无记录)。
若任务执行失败,将会通知给到任务流的责任人(责任人默认为创建者,管理员和DBA可转交责任人)。
在文档使用中是否遇到以下问题
更多建议
匿名提交