本文介绍如何在数据管理DMS中使用数据归档功能。

背景信息

随着业务的发展,线上数据库越来越大,影响表的查询性能与业务的运作。

为解决上述问题,除了进行分库分表的架构改造之外,DMS推出数据归档功能,定时将大表的数据归档至OSS,您可以通过DMS的历史数据清理工单删除原表中已归档的数据,提高查询性能、降低存储成本。

费用说明

DMS会在DBS中创建一个备份计划,定时将数据归档至OSS。DMS在该过程不会产生费用,但DBS会根据备份的数据量收取备份、存储等费用。更多信息,请参见DBS费用概述

前提条件

操作步骤

  1. 登录数据管理DMS 5.0
    说明 如果您需要切换到旧版数据管理DMS,单击页面右下角返回旧版,进入数据管理DMS平台。具体操作,请参见数据管理DMS 5.0切换至旧版
  2. 在顶部菜单栏中,选择解决方案 > 数据归档
    说明 如果您使用的是旧版数据管理DMS,在顶部菜单栏中,选择全部功能 > 数据方案 > 导出 > 数据归档
  3. 新建数据归档工单页面,参考下表配置参数。
    数据归档配置页
    配置项 说明
    任务名 请输入明确、清晰的任务名,以减少沟通成本。
    归档方式 目前仅支持归档至OSS
    数据库 选择待归档的数据库。
    归档配置 选择待归档的表(table),并输入过滤条件(WHERE子句,此处不需要填写WHERE关键字)。
    变量配置(可选) 按需配置变量,配置完变量后,您可以在归档配置中用${变量名}表示时间点或时长。关于变量的规则,请参见配置变量
    说明 自定义变量都是以bizdate(当前日期的前一天)的时间点为基准,即定义的时间偏移是基于bizdate去做加减的。

    例如,新增变量6_month_ago,格式为yyyy-MM-dd,偏移为- 6月。如果当前日期为2021-01-10,则变量6_month_ago的值为2020-07-09。

    运行方式 选择运行方式,当前支持:
    • 单次执行:审批后,立即执行,且只执行一次。
    • 周期调度:审批后,按配置的周期执行(支持在工单中修改周期配置),更多信息,请参见调度周期配置表
  4. 单击提交申请
    系统会进行内容合法性检查。
  5. 单击提交审批
    审批通过后,系统将根据配置项执行归档任务。

后续步骤

  1. 在DBS中将备份集创建数据湖,更多信息,请参见创建数据湖
  2. 将数据湖录入至DMS中,更多信息,请参见云数据库录入

    录入后,您可以在SQL Console中进行数据查询、在任务编排功能中进行数据分析与数据开发,更多信息,请参见配置任务流