全部产品

历史数据清理

更新时间:2020-05-27 23:40:11

为防止历史数据堆积对生产环境的稳定性产生影响,数据管理DMS提供历史数据清理功能,可以定期清理历史数据。本文档介绍如何使用历史数据清理功能。

注意事项

  • 该功能支持物理库和逻辑库。
  • 目前仅只支持MySQL。

操作步骤

  1. 登录DMS控制台

  2. 在上方菜单栏选择数据方案>数据变更>历史数据清理

  3. 可参考下表填写数据变更工单申请,并单击提交申请

    参数名 说明
    原因类别
    选择数据变更的原因,方便后续查找。
    业务背景 详细描述变更原因或目标,减少沟通成本。
    变更相关人 设置的相关人员都可查看工单,并协同工作,非相关人员则不能查看工单(管理员、DBA除外)。
    数据库 选择有变更权限的数据库。若您只有目标数据库的只读权限或只有表的变更权限时则无法提交。
    清理配置 填入表名、时间列、保留时长(单位:日)。
    系统将会根据这三个信息,生成相应的清理脚本(如果是逻辑表,请填写逻辑表名),例如:表名(api_call_record_11)、时间列(gmt_create)、保留时长(7),将会生成SQL:
    DELETE FROM `api_call_record_11` WHERE `gmt_create` < SUBDATE(CURDATE(),INTERVAL 7 DAY);
    定时执行 格式为标准的cron表达式。
    由于DMS在清理数据时会扫描全表,然后根据主键或非空唯一键分批执行,所以推荐执行时间设置为业务低峰期,且设置较低的执行频率(不低于1小时)。更多实现原理,请参见无锁数据变更
    策略配置 您可以指定执行时长,这样任务就会执行指定时间后,自动暂停,避免在业务高峰期影响业务。

    1

  4. 工单提交后,系统会进行内容合法性检查,当检查通过时,需要您提交执行,审批通过后,就会生成定时任务。

    在提交审批前,您可以修改清理内容和定时配置,一旦提交审批后,您将不能再修改这些信息。

  5. 工单审批通过后,系统将会自动生成定时任务,同时发送邮件给工单责任人,您可以通过单击查看定时任务,查看定时调度信息,同时您还可以进行以下操作。

    • 暂停调度

    • 重启调度

      关闭调度:如果需要关闭调度,只需要关闭工单即可,关闭工单后无法重启调度了,若需要重启调度只能重新提工单。

    • 修改工单责任人

      工单责任人默认是工单提交者。
      定时调度的暂停、重启,只有工单责任人有权限执行;每次调度执行的邮件通知,也只会发给责任。

    2

  6. 定时任务生成后,系统将会按照您设置的定时策略,定时执行生成的SQL脚本;可以在工单中查看所有的调度信息以及每次调度的详情。

    注意,每次定时调度时,会检查当前工单是否存在还在执行中的调度任务,如果还有任务在执行,本次调度将不会生成SQL任务,所以业务方需要合理控制定时执行的频率。

    3