随着业务发展,线上数据库数据量越来越多,影响表的查询性能与业务运作。为解决该问题,DMS推出数据归档功能,定时将大表的数据归档至OSS或Lindorm,并支持源表数据可选删除、表空间整理回收等操作,提高查询性能,降低在线存储成本。本文介绍如何将大表数据归档至DBS内置OSS中。

前提条件

  • 业务数据库为RDS MySQL、PolarDB MySQL引擎或其他来源MySQL。
  • 已开通数据库备份DBS服务。具体操作,请参见如何开通数据库备份DBS服务
  • 已开通云原生数据湖分析DLA服务。具体操作,请参见开通云原生数据湖分析服务
  • 您的用户角色为管理员、DBA、普通用户。
    说明 普通用户需要有业务数据库的导出权限。关于权限,请参见权限管理

费用说明

数据管理DMS会在DBS中创建一个备份计划,定时将数据归档至OSS。DBS会根据备份的数据量收取备份、存储等费用。更多信息,请参见DBS费用概述
说明 数据归档创建的DBS备份计划规格为xlarge。

操作步骤

  1. 登录数据管理DMS 5.0
    说明 如果您需要切换到旧版数据管理DMS,单击页面右下角返回旧版,进入数据管理DMS平台。具体操作,请参见数据管理DMS 5.0切换至旧版
  2. 在顶部菜单栏中,选择解决方案 > 数据归档
    说明 如果您使用的是旧版数据管理DMS,在顶部菜单栏中,选择全部功能 > 数据方案 > 导出 > 数据归档
  3. 新建数据归档工单页面,配置工单信息。
    配置项 说明
    任务名 请输入明确、清晰的任务名,以减少沟通成本。
    归档目标 选中DBS内置OSS
    数据库 搜索并选择待归档的业务数据库。
    归档配置
    1. 选择需要归档数据的表。
    2. 可选:输入归档数据的过滤条件。
      说明 如果您需要使用时间变量,例如,归档6个月前的数据,可以先进行变量配置
    变量配置(可选) 配置时间变量,请参见配置时间变量
    运行方式 选择运行方式,当前支持:
    • 单次执行:工单审核通过后,仅单次运行归档任务。
    • 周期调度:工单审核通过后,可根据部署的周期调度执行归档任务。具体配置,请参见周期调度
  4. 单击提交申请
    工单审批通过后,自动执行数据归档任务。
    说明 数据归档功能将以0时区进行数据归档与后置行为(与数据库实际时区无关)。
  5. 可选:查看已归档数据。
    1. 在DBS中将备份集创建数据湖。更多信息,请参见创建数据湖
    2. 将数据湖录入至DMS实例中,您可以在SQL窗口中进行数据查询,在任务编排中进行数据分析与数据开发。
      说明 录入DMS实例,请参见云数据库录入
  6. 可选:数据归档成功后,您可以进行源表数据删除和空间优化。
    1. 清理源表数据:通过新建普通数据变更工单清理数据库中已归档的数据。新建普通数据变更工单,请参见普通数据变更
    2. 源表空间优化:通过新建无锁变更工单完成源表空间优化。新建无锁变更工单,请参见DDL无锁变更