数据管理DMS提供的数据归档功能,可以定时将源数据库的大表数据归档至专属存储(存储在DMS中),并自动清理源表已归档数据,有效解决由于线上数据量增多影响数据库查询性能与业务运作速率的问题,同时,使用此功能还可以降低在线存储成本。本文介绍数据归档、归档后查询数据、恢复已归档数据至源库的操作步骤。

前提条件

  • 源数据库类型如下:
    • MySQL:RDS MySQLPolarDB MySQL版AnalyticDB MySQL 3.0
      说明 MySQL数据库账号必须具有REPLICATION CLIENT权限。
    • PostgreSQL:RDS PostgreSQLPolarDB PostgreSQL版
    • PolarDB分布式版
    • 云数据库MongoDB版
    说明
    • 当前云数据库MongoDB版作为源库进行数据归档正在公测中。
    • 物理库和逻辑库均支持。
  • 归档目标:专属存储。
  • 需要归档的源表必须存在主键或者唯一键。
    说明 建议源表中包含业务修改时间的字段,以便将业务修改时间作为归档的过滤条件。

费用说明

公测阶段暂不收费。若使用此功能开始收费,则会提前通知。

注意事项

  • 数据归档至专属存储无存储量限制。
  • 因当前数据归档至专属存储功能在公测中,不收费,所以不支持删除归档至专属存储的数据。

数据归档

  1. 登录数据管理DMS 5.0
  2. 在顶部菜单栏中,选择解决方案 > 数据归档
  3. 在页面右上角,单击数据归档
  4. 新建数据归档工单页面,配置以下信息:
    配置项是否必填说明
    任务名请输入明确、清晰的任务名,以减少沟通成本。
    归档目标选中专属存储
    源数据库搜索并选择源数据库。
    归档配置
    选择需要归档数据的表。
    • 可选:输入归档数据的过滤条件。例如,gmt_modified<='${6_month_ago}'
      说明 如果您需要使用时间变量,例如,归档6个月前的数据,可以先进行变量配置
    • 可选:单击添加,添加多个源表。
    归档表映射您可以通过归档表映射查看源表归档至专属存储后的表名、列和分库键等归档表信息。
    变量配置配置该变量可以在配置归档过滤条件时使用。例如,时间变量为6_month_ago,时间格式为yyyy-MM-dd,偏移量设置为-6月。如果当前日期为2021-8-12,则变量${6_month_ago}的值为2021-02-11。配置时间变量的更多信息,请参见配置时间变量
    后置行为
    • 若您选中清理原表已归档数据(delete-无锁),则在归档完成后,系统将自动执行归档后的源表数据删除操作,可以通过无锁数据变更的DELETE语句完成。但删除源表的同时,源库中会生成存储此次归档数据的备份临时表,请保证源库空间充足,避免空间容量不足引发实例不可用问题。

      清理备份临时表:您可以在确认数据归档完成且数据无误后,通过新建普通数据变更工单,清理源库中的备份临时表。

    • 若您未选中清理原表已归档数据(delete-无锁),则需要在数据归档成功后,手动进行源表数据删除和空间优化。
      1. 清理源表数据:通过新建普通数据变更工单清理数据库中已归档的数据。新建普通数据变更工单,请参见普通数据变更
      2. 源表空间优化:通过新建无锁变更工单完成源表空间优化。新建无锁变更工单,请参见通过无锁变更工单实现无锁结构变更
    运行方式选择运行方式,当前支持:
    • 单次执行:工单审核通过后,仅单次运行归档任务。
    • 周期调度:工单审核通过后,可根据部署的周期调度执行归档任务。具体配置,请参见配置周期调度
  5. 单击提交申请
  6. 工单审批通过后,系统自动执行数据归档任务,等待归档任务执行完成。
    若任务执行失败,您可在工单的执行区域,单击操作列下的详情,查看归档任务日志,找出任务执行失败的原因。若是由于网络或数据库连接失败等偶然发生的问题,您也可以单击断点重试,尝试重新执行。
    说明 归档后的数据格式为Parquet文件格式,且数据量会有所压缩。
  7. 可选:归档后查询数据

归档后查询数据

费用说明

公测阶段暂不收费。

注意事项

仅数据归档工单创建人或相关人可查询归档后的数据。

操作步骤

  1. 登录数据管理DMS 5.0
  2. 在顶部菜单栏中,选择解决方案 > 数据归档
  3. 进入数据归档工单列表页面,视图选择归档视图
  4. 搜索目标数据归档工单。您可在搜索框中输入工单号、库名或表名等信息,单击搜索,快速获取目标工单。
  5. 单击目标归档视图工单行操作列下的查询
  6. 系统自动跳转至逻辑数仓页面,且在命令执行区域自动填充查询SQL。
    说明 若系统自动跳转至空白页,则说明您当前没有逻辑数仓的权限。请使用钉钉搜索钉钉群号24005004020,并加入钉钉群申请权限。
  7. 单击执行,查询结果会在页面下方的执行结果区域展示。
    说明 系统默认限制返回20条查询数据,您可根据业务需求修改限制条件,返回更多数据。

恢复已归档数据至源库

费用说明

该功能免费使用。

使用限制

仅源数据库类型为RDS MySQLAnalyticDB MySQL 3.0可使用此功能。

操作步骤

  1. 登录数据管理DMS 5.0
  2. 在顶部菜单栏中,选择解决方案 > 数据归档
  3. 进入数据归档工单列表页面,视图选择工单视图
  4. 单击目标工单视图行操作列下的详情
  5. 数据归档工单列表页的执行区域,单击操作列下的恢复到源库
  6. 在对话框中,单击确认
    此时归档的任务下会增加一个恢复的任务。系统自动执行此任务,您需要等待任务状态从正在执行变为执行成功,此过程耗时长短与您恢复的数据量有关。任务执行
    重要 执行归档数据恢复到源库操作后,系统会自动在源库中创建临时表,可能会造成源库空间不足,请您谨慎操作。
  7. 查看已恢复的数据。
    1. 在该工单详情页的基本信息区域,单击变更库名称,在弹出的提示框上单击查询
    2. 双击目标表名称,单击执行
      您可在SQL Console页面下方的执行结果区域,查看已恢复的数据。

合并归档数据文件

重要 文件合并操作不可逆,请谨慎使用。

文件合并功能可实现对单次执行归档的数据文件进行重组排列(例如将两个文件合并为一个文件),合并后可以提升本次归档数据的查询性能。

费用说明

该功能免费使用。

注意事项

  • 已归档数据文件合并后,会额外增加存储量(已归档数据量的0.5~1倍)。
  • 文件合并过程中,不影响归档数据查询操作。

操作步骤

  1. 登录数据管理DMS 5.0
  2. 在顶部菜单栏中,选择解决方案 > 数据归档
  3. 进入数据归档工单列表页面,视图选择工单视图
  4. 选择目标工单,单击操作列下的详情
  5. 进入数据归档工单列表页面,在执行区域,单击操作列下的文件合并
  6. 在弹出的对话框中,单击确认
    此时归档任务下会出现文件合并任务。系统自动执行此任务,您需要等待任务状态从正在执行变为执行成功,此执行过程耗时长短与您归档数据的存储量有关。文件合并
    说明 文件合并任务执行完成后,系统会自动将数据源替换为合并后的文件。
  7. 查询文件合并后的数据。具体操作,请参见归档后查询数据

配置周期调度

运行方式周期调度时,请根据实际情况配置如下参数:

表 1. 调度周期配置表
配置项说明
调度周期选择调度任务的周期:
  • 小时:按设定的小时执行任务调度,需要配置定时调度
  • :按每日一次的频率执行任务调度,需要配置每日调度具体时间
  • :以周为周期,每个指定天执行一次任务调度,需要配置指定时间具体时间
  • :以月为周期,每个指定天执行一次任务调度,需要配置指定时间具体时间
定时调度提供了2种定时调度的方式:
  • 固定间隔时间调度:
    • 开始时间:执行任务的开始时间。
    • 间隔时间:执行任务的间隔时间,单位为小时。
    • 结束时间:执行任务的结束时间。
    例如,配置开始时间为00:00、间隔时间为6小时、结束时间为20:59,系统将在0点、6点、12点、18点执行任务。
  • 指定时间调度:选择执行任务的目标时间点。

    例如选择和0小时和5小时,系统将在0点和5点执行任务。

指定时间
  • 如果调度周期为周,选择星期几执行任务,支持多选。
  • 如果调度周期为月,选择每月几号执行任务,支持多选。
具体时间设置执行任务流的具体时间。

例如配置02:55,系统将在指定天的02时55分执行任务。

cron表达式不需要手动配置,系统会根据您配置的周期、具体时间自动展现。

常见问题

Q:逻辑库进行数据归档查询时会将所有逻辑库的表合并到一个物理表中吗?

A:会。逻辑库在进行数据归档时,会将所有逻辑库的表都合并到一个物理表内,因此在归档视图页面中,查询任意一个逻辑表就可以查询到逻辑库中所有表的数据。

Q:同一个工单内进行了多次归档,即周期归档,在进行数据查询时,可以查询指定时间段的数据归档吗?

A:可以。同一个工单的周期归档会根据归档的时间生成不同时间段的归档数据,所以可以通过创建数据归档的时间,判断并查询指定时间段的归档数据。

Q:如何查询某张表周期性归档的所有数据、查询同一张表跨工单归档的所有数据?

A:进入逻辑数仓功能页面,在数据源页签下,选择专属湖仓 > archive,展开目标数据库,双击目标表名或工单号,此时SQL窗口会自动填充查询SQL,单击执行,可在执行结果区域查看归档数据。lianhechaxun

Q:在RDS数据库归档至专属存储过程中,勾选了源表数据清理后,产生的备份临时表数据会占用多少源库空间?

A:临时表数据最多会占用源库中已占用空间的一倍。