本文为您介绍将数据归档至云原生数仓AnalyticDB MySQL版 3.0的操作步骤。
前提条件
支持如下类型的源数据库:
MySQL类型:RDS MySQL、PolarDB MySQL版、AnalyticDB MySQL 3.0。
PostgreSQL类型:RDS PostgreSQL、PolarDB PostgreSQL版。
PolarDB-X 2.0。
说明MySQL数据库账号必须具有REPLICATION CLIENT权限。
已购买AnalyticDB MySQL 3.0实例。购买操作,请参见创建集群。
需要归档的源表必须存在主键或者唯一键。
说明建议源表中包含修改时间的字段,以便将业务修改时间作为归档的过滤条件。
注意事项
若在数据归档过程中选择了自动清理源库表数据,请注意源库表空间的预留情况,避免由于空间不足导致归档过程中出现异常。
例如您需要归档90 GB的表数据,那么您源库表空间也需要预留至少90 GB。
源库和目标库的管控模式均为安全协同或稳定变更,才可执行周期归档任务。若您仅需要单次执行归档任务,则不限制数据库的管控模式。
若归档目标为AnalyticDB for MySQL湖仓版3.0时,需保证实例的计算预留资源不为0,否则会导致数据归档失败。湖仓版扩缩容的具体操作,请参见湖仓版扩缩容。
费用说明
购买AnalyticDB MySQL 3.0实例的费用。相关费用信息,请参见数仓版(3.0)产品定价、湖仓版产品定价。
数据归档
- 登录数据管理DMS 5.0。
在顶部菜单栏中,选择 。
说明若您使用的是极简模式的控制台,请单击控制台左上角的图标,选择
。在页面右上角,单击数据归档。
在新建数据归档工单页面,配置工单信息。
配置项
是否必填
说明
任务名
是
请输入明确、清晰的任务名,以减少沟通成本。
归档目标
是
选中AnalyticDB for MySQL 3.0。
ADB实例
是
搜索并选择目标AnalyticDB MySQL 3.0实例。
源数据库
是
搜索并选择源数据库。
归档配置
是
可选:输入归档数据的过滤条件。例如,
gmt_modified<='${6_month_ago}'
。说明如果您需要使用时间变量,例如,归档6个月前的数据,可以先进行变量配置。
可选:单击添加,添加多个源表。
归档表映射
否
您可以单击表名操作列下的编辑,编辑源表归档到目标库后的表名、列信息、分库键和分区键。
变量配置
否
配置该变量可以在配置归档过滤条件时使用。例如,时间变量为
6_month_ago
,时间格式为yyyy-MM-dd,偏移量设置为-6月。如果当前日期为2021-8-12,则变量${6_month_ago}
的值为2021-02-11。配置时间变量的更多信息,请参见配置时间变量。后置行为
否
若您选中清理原表已归档数据(delete-无锁),则在归档完成后,系统将自动执行归档后的源表数据删除操作,可以通过无锁数据变更的
DELETE
语句完成。但删除源表的同时,源库中会生成存储此次归档数据的备份临时表,请保证源库空间充足,避免空间容量不足引发实例不可用问题。清理备份临时表:您可以在确认数据归档完成且数据无误后,通过新建普通数据变更工单,清理源库中的备份临时表。
若您未选中清理原表已归档数据(delete-无锁),则需要在数据归档成功后,手动进行源表数据删除和空间优化。
清理源表数据:通过新建普通数据变更工单清理数据库中已归档的数据。新建普通数据变更工单,请参见普通数据变更。
源表空间优化:通过新建无锁变更工单完成源表空间优化。新建无锁变更工单,请参见通过无锁变更工单实现无锁结构变更。
运行方式
是
选择运行方式,当前支持:
单次执行:工单审核通过后,仅单次运行归档任务。
周期调度:工单审核通过后,可根据部署的周期调度执行归档任务。具体配置,请参见周期调度。
单击提交申请。
工单审批通过后,系统自动执行数据归档任务,等待归档任务执行完成。
若任务执行失败,您可在工单的执行区域,单击操作列下的详情,查看归档任务日志,找出任务执行失败的原因。若是由于网络或数据库连接失败等偶然发生的问题,您也可以单击断点重试,尝试重新执行。
归档后的数据以表形式存储在数据库中。
归档后查询数据
方式一:通过DMS查询归档数据
数据归档任务执行成功后,您可在当前工单详情页的基本信息区域,单击目标库右侧的查看。
进入SQL Console页面后,在左侧表列表区域,选择并双击目标表名,再单击执行,查看已归档的数据。
说明系统会自动根据源数据库的库表名称在归档实例上生成库和表,所以此处的目标数据库名称与源库名称相同。
归档后的表会新增四列数据,不影响表原始数据的使用:
归档信息(工单号和归档时间)
数据库名称
表名称
实例ID(DMS录入实例时赋予的ID,与实例真实ID对应)
方式二:通过AnalyticDB for MySQL查询归档数据
具体的查询操作,请参见导入数据并查询。