本文为您介绍将数据归档至云原生数仓AnalyticDB PostgreSQL版的注意事项以及操作步骤。
前提条件
- 支持如下类型的源数据库:
- RDS MySQL
- PolarDB MySQL版
- PolarDB分布式版
- AnalyticDB MySQL 3.0
- RDS PostgreSQL
- PolarDB PostgreSQL版
说明 MySQL数据库账号必须具有REPLICATION CLIENT权限。 - 目标数据库仅支持AnalyticDB PostgreSQL版。
注意事项
- 若在数据归档过程中选择了自动清理源库表数据,请注意源库表空间的预留情况,避免由于空间不足导致归档过程中出现异常。
- 支持存储弹性模式和Serverless模式两种实例资源类型的AnalyticDB PostgreSQL版。
- 推荐您使用资源类型为Serverless模式作为目标数据归档引擎,可以享受超低存储价格和高性能数据分析,同时,在后续创建数据归档工单过程中,选中成本最优,可以实现归档时自动启动实例、归档后自动暂停实例。
- 源库和目标库的管控模式均为安全协同,才可执行周期归档任务,否则归档任务可能会失败。变更管控模式的操作,请参见变更管控模式。
- 若您仅需要单次执行归档任务,则不限制数据库的管控模式。
操作步骤
- 登录数据管理DMS 5.0。
- 在顶部菜单栏中,选择 。
- 在新建数据归档工单页面,配置工单信息。
配置项 是否必填 说明 任务名 是 请输入明确、清晰的任务名,以减少沟通成本。 归档目标 是 选中AnalyticDB PostgreSQL。 ADB实例 是 搜索并选择目标AnalyticDB PostgreSQL版实例。 说明 若您选中了成本最优,且实例的资源类型为Serverless模式、付费的方式为按量付费时,有如下优势:- 归档任务开始执行时,实例自动启动。
- 归档任务完成执行后,实例自动暂停。
- 归档任务执行期间,实例处于运行中状态,收取计算节点费用和存储费用。费用详情,请参见费用说明。
- 归档任务执行结束后,实例处于已暂停状态,仅收取存储费用。
数据库 是 搜索并选择源数据库。 归档配置 是 - 选择需要归档数据的表。
- 可选:输入归档数据的过滤条件。说明 如果您需要使用时间变量,例如,归档6个月前的数据,可以先进行变量配置。
归档表映射 否 您可以单击表名操作列下的编辑,编辑源表归档到目标库后的表名、列信息、分库键和分区键。 变量配置 否 配置时间变量,请参见配置时间变量。 后置行为 否 - 若您选中清理原表已归档数据(delete-无锁),则在归档完成后,系统将自动执行归档后的源表数据删除操作,可以通过无锁数据变更的
DELETE
语句完成。但删除源表的同时,源库中会生成存储此次归档数据的备份临时表,请保证源库空间充足,避免空间容量不足引发实例不可用问题。清理备份临时表:您可以在确认数据归档完成且数据无误后,通过新建普通数据变更工单,清理源库中的备份临时表。
- 若您未选中清理原表已归档数据(delete-无锁),则需要在数据归档成功后,手动进行源表数据删除和空间优化。
- 清理源表数据:通过新建普通数据变更工单清理数据库中已归档的数据。新建普通数据变更工单,请参见普通数据变更。
- 源表空间优化:通过新建无锁变更工单完成源表空间优化。新建无锁变更工单,请参见通过无锁变更工单实现无锁结构变更。
运行方式 是 选择运行方式,当前支持: - 单次执行:工单审核通过后,仅单次运行归档任务。
- 周期调度:工单审核通过后,可根据部署的周期调度执行归档任务。具体配置,请参见周期调度。
- 单击提交申请。
- 工单审批通过后,系统自动执行数据归档任务。
若任务执行失败,您可在工单的执行区域,单击操作列下的详情,查看归档任务日志,找出任务执行失败的原因。若是由于网络或数据库连接失败等偶然发生的问题,您也可以单击断点重试,尝试重新执行。
- 任务执行完成。
周期调度
配置项 | 说明 |
---|---|
调度周期 | 选择调度任务的周期:
|
定时调度 | 提供了2种定时调度的方式:
|
指定时间 |
|
具体时间 | 设置执行任务流的具体时间。 例如配置02:55,系统将在指定天的02时55分执行任务。 |
cron表达式 | 不需要手动配置,系统会根据您配置的周期、具体时间自动展现。 |