数据归档

背景信息

ODC 支持定时将源数据库中的表数据归档至其它目标数据库中，以解决因线上数据增多影响查询性能与业务运作的问题。

本文档旨在介绍如何通过提交数据归档工单实现归档数据。

原理介绍

前提条件

• 归档的表中必须包含主键。

注意事项

• 前置条件：

  • OceanBase 数据源必须通过 OBproxy 连接（暂不支持对直连的 OceanBase 进行归档操作）。

  • OceanBase Oracle 到 OceanBase Oracle （暂不支持同步表结构）。

  • OceanBase 数据源目前仅支持集群实例，新建数据源时必须配置集群名称。

  • 非同类型数据源，数据归档不支持自动创建目标表。

  • 需保证源端表字段在目标端兼容，数据归档不处理字段兼容性问题。

• 归档链路支持：

  • OceanBase MySQL 到 OceanBase MySQL 。

  • OceanBase Oracle 到 OceanBase Oracle（暂不支持同步表结构）。

• 以下情况不支持归档：

  • OceanBase MySQL 数据源若表中不包含主键 PRIMARY KEY 或唯一非空索引，不支持进行归档。

  • OceanBase MySQL 数据源若表中包含 bit、enum、set、xml 、geometry字段类型，不支持进行归档。

  • OceanBase Oracle 数据源若表中不包含主键 PRIMARY KEY，不支持进行归档。

  • OceanBase Oracle 数据源若表中包含 RAW、BLOB 、CLOB、BFILE、ROWID、UROWID、timestamp with time zone、timestamp with local time zone、interval year to month、interval day to second 字段类型，不支持进行归档。

  • 若归档条件中包含 limit 语句，不支持进行归档。

  • 若表中包含外键，不支持进行归档。

新建数据归档

示例：将数据库 odc_test 中的表 student 归档至数据库 test2 中。

1. 在 SQL 开发窗口左侧导航栏的 任务 页签中，单击 数据归档 > 新建数据归档。

   

2. 在 新建数据归档 页面中，输入以下信息。

   

   信息项	说明
   源端数据库	选择表所属的数据库。 说明 ODC V4.2.2 及之后的版本支持选择 MySQL 数据库，以将 MySQL 中的数据归档到 OceanBase 数据库中。
   目标数据库	选择表归档的数据库。 说明 ODC V4.2.2 及之后的版本支持选择 MySQL 数据库，以将 OceanBase 中的数据归档到 MySQL 数据库中。
   变量配置	可选项。通过变量筛选表中符合条件的行进行归档。例如：create_time < '${bizdate}，其中bizdate默认为任务执行时间，可以通过前端配置偏移量。
   归档范围	选择归档源端数据库中部分表（部分归档）或者归档源端数据库中所有表（整库归档）。
   自定义变量	可选项。通过定义变量和设置时间偏移量筛选表中符合条件的行进行归档。
   执行方式	选择 立即执行/定时执行/周期执行 设置任务执行方式。
   任务设置	插入策略：执行数据归档时，忽略重复数据/更新重复数据。 限流策略：配置行限流和数据大小限流。
   备注	可在 备注 文本框中输入不超过 200 个字符的描述信息，该项为选填项。

3. 单击 新建，完成新建数据归档。

4. 任务生成后可以在 工单 > 数据归档 列表中查看任务信息。

   

查看数据归档任务

任务信息

1. 在 任务中心 的数据归档列表中，单击操作列中的 查看 按钮。

2. 在弹出的任务详情面板中，单击 任务信息 页签查看任务类型、源数据库、目标数据库、变量配置、归档范围和执行方式等信息。

任务流程

在任务详情面板中，单击 任务流程 页签查看发起任务状态、审批状态、执行状态和执行结果等信息。

执行记录

在任务详情面板中，单击 执行记录 页签查看任务状态，以及执行重试/回滚等操作。

任务日志

在任务详情面板中，单击 操作 页签查看任务的任务审批状态和记录。

相关文档

• 数据清理