文档

数据归档

更新时间:

背景信息

ODC 支持定时将源数据库中的表数据归档至其它目标数据库中,以解决因线上数据增多影响查询性能与业务运作的问题。

本文档旨在介绍如何通过提交数据归档工单实现归档数据。

原理介绍

image.png

前提条件

  • 归档的表中必须包含主键。

注意事项

  • 前置条件:

    • OceanBase 数据源必须通过 OBproxy 连接(暂不支持对直连的 OceanBase 进行归档操作)。

    • OceanBase 数据源目前仅支持集群实例,新建数据源时必须配置集群名称。

    • OceanBase 数据源必须配置 sys 租户账号。

    • 非同类型数据源,数据归档不支持自动创建目标表。

    • 需保证源端表字段在目标端兼容,数据归档不处理字段兼容性问题。

    • MySQL 数据源暂不支持 CPU 内存防爆能力。

  • 归档链路支持:

    • OceanBase MySQL 到 OceanBase MySQL 。

    • MySQL 到 MySQL。

    • MySQL 到 OceanBase MySQL 。

    • OceanBase MySQL 到 MySQL。

  • 以下情况不支持归档:

    • 若表中不包含主键 PRIMARY KEY,不支持进行归档。

    • 若表中包含 bit、enum、set、xml 、geometry字段类型,不支持进行归档。

    • 若归档条件中包含 limit 语句,不支持进行归档。

    • 若表中包含外键,不支持进行归档。

新建数据归档

示例:将数据库 odc_test 中的表 student 归档至数据库 test2 中。

信息项

示例值

所属数据源

mysql_4.2.0

源端数据库名称

odc_test

目标数据库名称

test2

表名称

student

  1. 在 SQL 开发窗口左侧导航栏的 任务 页签中,单击 数据归档 > 新建数据归档

    image.png

  2. 新建数据归档 页面中,输入以下信息。

    image.png

    信息项

    说明

    源端数据库

    选择表所属的数据库。

    说明

    ODC V4.2.2 及之后的版本支持选择 MySQL 数据库,以将 MySQL 中的数据归档到 OceanBase 数据库中。

    目标数据库

    选择表归档的数据库。

    说明

    ODC V4.2.2 及之后的版本支持选择 MySQL 数据库,以将 OceanBase 中的数据归档到 MySQL 数据库中。

    变量配置

    可选项。通过变量筛选表中符合条件的行进行归档。例如:create_time < '${bizdate},其中bizdate默认为任务执行时间,可以通过前端配置偏移量。

    归档范围

    选择归档源端数据库中部分表(部分归档)或者归档源端数据库中所有表(整库归档)。

    自定义变量

    可选项。通过定义变量和设置时间偏移量筛选表中符合条件的行进行归档。

    执行方式

    选择 立即执行/定时执行/周期执行 设置任务执行方式。

    任务设置

    • 插入策略:执行数据归档时,忽略重复数据/更新重复数据。

    • 限流策略:配置行限流和数据大小限流。

    备注

    可在 备注 文本框中输入不超过 200 个字符的描述信息,该项为选填项。

  3. 单击 新建,完成新建数据归档。

  4. 任务生成后可以在 工单 > 数据归档 列表中查看任务信息。

    image.png

查看数据归档任务

任务信息

  1. 任务中心 的数据归档列表中,单击操作列中的 查看 按钮。

  2. 在弹出的任务详情面板中,单击 任务信息 页签查看任务类型、源数据库、目标数据库、变量配置、归档范围和执行方式等信息。

任务流程

在任务详情面板中,单击 任务流程 页签查看发起任务状态、审批状态、执行状态和执行结果等信息。

执行记录

在任务详情面板中,单击 执行记录 页签查看任务状态,以及执行重试/回滚等操作。

任务日志

在任务详情面板中,单击 操作 页签查看任务的任务审批状态和记录。

相关文档

  • 本页导读 (0)
文档反馈