查看数据迁移项目的详情
启动数据迁移项目后,您可以在数据迁移项目的详情页面查看相应项目的基本信息、项目执行的进度和状态等信息。
进入详情页面
您可以在数据迁移项目的详情页面,查看计划的迁移环节、各个环节的进度和状态,帮助您了解数据库迁移的整体进度,以及每张表、每个对象的迁移状态。
登录 OceanBase 管理控制台。
在左侧导航栏,单击 数据传输 > 数据迁移。
在 迁移项目列表 页面,单击目标项目的名称,进入详情页面查看其 基本信息 和 迁移详情。
您可以在 数据迁移 页面,根据 状态 和 关键字 搜索目标数据迁移项目。数据迁移项目的状态包括:
未启动:表示数据迁移项目尚未启动,您可以在对应的操作列中单击 启动。
运行中:数据迁移项目运行中,状态右侧展示了数据迁移的计划和当前进度。
修改中:数据迁移项目正在被修改迁移对象。
合并中:被修改迁移对象的数据迁移项目与修改迁移对象任务进行合并的过程。
已暂停:数据迁移项目已被手动中止,您可以在对应的操作列中单击 恢复,从中止的子任务开始继续执行迁移。
失败:数据迁移项目执行失败,状态右侧展示该项目失败的具体环节。单击数据迁移项目的名称,您可以在详情页面查看具体的报错信息。
已完成:数据迁移项目已成功执行完毕,数据传输已按照您预设的迁移模式将指定的数据内容迁移至目标库中。
释放中:数据迁移项目正在被释放。释放中的数据迁移项目不能进行任何操作。
已释放:数据迁移项目已经成功释放。释放后,数据传输会终止当前的迁移和增量同步项目。
您可以对处于 未启动、运行中、已暂停 和 失败 状态的项目进行修改项目名称操作,详情请参见 修改数据迁移项目的名称。
查看基本信息
基本信息 区域为您展示当前数据迁移项目相关的基本信息。
参数 | 描述 |
ID | 数据迁移项目的唯一 ID 标识。 |
迁移类型 | 创建数据迁移项目时,选择的迁移类型。 |
告警状态 | 显示当前项目的告警状态。建议您开启告警监控,以便随时掌握项目运行状态。详情请参见 设置告警监控。 |
创建时间 | 当前数据迁移项目的创建时间。 |
传输实例 | 创建当前数据迁移项目时选择的传输实例。 |
连接详情 | 单击 连接详情,查看数据迁移项目源端和目标端的连接信息。 |
您可以进行以下操作:
查看迁移对象
单击页面右上角的 查看对象,查看当前数据迁移项目的迁移对象列表。您还可以在数据迁移项目运行过程中修改迁移对象,详情请参见 查看和修改迁移对象。
查看或修改参数配置
如果是处于 运行中 状态的数据迁移项目,请单击页面右上角的 更多操作> 查看参数配置,查看创建数据迁移项目时的配置参数。
如果是处于 未启动、已暂停 和 失败 状态的数据迁移项目,请单击页面右上角的 更多操作 > 修改参数配置。在 修改参数配置 对话框,重新配置目标参数,单击 确定。
此处支持修改的具体参数和数据迁移项目的类型,以及任务运行的阶段有关,不同的运行阶段支持修改的参数不同。
设置或修改告警监控
单击页面右上角的 更多操作 > 设置告警监控,在 设置告警监控 对话框,根据业务需求开启 项目状态监控 或 增量延迟监控,并配置相应的参数。对于已设置告警监控的数据迁移项目,则可以进行修改。详情请参见 设置告警监控。
重要处于 已完成、释放中 和 已释放 状态的数据迁移项目,不支持设置或修改告警监控。
下载对象配置信息
数据传输支持下载数据迁移项目的配置信息,以批量导入的格式输出。详情请参见 下载和导入迁移对象配置。
查看迁移详情
迁移详情 区域为您展示当前项目中,所有环节子任务的执行状态、进度、启动时间、完成时间和总计耗时等信息。
结构迁移
负责迁移源库中的数据对象定义(表、索引、约束、注释和视图等)至目标库中,会自动过滤临时表。当源端数据库非 OceanBase 数据库时,会依据目标 OceanBase 租户类型的语法定义标准进行数据类型和 SQL 语法的自动转换和拼装,然后复制至目标库中。
如果您在运行数据迁移项目时,进入了正向切换步骤,数据传输会根据数据迁移项目的类型,自动删除隐藏列和唯一索引。详情请参见 结构迁移机制。
您可以在 结构迁移 页面,查看结构迁移的整体状态、启动时间、结束时间、总计耗时,以及库、表和视图的迁移进度。同时,您可以对目标对象进行以下操作:
查看创建语法:在 库 或 表 页签下,单击目标对象后的 查看,即可查看库或表的创建语法。
如果表创建语法完全兼容,为您展示在 OBServer 执行的 DDL 语法。不完全兼容,则展示转换后的创建语法。
修改创建语法并重试:运行失败的 DDL 和报错,您可以检查并修改该条 DDL 转换结果的定义,再次迁移至目标端。
重试/重试全部失败对象:失败的结构迁移任务,您可以依次进行重试,也可以单击页签右上角的 重试全部失败对象。
跳过/批量跳过:失败的结构迁移任务,您可以依次跳过。您也可以批量选择需要跳过的对象,单击右上角的 批量跳过。
移除/批量移除:失败的结构迁移任务,您可以依次进行移除。您也可以批量选择需要移除的对象,单击右上角的 批量移除。
查看数据库返回码:失败的结构迁移任务,展示 DDL 语句和 OBServer 上执行的错误信息。
全量迁移
迁移源库表的存量数据至目标库对应的表中。您可以在 全量迁移 页面,根据源库和目标库进行筛选,或勾选 查看有问题的对象,筛选阻碍整体迁移进度的对象。您还可以查看 表对象 和 全量迁移性能。
在 表对象 页签,您可以查看对象名称、源库、目标库、预估数据量、已完成数据量和对应的状态。
在 全量迁移性能 页签,您可以图形化查看 源端 RPS、目标端 RPS、源端迁移流量、目标端迁移流量、源端平均读取时间、源端平均切片时间 和 目标端平均写入时间,以及性能基准等性能数据,帮助您有效识别性能相关问题。
全量迁移加上增量同步,可以确保目标端数据库与源端数据库的最终一致性。如果全量迁移过程中有失败的对象,会为您展示具体的失败原因。
重要如果您在选择 迁移类型 时未配置 结构迁移,则全量迁移时,数据传输会以源端和目标端匹配的字段进行迁移,不会检查表结构是否一致。
在全量迁移完成之后,且后续步骤已启动的情况下,不允许在 运维监控 > 组件 > Checker 页面,单击目标 Checker 组件后的 重跑。
增量同步
增量同步任务开始后,会同步源库发生变化的数据(新增、修改或删除)至目标端数据库对应的表中。当源库不断有业务写入时,数据传输会在全量数据迁移启动前,启动增量拉取模块,以拉取源实例中的增量更新数据,对其进行解析、封装,并存储至数据传输中。
当全量数据迁移完成后,数据传输会启动增量数据回放模块,从增量数据拉取模块中获取增量数据。增量数据经过过滤、映射和转换后,再同步至目标实例中。如果您在源端执行 DDL 后,造成 JDBCWriter 异常,从而造成数据迁移项目运行失败,页面会展示造成项目失败的 DDL 语句以及跳过操作按钮。此时,您可以单击弹出框中的 跳过,并进行二次确认。
重要本操作可能造成源端和目标端数据结构不一致,请谨慎操作。
创建数据迁移项目时,建议您开启告警监控,以便随时掌握项目运行状态,详情请参见 设置告警监控。未开启监控告警的情况下,默认增量同步延时小于等于 1 分钟时,增量同步步骤的状态由运行中切换为监控中。开启监控告警的情况下:
如果数据迁移项目的增量同步延时大于配置的告警时间,增量同步步骤始终处于运行中,系统不会触发告警信息。
如果数据迁移项目的增量同步延时小于等于配置的告警时间,增量同步步骤的状态由运行中切换为监控中。增量同步的状态变为监控中后,延时大于配置的告警时间,也不会再切换为运行中状态。
对于 运行中 状态的数据迁移项目,您可以在增量同步区域查看其延迟时间、当前位点时间,以及增量同步性能信息。延迟时间的显示逻辑为:X 秒(Y 秒前更新),Y 小于 20 秒属于正常情况。
对于 已暂停 或 失败 状态的数据迁移项目,您可以开启 DDL/DML 统计功能,统计开启该功能时间点之后的数据库操作。同时,您可以查看增量同步对象的具体信息,以及增量同步性能信息。
同步对象统计 页签为您展示表级别的统计 DML 数量,在该页签上方的变更总和、Delete、Insert 和 Update 显示的数据为当前数据迁移项目中所有的 DML 数量,即增量同步对象页签统计的数量之和。
如果您开启 DDL/DML 统计功能之后又关闭了该功能,则数据传输会保留历史统计数据。
增量同步性能 页签为您展示以下内容:
延迟:源端增量变更被同步至目标端的滞后时间,单位为秒。
迁移流量:源端增量变更数据被同步到目标端的流量吞吐,单位为 KB/s。
平均执行时间:每条 SQL 执行时间的均值,单位为 ms。
平均提交时间:事务提交时间的均值,单位为 ms。
RPS:每秒处理记录数。
全量校验
在全量数据迁移完成,增量数据迁移至目标端并与源端基本追平后,数据传输会自动发起一轮针对源库配置的数据表和目标表的全量数据校验任务。
增量数据同步过程中,您也可以发起自定义的数据检验,数据传输会提供相应的接口。
您可以在 全量校验 页面查看全量校验的整体状态、启动时间、结束时间、总计耗时、预估总行数、已完成迁移行数、实时流量和 RPS 等信息。
全量校验 页面包括 校验对象 和 全量校验性能 页签:
在 校验对象 页签,您可以查看校验的进度和校验对象列表。
对于全部迁移对象,均可以查看指定对象的名称、对应源库和目标库、全量校验进度、结果和结果摘要。
支持根据源库和目标库进行筛选。
支持勾选 只查看已完成对象,查看当前时间点已完成结构迁移的对象名称等基本信息。
如果您需要对全部迁移对象再次进行全量校验,请单击 再次校验 > 重启全量校验。
存在校检结果不一致的表时:
如果您需要重新校验表中的全部数据,请单击 再次校验 > 重新校验异常的表。
如果您仅需要重新校验表中不一致的数据,请单击 再次校验 > 仅校验不一致的表记录。
重要如果源端为空,则不支持订正操作。
在 全量校验性能 页签,您可以图形化查看 源端 RPS、目标端 RPS、源端迁移流量 和 目标端迁移流量,以及性能基准等性能数据,帮助您有效识别性能相关问题。
数据传输支持校验中或校验失败的项目跳过全量校验。在 全量校验 页面,单击 跳过全量校验,并在弹出对话框中,单击 确定。
重要跳过全量校验后,您将无法恢复该校验任务进行数据比对和数据订正,您需要通过克隆当前项目再次发起全量校验,请谨慎操作。
全量校验完成后,您可以单击 进入下一阶段,启动正向切换。进入切换流程后,您将无法复检当前校验任务进行数据比对和数据订正。
正向切换
正向切换(传统意义上的系统割接流程的抽象化、标准化)不会操作业务应用连接的切换,是数据传输的数据迁移项目配合应用切换需要执行的任务流。您需要保证在应用连接切换至目标端前完成正向切换的全部流程。
正向切换是选择数据迁移便会编排进来的一个流程,您需要终止正向增量同步,删除迁移依赖的附加列和唯一索引,补充在同步过程中被数据传输过滤掉 Check 约束,并激活目标端 Trigger/FK(迁移前该类对象需要被禁用,否则将引起数据不一致)等,保证新迁移出来的数据库完整、可用。
如果您配置了反向增量,切换会多编排进来启动反向增量以及禁用源端 Trigger/FK 的子任务,启动从目标端到源端的实时增量同步,保障业务数据回流至原源端数据库,提供随时切换应用的可能性。
启动正向切换
该步骤不会停止链路,仅确认即将开始执行的切换流程。用户进入至正向切换任务流时,需要手动单击 启动正向切换。
重要启动正向切换前,请确保源端数据源为即将停写或者已经停写状态。
切换预检查
用于检查当前项目状态是否具备切换条件。预检查包括以下步骤:
同步延迟检查:如果启动增量同步后,延迟在 15 秒内,则预检查通过。如果未启动增量同步,则预检查自动通过。
源端迁移用户写权限检查。
如果预检查通过,会自动执行下一步操作。如果预检查未通过,会提示报错详情。
如果预检查未通过,您可以进行 重试 或 跳过 操作。
如果单击 跳过,需要在弹出的对话框中,再次单击 跳过。
启动目标端 Store
启动目标端增量拉取,创建并启动目标端 Store。如果启动失败,您可以进行 重试 或 跳过 操作。
确认源端停写
在 确认源端停写 区域,单击 确定,确认源端无增量数据产生。
确认同步追平停写位点
数据传输自动检查源端和目标端处于一致位点。检查完成后,展示当前增量同步延迟时间和增量同步位点。在同步追平停写位点失败的场景下,您可以进行 重试 或 跳过 操作。
停止正向同步
停止源端到目标端的增量同步。如果停止失败,您可以进行 重试 或 跳过 操作。
执行数据库对象处理
该步骤会完成数据库对象的迁移,删除数据传输附加列和索引,补充结构迁移自动忽略的约束,确认 Trigger 或 Sequence 等对象已经手工迁移完成,以及确认源端 Trigger 或 FK 已关闭。
您需要手动单击 运行,来执行数据库对象。对于运行中的项目,您可以执行 查看日志 和 跳过 操作。自行处理的项目需要手动单击 标记完成。待全部标记完成后,进行下一步。
启动反向增量
在 启动反向增量 区域,单击 启动反向增量,启动目标端到源端的增量写入。等待页面提示 反向增量启动成功 即可。
反向增量
说明迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle 租户时,不支持反向增量。
对于 运行中 状态的数据迁移项目,您可以在反向增量区域查看其延迟时间、当前位点时间,以及反向增量性能信息。延迟时间的显示逻辑为:X 秒(Y 秒前更新),Y 小于 20 秒属于正常情况。
对于 已暂停 或 失败 状态的数据迁移项目,您可以开启 DDL/DML 统计功能,统计开启该功能时间点之后的数据库操作。同时,您可以查看反向增量同步对象的具体信息,以及反向增量性能信息。
同步对象统计 页签为您展示表级别的统计 DML 数量,在该页签上方的变更总和、Delete、Insert 和 Update 显示的数据为当前数据迁移项目中所有的 DML 数量,即 同步对象统计 页签统计的数量之和。
反向增量性能 页签为您展示以下内容:
延迟:目标端增量变更被同步至源端的滞后时间,单位为秒。
迁移流量:目标端增量变更数据被同步至源端的流量吞吐,单位为 KB/s。
平均执行时间:每条 SQL 执行时间的均值,单位为 ms。
平均提交时间:事务提交时间的均值,单位为 ms。
RPS:每秒处理记录数。