全部产品
阿里云办公

数据迁移

更新时间:2018-01-25 17:31:44

评估完成后,即可启动数据迁移。且评估任务和迁移任务自动关联,即评估之后的任务自动转化为迁移任务。不能新建迁移任务

入口:开始迁移

评估分析目标库 的结果分析页面,单击 开始迁移,跳转到该评估对应的迁移项目中。

  • 如果该评估未创建过迁移项目,则开始创建对应的迁移项目。
  • 如果该评估创建过迁移项目,则进入对应的迁移项目,可以对此前的信息、配置进行编辑。

1、设置目标云库连接

  1. 在创建连接信息页面,设置目标库信息,包括目标 PPAS 库的 库名实例 ID用户名密码

    目标库信息

  2. 目标库信息设置完成后,在页面右下方单击 测试连接,检测到目标库的链接是否正常。

    • 如果正常,会弹出 连接成功 的提示对话框。
    • 如果异常,会弹出 连接失败 的提示对话框。请检查目标库信息配置。
  3. 连接测试完成后,单击 下一步

2、建表

在建表页面中查看建表的 SQL:

  • 如果要建表,单击 创建对象。开始建表后,下方会显示建表的进度条,请耐心等待。建表完成后,单击 下一步

  • 如果暂时不想建表,单击 下一步

  • 如果需要清理目标云库的结构,单击 清理目标库结构

建表的 SQL 是根据之前的评估采集的表 DDL 语句生成的,不可编辑。

建表

3、设置源库连接方式

有两种源库连接方式:

直连 Oracle

  1. 在源库连接方式页面,单击 直连 Oracle 页签,设置源 Oracle 库信息,包括 IPPORTSID 及登录的 用户名密码
  2. 设置完成后,单击 测试连接
  3. 连接正常,单击 下一步。如果不正常,请解决故障直至连接成功,然后单击 下一步

创建 OSS 临时空间,并上传数据文件

  1. 在创建连接信息页面,单击 申请临时 OSS 空间,跳转到 OSS 控制台,创建 OSS 临时存储空间

    注意

    • 非数据文件请勿上传。
    • 上传的文件大小不能超过100G。
    • 上传的文件存储有效期为7天,7天后自动收回。

    操作完成后,会生成源数据相关信息,包括 Endpoint、Bucket、Access Key 和 Access Secret。

    源数据信息

  2. 生成源库数据文件。

    源库数据打包模块会把源数据库的数据导出并保存到磁盘,将这些磁盘上的数据文件上传到 OSS 上后,ADAM 系统可以将这些文件导入到目标数据库。

    1. 初始化配置

      1. 打开 ADAM-agent 压缩包中的的 rainmeter.properties 配置文件。

      2. 设置配置项,然后保存。

        • source.ojdbc.url:Oracle 数据库的连接串(URL),必配项
          • 使用 SID连接:jdbc:oracle:thin:@{host}:{port}:{sid}
          • 使用ServiceName连接: jdbc:oracle:thin:@//{host}:{port}/{serviceName}
          • 使用TNSName连接: jdbc:oracle:thin:@TNSName
        • source.oracle.username:Oracle 数据库的用户名,必配项
        • source.oracle.password:Oracle 数据库的密码,必配项
        • source.dump.dir:数据导出的绝对路径。如果未配置,默认导出到:{用户目录}/dump/ 路径下。
        • source.dump.schemas:待导出的库名,多个库使用英文逗号分隔。库名注意大小写。如:source.dump.schemas=schema1,schema2
        • source.dump.tables:待导出的表名,多个表使用英文逗号分隔。表名注意大小写。如:source.dump.tables=schema.table1,schema.table2。如果未配置,则迁移 source.dump.schemas 配置项中所有 schema 下的所有的表。
        • source.dump.excludes:配置不需要导出的表。
          • %test%: 排除表名中包含 test 字符的表
          • %test:排除表名中以 test 字符结尾的表
          • test%:排除表名中以 test 字符开头的表
          • test:排除表名等于 test 字符的表

      说明:

      1. 导出全库的情况下,仅配置 source.dump.schemas=schema 即可。
      2. 导出少量的表的情况下,仅配置 source.dump.tables=schema.table1,schema.table2 即可。
      3. source.dump.schemas 和 source.dump.tables 都配置的情况下,默认导出 source.dump.tables 配置中的表。
      4. 不需要导出符合某种条件的表(比如:表名中含有 SYS 字符的表),可按照规则设置 source.dump.excludes=%SYS%。
    2. 执行数据导出命令 ./startDoaChunk.sh

      执行结束后,数据已经导出到“source.dump.dir”配置的目录下。导出的是一个目录结构。

  3. 上传数据文件

    上传文件时,选择之前导出的目录中的所有文件及文件夹。

4、同步数据(迁移数据到目标云库)

建表完成后,在开始同步数据页面,单击 开始同步,ADAM 会将源数据同步到目标库中。

注意:开始同步后,不允许对之前上传的文件夹及文件修改(如增加、删除文件或内容等操作)。如需变更,需要删除原有任务,重新创建新的迁移任务,并重新上传数据文件。

同步过程中,会显示进度。如果想要停止同步,可以单击 停止同步

同步数据

同步完成后,会显示100%。单击 下一步

5、数据校验

数据同步完成后,要对迁移到目标库的数据和源数据进行一致性校验。

  1. 在数据校验页面,设置数据抽样比例、选择需要校验的表名,然后单击 数据校验

    数据抽样比例范围为 0%~20%

  2. 查看校验结果。包括 源表目标表源文件行数目标行数抽样总数抽样差异数量抽样缺失数量进度

如果 抽样差异数量抽样缺失数量 不为零,则说明数据迁移过程出现问题(如:表不存在,列不存在,唯一性约束冲突等),导致数据缺失或者数据差异。需要根据场景,定位问题,进行处理。。需要定位、修改相关的建表 SQL,再同步数据并校验。

数据校验结果