元数据迁移

元数据迁移提供可视化的元数据迁移能力,可以帮您快速地将Hive Metastore的元数据迁移到数据湖构建(DLF)中。

使用限制

  • 支持的Hive版本:2.3.x ,3.1.x 版本。

  • 支持的数据库类型:MySQL。

创建元数据迁移任务

  1. 登录数据湖构建控制台

  2. 在左侧菜单栏,单击元数据 > 元数据迁移

  3. 迁移任务页签,单击创建迁移任务

  4. 进行源库配置:

    • 数据库类型:目前仅支持MySQL类型。

    • MySQL类型

      • Aliyun RDS:阿里云官网提供的RDS,可参考云数据库RDS MySQL版

      • 其他MySQL:EMR内置MySQL、自建MySQL或其他MySQL数据库。

    • 如果选择为Aliyun RDS,则需要填写以下RDS实例相关信息:

      • RDS实例:选择RDS实例。

      • 数据库名称:输入数据库名称。

      • 用户名:输入用户名。

      • 密码:输入密码。

    • 如果选择为其他MySQL,则需要填写以下MySQL连接的相关信息:

      • JDBC URL:输入JDBC URL。

      • 用户名:输入用户名。

      • 密码:输入密码。

    • 网络连接方式

      • MySQL类型选择Aliyun RDS时,仅可选择阿里云VPC

      • MySQL类型选择其他MySQL时,可选择阿里云VPC公网连接两种方式。

        说明
        • 当您选择阿里云VPC连接时,建议选择与RDS或MySQL匹配的专有网络VPC交换机vSwitch安全组,避免网络出现问题。

        • 当您选择公网连接时,请确保MySQL允许公网访问,并且端口对弹性公网IP 121.41.166.235 放开(DLF元数据迁移会使用该IP访问您的MySQL)。

  5. 进行迁移任务配置:

    • 任务名称:输入元数据迁移任务的名称。

    • 任务描述(可选):输入您的一些任务备注信息。

    • 数据目录:选择目标数据目录。

    • 冲突解决策略

      • 更新旧的元数据:旧数据不会被删除,在原有基础上更新元数据。

      • 重建元数据,即先删除旧的元数据后再新建:旧数据将会被全部删除,重新同步元数据并新建。

    • 日志存放路径所有任务日志将被存储在指定的OSS位置。

    • 同步对象:包括Database、Function、Table、Partition四种对象,一般为全选。

    • Location替换(可选):适用于迁移过程中需要对table、database的Location进行替换修改的情况。比如从传统HDFS架构迁移到OSS存算分离架构,则需要将hdfs://路径,替换为oss://路径等情况。

  6. 确认任务配置信息无误,单击确定,创建任务完成。

管理元数据迁移任务

  1. 单击迁移任务页签,在目标迁移任务操作列:

    • 单击运行:运行当前元数据迁移任务。

    • 单击运行记录:可查看任务运行的详情信息。

    • 单击编辑:可修改任务的源库配置迁移任务配置

    • 单击删除:可删除迁移任务。

    • 单击停止:可停止当前运行中的任务。

  2. 单击执行历史页签,单击目标任务操作列的查看日志,可查看运行中的日志信息。

    元数据迁移完成后,可以从日志中看到成功或失败的结果信息。

验证元数据同步结果

  1. 在左侧菜单栏,单击元数据 > 元数据管理

  2. 单击数据库页签,选择数据目录,输入同步的数据库名称,可以查询到相应的数据库信息。

  3. 单击数据表页签,选择数据目录库名,输入同步的表名,可以查询到相应的数据表信息。