文档

元数据迁移

更新时间:

元数据迁移提供可视化的元数据迁移能力,可以帮您快速的将Hive Metastore的元数据迁移到数据湖构建(DLF)中。

前提条件

  • 支持Hive版本:2.3.x 版本。

  • 支持元数据库类型:MySQL。

创建元数据迁移任务

创建迁移任务

  1. 打开数据湖构建控制台

  2. 选择左侧菜单“元数据-元数据迁移”。

  3. 单击创建迁移任务,开始配置元数据迁移任务。

创建迁移任务

源库配置

  • 元数据库类型:目前仅支持MySQL类型。

  • MySQL类型:

    • Aliyun RDS:阿里云官网提供的RDS,可参考云数据库RDS MySQL 版

    • 其他MySQL:EMR内置MySQL、自建MySQL或其他MySQL数据库。

  • 如果选择为Aliyun RDS,则需要填写RDS实例相关信息:

    • RDS实例。

    • 元数据库名称。

    • 用户名。

    • 密码。

    源库配置

  • 如果选择为其他MySQL,则需要填写MySQL连接的相关信息:

    • JDBC URL。

    • 用户名。

    • 密码。

源库配置-其他MYSQL

  • 网络连接配置

    • 当MySQL类型=Aliyun RDS时,此时网络连接方式仅可选择“阿里云VPC”。当您选择VPC连接时,建议选择与RDS或MySQL匹配的VPC,vSwitch与安全组,避免网络出现问题。

    网络连接-RDS-阿里云VPC

    • 当MySQL类型=其他MySQL时,此时网络连接方式可选择“阿里云VPC”,“公网连接”两种方式。

    网络配置-其他MySQL

说明

当您选择公网连接时,请确保公网MySQL允许远程访问,并且端口对弹性公网IP 121.41.166.235 放开(DLF元数据迁移会使用该IP访问您的MySQL)。

迁移任务配置

  • 任务名称:输入元数据迁移任务的名称。

  • 任务描述(可选):输入您的一些任务备注信息。

  • 冲突解决策略:

    • 更新旧的元数据:旧数据不会被删除,在原有基础上更新元数据。

    • 重建元数据,即先删除旧的元数据后再新建:旧数据将会被全部删除,重新同步元数据并新建。

  • 日志存放路径:所有任务日志将会存放的OSS位置。

  • 同步对象:包括Database、Function、Table、Partition 四种对象,一般为全选。

  • Location替换:适用于迁移过程中需要对table/database的location进行替换修改的情况。比如从传统HDFS架构,迁移到OSS存算分离架构,则需要将hdfs://路径,替换为oss://路径等情况。

迁移任务配置

保存任务

确认任务配置信息无误,单击确定按钮,创建任务完成。

确认元数据迁移任务信息

运行元数据迁移任务

  • 单击每行迁移任务右侧操作“运行”,运行当前元数据迁移任务。

元数据迁移列表

  • 任务开始运行中,此时单击右侧 “停止”操作,可以停止当前任务。

元数据迁移运行中

  • 单击右侧操作 “运行记录”,可以查看运行的详情信息。

元数据迁移-运行历史

  • 单击查看日志,可以查看运行中的日志信息。

元数据迁移-运行历史-查看日志

  • 元数据迁移完成后,可以从日志中看到成功或者失败的结果信息。

元数据迁移-运行历史-查看日志-成功

验证元数据同步结果

  • 在元数据管理-元数据库中,查询期望同步的数据库信息,可以查询到相应的数据库信息。

元数据管理-元数据库校验

  • 在元数据管理-元数据表中,查询期望同步的数据表信息,可以查询到相应的数据表信息。

元数据管理-元数据表-校验

  • 本页导读 (0)
文档反馈