元数据迁移提供可视化的元数据迁移能力,可以帮您快速地将Hive Metastore的元数据迁移到数据湖构建(DLF)中。
使用限制
支持的Hive版本:2.3.x ,3.1.x 版本。
支持的数据库类型:MySQL。
创建元数据迁移任务
登录数据湖构建控制台。
在左侧菜单栏,单击
。在迁移任务页签,单击创建迁移任务。
进行源库配置:
数据库类型:目前仅支持MySQL类型。
MySQL类型:
Aliyun RDS:阿里云官网提供的RDS,可参考云数据库RDS MySQL版。
其他MySQL:EMR内置MySQL、自建MySQL或其他MySQL数据库。
如果选择为Aliyun RDS,则需要填写以下RDS实例相关信息:
RDS实例:选择RDS实例。
数据库名称:输入数据库名称。
用户名:输入用户名。
密码:输入密码。
如果选择为其他MySQL,则需要填写以下MySQL连接的相关信息:
JDBC URL:输入JDBC URL。
用户名:输入用户名。
密码:输入密码。
网络连接方式:
当MySQL类型选择Aliyun RDS时,仅可选择阿里云VPC。
当MySQL类型选择其他MySQL时,可选择阿里云VPC和公网连接两种方式。
说明当您选择阿里云VPC连接时,建议选择与RDS或MySQL匹配的专有网络VPC、交换机vSwitch和安全组,避免网络出现问题。
当您选择公网连接时,请确保MySQL允许公网访问,并且端口对弹性公网IP 121.41.166.235 放开(DLF元数据迁移会使用该IP访问您的MySQL)。
进行迁移任务配置:
任务名称:输入元数据迁移任务的名称。
任务描述(可选):输入您的一些任务备注信息。
数据目录:选择目标数据目录。
冲突解决策略:
更新旧的元数据:旧数据不会被删除,在原有基础上更新元数据。
重建元数据,即先删除旧的元数据后再新建:旧数据将会被全部删除,重新同步元数据并新建。
日志存放路径:所有任务日志将被存储在指定的OSS位置。
同步对象:包括Database、Function、Table、Partition四种对象,一般为全选。
Location替换(可选):适用于迁移过程中需要对table、database的Location进行替换修改的情况。比如从传统HDFS架构迁移到OSS存算分离架构,则需要将
hdfs://
路径,替换为oss://
路径等情况。
确认任务配置信息无误,单击确定,创建任务完成。
管理元数据迁移任务
单击迁移任务页签,在目标迁移任务操作列:
单击运行:运行当前元数据迁移任务。
单击运行记录:可查看任务运行的详情信息。
单击编辑:可修改任务的源库配置和迁移任务配置。
单击删除:可删除迁移任务。
单击停止:可停止当前运行中的任务。
单击执行历史页签,单击目标任务操作列的查看日志,可查看运行中的日志信息。
元数据迁移完成后,可以从日志中看到成功或失败的结果信息。
验证元数据同步结果
在左侧菜单栏,单击
。单击数据库页签,选择数据目录,输入同步的数据库名称,可以查询到相应的数据库信息。
单击数据表页签,选择数据目录和库名,输入同步的表名,可以查询到相应的数据表信息。