MaxCompute Migration Assist(MMA)是一款MaxCompute数据迁移工具。本文为您介绍MMA功能说明、迁移方案以及技术原理。

MMA利用Meta Carrier连接您的的Hive Metastore服务,抓取Hive Metadata,并利用这些数据生成用于创建MaxCompute表和分区的DDL语句以及用于迁移数据的Hive UDTF SQL。

功能介绍

  • 迁移评估分析

    平台进行诊断分析,评估数据迁移规模 、 作业迁移改造的数量、 预估迁移后的成本,从而对迁移工作进行整体评估和决策。详情请参见查看迁移评估报告

  • 数据迁移自动化

    MMA可以对Hive Metadata及数据进行检测扫描,自动在MaxCompute上创建对应的Metadata,将Hive的数据自动转换并高吞吐地加载到MaxCompute上,支持从TB级到PB级数据的迁移上云 。详情请参见一键迁移使用命令说明

    Hive Metastore是有安全配置时,数据迁移请参见基于Kerberos身份认证的数据迁移方法

  • SQL语法兼容性分析及转换

    MMA提供SQL语法检查的工具,可以帮助您自助的对Hive SQL进行语法检查,对于不兼容的语法输出所有的语法和语义问题,并给出修改建议。详情请参见SQL语法兼容性检查

迁移解决方案

  • 方法一:Hive直迁MaxCompute。
  • 方法二:Hive先迁移OSS,再迁移至MaxCompute。

MMA的技术原理

上图中流程说明如下:
  1. 获取Hive Metadata。
  2. 生成MaxCompute DDL语句。
  3. 创建MaxCompute表和分区。
  4. 提交Hive SQL作业迁移数据。
  5. 数据校验。