本文为您介绍MMA2.0的迁移命令以及迁移失败作业的处理。

启动MMA Server

  • 命令格式
    #cd odps-data-carrier/bin
    #nohup sh ./mma-server --config ../conf/mma_server_config.json > mma-server.out 2>&1 &
  • 命令说明

    MMA Server进程会一直保持运行。如果MMA Server因为各种原因中断了运行,直接执行以上命令重启即可。 MMA Server进程在一台机器上最多只能存在一个。

  • 示例**
    查看控制台输出mma-server.out,可以发现MMA Server已经开始运行,状态为等待迁移作业。**

通过MMA Client提交迁移作业

  • 命令格式
    #cd odps-data-carrier/bin
    #sh ./mma-client
    --config ../conf/mma_client_config.json
    --start ../conf/mma_migration_config.json
  • 命令说明

    MMA Client启动后,迁移作业成功提交后会自动退出。此时查看MMA Server的控制台输出,可以发现MMA Server已经接收了迁移作业,并开始执行。

  • 示例**

查看迁移作业进展

  • 命令格式
    #cd odps-data-carrier/bin/
    #sh ./mma-client --config ../conf/mma_client_config.json --wait_all
  • 示例**

查看成功/失败/运行中的迁移作业

  • 命令格式
    #cd odps-data-carier/bin/
    #sh ./mma-client
    --config ../conf/mma_client_config.json
    --list succeeded/failed/running
  • 示例**

删除迁移作业

  • 命令格式
    #cd odps-data-carier/bin/
    #sh ./mma-client
    --config ../conf/mma_client_config.json
    --remove db.table_name:project.table_name
  • 示例**

迁移失败作业的处理

数据迁移失败的主要原因如下:
  • 集群负载过高。
  • HDFS DataNode异常、Meta异常或配置有误。
MMA 2.0版本默认开启表粒度的自动重试功能,可以通过设置重试次数,提高迁移成功率。同时,建议您及时查看迁移作业的状态,对于自动重试仍然失败的作业,及时查看Log,根据报错信息进行相应的处理,处理完成后可重新提交迁移作业。常见处理方法如下:
  • 手动重跑失败的迁移作业
    由于异常问题导致的重跑失败,解决异常问题后,需要手动重跑失败作业。在重新提交迁移作业时,同时提交如下命令。
    #cd odps-data-carrier/bin/
    #sh ./mma-client
    --config ../conf/mma_client_config.json
    --start ../conf/mma_migration_config.json
  • 自定义重试次数
    MMA重试次数默认为3次。如果3次重试仍然失败,可以修改参数retryTimesLimit的值提高重试次数。MMA支持自定义全局和表级别的重试次数。**
  • 调节分区表的分组大小
    MMA默认100个分区为一组,您可以根据集群资源、表的分区数、表的数据量调节分组数量,以保证迁移成功率。**