本文为您提供MMA2.0的迁移命令及处理迁移失败作业的方法。

启动MMA Server

  • 命令格式
    cd odps-data-carrier/bin
nohup sh ./mma-server --config ../conf/mma_server_config.json > mma-server.out 2>&1 &
  • 命令说明

    MMA Server进程会一直保持运行状态。如果由于各种原因导致MMA Server运行中断，您可以直接执行以上命令重启MMA Server。一台设备只能存在一个MMA Server进程。

  • 示例**
    查看MMA Server控制台输出的 mma-server.out，MMA Server已经开始运行，状态为等待迁移作业。 **

通过MMA Client提交迁移作业

  • 命令格式
    cd odps-data-carrier/bin
sh ./mma-client --config ../conf/mma_client_config.json --start ../conf/mma_migration_config.json
  • 命令说明

    启动MMA Client，成功提交迁移作业后，MMA Client会自动退出。查看MMA Server控制台的输出结果，MMA Server已经接收并开始执行迁移作业。

  • 示例**

查看迁移作业进展

  • 命令格式
    cd odps-data-carrier/bin/
sh ./mma-client --config ../conf/mma_client_config.json --wait_all
  • 示例**

查看不同状态的迁移作业

  • 命令格式
    cd odps-data-carier/bin/
sh ./mma-client --config ../conf/mma_client_config.json --list succeeded/failed/running
  • 命令说明

    迁移作业状态包含成功、失败和运行中。

  • 示例**

删除迁移作业

  • 命令格式
    cd odps-data-carier/bin/
sh ./odps-data-carrier/bin/mma-client --config configs/mma_client_config.json --remove db_name.table_name
  • 示例**

处理迁移失败的作业

迁移作业失败的主要原因如下：
  • 集群负载过高。
  • HDFS DataNode异常、Meta异常或配置有误。
MMA 2.0版本默认开启表粒度的自动重试功能。您可以通过设置重试次数，提高迁移成功率。建议您及时查看迁移作业的状态，对于自动重试仍然失败的作业，请根据日志报错信息进行处理，处理完成后重新提交迁移作业。常见处理方法如下：
  • 手动重跑失败的迁移作业
    由于异常问题导致作业重跑失败时，解决异常问题后，您需要手动重跑失败作业。在重新提交迁移作业时，同时执行如下命令。 
    cd odps-data-carrier/bin/
sh ./mma-client --config ../conf/mma_client_config.json --start ../conf/mma_migration_config.json
  • 自定义重试次数
    MMA重试次数默认为3次。如果3次重试仍然失败，您可以修改参数 retryTimesLimit的值提高重试次数。MMA支持自定义全局和表级别的重试次数。 **
  • 调节分区表的分组大小
    默认100个分区为一组，您可以根据集群资源、表的分区数和表的数据量调节分组数量，以保证迁移成功率。 **