本文为您提供MMA2.0的迁移命令及处理迁移失败作业的方法。
启动MMA Server
- 命令格式
cd odps-data-carrier/bin nohup sh ./mma-server --config ../conf/mma_server_config.json > mma-server.out 2>&1 &
- 命令说明
MMA Server进程会一直保持运行状态。如果由于各种原因导致MMA Server运行中断,您可以直接执行以上命令重启MMA Server。一台设备只能存在一个MMA Server进程。
- 示例查看MMA Server控制台输出的
mma-server.out
,MMA Server已经开始运行,状态为等待迁移作业。
通过MMA Client提交迁移作业
- 命令格式
cd odps-data-carrier/bin sh ./mma-client --config ../conf/mma_client_config.json --start ../conf/mma_migration_config.json
- 命令说明
启动MMA Client,成功提交迁移作业后,MMA Client会自动退出。查看MMA Server控制台的输出结果,MMA Server已经接收并开始执行迁移作业。
- 示例
查看迁移作业进展
- 命令格式
cd odps-data-carrier/bin/ sh ./mma-client --config ../conf/mma_client_config.json --wait_all
- 示例
查看不同状态的迁移作业
- 命令格式
cd odps-data-carier/bin/ sh ./mma-client --config ../conf/mma_client_config.json --list succeeded/failed/running
- 命令说明
迁移作业状态包含成功、失败和运行中。
- 示例
删除迁移作业
- 命令格式
cd odps-data-carier/bin/ sh ./odps-data-carrier/bin/mma-client --config configs/mma_client_config.json --remove db_name.table_name
- 示例
处理迁移失败的作业
迁移作业失败的主要原因如下:
- 集群负载过高。
- HDFS DataNode异常、Meta异常或配置有误。
MMA 2.0版本默认开启表粒度的自动重试功能。您可以通过设置重试次数,提高迁移成功率。建议您及时查看迁移作业的状态,对于自动重试仍然失败的作业,请根据日志报错信息进行处理,处理完成后重新提交迁移作业。常见处理方法如下:
- 手动重跑失败的迁移作业
由于异常问题导致作业重跑失败时,解决异常问题后,您需要手动重跑失败作业。在重新提交迁移作业时,同时执行如下命令。
cd odps-data-carrier/bin/ sh ./mma-client --config ../conf/mma_client_config.json --start ../conf/mma_migration_config.json
- 自定义重试次数
MMA重试次数默认为3次。如果3次重试仍然失败,您可以修改参数retryTimesLimit的值提高重试次数。MMA支持自定义全局和表级别的重试次数。
- 调节分区表的分组大小
默认100个分区为一组,您可以根据集群资源、表的分区数和表的数据量调节分组数量,以保证迁移成功率。
在文档使用中是否遇到以下问题
更多建议
匿名提交