本文为您介绍如何解决在DataWorks上执行MapReduce作业时,大于10 MB的JAR和资源文件不能上传至DataWorks的问题,方便您使用调度功能定期执行MapReduce作业。
操作步骤
- 在MaxCompute客户端上执行如下命令上传大于10 MB的资源。
--添加资源。
add jar C:\test_mr\test_mr.jar -f;
- 通过MaxCompute客户端上传的资源,在DataWorks左侧资源列表中不显示。因此需要执行如下命令查看资源列表,确认上传是否成功。
- 减小JAR文件。DataWorks执行MapReduce作业的时候,需要在本地执行,所以保留Main函数即可。
jar
-resources test_mr.jar,test_ab.jar --资源在客户端注册后直接引用。
-classpath test_mr.jar --减小JAR文件策略:在gateway上提交包含Main函数的Mapper和Reducer,不需要提交额外的三方依赖,其他都可以放在resources com.aliyun.odps.examples.mr.test_mr wc_in wc_out中。