本文为您介绍如何解决在DataWorks上执行MapReduce作业时,大于10MB的JAR和资源文件不能上传至DataWorks的问题,方便您使用调度功能定期执行MapReduce作业。

前提条件

请下载并安装MaxCompute客户端,详情请参见安装并配置客户端

操作步骤

  1. 在MaxCompute客户端上执行如下命令上传大于10MB的资源。
    --添加资源。
    add jar C:\test_mr\test_mr.jar -f;
  2. 通过MaxCompute客户端上传的资源,在DataWorks左侧资源列表中不显示。因此需要执行如下命令查看资源列表,确认上传是否成功。
    --查看资源。
    list resources;
  3. 减小JAR文件。DataWorks执行MapReduce作业的时候,需要在本地执行,所以保留Main函数即可。
    jar 
    -resources test_mr.jar,test_ab.jar --资源在客户端注册后直接引用。
    -classpath test_mr.jar --减小JAR文件策略:在gateway上提交包含Main函数的Mapper和Reducer,不需要提交额外的三方依赖,其他都可以放在resources com.aliyun.odps.examples.mr.test_mr wc_in wc_out中。