本文介绍如何配置Spark类型的作业。
前提条件
操作步骤
- 新建作业。
- 已通过阿里云账号登录阿里云E-MapReduce控制台。
- 在顶部菜单栏处,根据实际情况选择地域和资源组。
- 单击上方的数据开发页签。
- 在项目列表页面,单击待编辑项目所在行的作业编辑。
- 在作业编辑区域,在需要操作的文件夹上,右键选择新建作业。
- 配置作业。
- 单击保存,作业配置即定义完成。
问题反馈
如果您在使用阿里云E-MapReduce过程中有任何疑问,欢迎您扫描下面的二维码加入钉钉群进行反馈。

本文介绍如何配置Spark类型的作业。
spark-submit [options] --class [MainClass] xxx.jar args
新建一个Spark WordCount作业。
spark-submit --master yarn-client --driver-memory 7G --executor-memory 5G --executor-cores 1 --num-executors 32 --class com.aliyun.emr.checklist.benchmark.SparkWordCount emr-checklist_2.10-0.1.0.jar oss://emr/checklist/data/wc oss://emr/checklist/data/wc-counts 32
--master yarn-client --driver-memory 7G --executor-memory 5G --executor-cores 1 --num-executors 32 --class com.aliyun.emr.checklist.benchmark.SparkWordCount ossref://emr/checklist/jars/emr-checklist_2.10-0.1.0.jar oss://emr/checklist/data/wc oss://emr/checklist/data/wc-counts 32
E-MapReduce除了支持Scala或者Java类型作业外,还支持Python类型Spark作业。以下是新建一个Python脚本的Spark Kmeans作业。
--master yarn-client --driver-memory 7g --num-executors 10 --executor-memory 5g --executor-cores 1 ossref://emr/checklist/python/kmeans.py oss://emr/checklist/data/kddb 5 32
如果您在使用阿里云E-MapReduce过程中有任何疑问,欢迎您扫描下面的二维码加入钉钉群进行反馈。
在文档使用中是否遇到以下问题
更多建议
匿名提交