创建并运行作业

创建项目

1. 登录阿里云E-MapReduce控制台。
2. 单击上方的数据开发页签。
3. 在数据开发页面，单击新建项目。
4. 在新建项目对话框中，输入项目名称为test和项目描述为test。
   
5. 单击创建。

新建作业

1. 在项目列表页面，单击新建项目所在行的作业编辑。
   
2. 在作业编辑区域，在待操作的文件夹上单击右键，选择新建作业。
   

   说明 您还可以通过在文件夹上单击右键，进行创建子文件夹、重命名文件夹和删除文件夹操作。
3. 在新建作业对话框中，配置各项参数。
   1. 设置作业名称为Spark_test。
   2. 设置作业描述为test。
   3. 从作业类型列表中，选择Spark。
   4. 单击确定。

配置并运行作业

1. 配置作业内容。
   1. 在集群基础信息页面，查看Spark的版本。
      
   2. 输入如下作业内容。

      --class org.apache.spark.examples.SparkPi --master yarn-client --driver-memory 512m --num-executors 1 --executor-memory 1g --executor-cores 2 /usr/lib/spark-current/examples/jars/spark-examples_2.11-2.4.5.jar 10

      

      /usr/lib/spark-current/examples/jars/spark-examples_2.11-2.4.5.jar中的2.4.5是您集群中的Spark版本。

2. 单击右上角的保存。
3. 单击右上角的运行。
4. 在运行作业对话框中，单击确定。

查看日志

您可以单击作业下方的运行记录页签，查看作业的运行情况。

单击详情，您可以查看作业的实例信息、提交日志和YARN容器日志。

问题反馈

如果您在使用阿里云E-MapReduce过程中有任何疑问，欢迎您扫描下面的二维码加入钉钉群进行反馈。