本文为您介绍如何创建并运行Spark作业。

创建项目

  1. 登录阿里云E-MapReduce控制台
  2. 单击上方的数据开发页签。
  3. 数据开发页面,单击新建项目
  4. 新建项目对话框中,输入项目名称test项目描述test
    create project
  5. 单击创建

新建作业

  1. 项目列表页面,单击新建项目所在行的作业编辑
    project list
  2. 作业编辑区域,在待操作的文件夹上单击右键,选择新建作业
    create job
    说明 您还可以通过在文件夹上单击右键,进行创建子文件夹、重命名文件夹和删除文件夹操作。
  3. 新建作业对话框中,配置各项参数。
    1. 设置作业名称Spark_test
    2. 设置作业描述test
    3. 作业类型列表中,选择Spark
    4. 单击确定

配置并运行作业

  1. 配置作业内容。
    1. 集群基础信息页面,查看Spark的版本。
      check spark
    2. 输入如下作业内容。
      --class org.apache.spark.examples.SparkPi --master yarn-client --driver-memory 512m --num-executors 1 --executor-memory 1g --executor-cores 2 /usr/lib/spark-current/examples/jars/spark-examples_2.11-2.4.5.jar 10
      create_job

      /usr/lib/spark-current/examples/jars/spark-examples_2.11-2.4.5.jar中的2.4.5是您集群中的Spark版本。

  2. 单击右上角的保存
  3. 单击右上角的运行
  4. 运行作业对话框中,单击确定

查看日志

您可以单击作业下方的运行记录页签,查看作业的运行情况。log

单击详情,您可以查看作业的实例信息、提交日志和YARN容器日志。

问题反馈

如果您在使用阿里云E-MapReduce过程中有任何疑问,欢迎您扫描下面的二维码加入钉钉群进行反馈。

emr_dingding