本文介绍Spark Shell作业配置的操作步骤。

操作步骤

  1. 通过主账号登录阿里云 E-MapReduce 控制台,进入集群列表页面

  2. 单击上方的数据开发页签。
  3. 单击对应项目右侧的工作流设计,在左侧导航栏中单击作业编辑进入作业编辑页面。
  4. 在页面左侧,在需要操作的文件夹上单击右键,选择新建作业
  5. 填写作业名称作业描述
  6. 选择Spark Shell作业类型,表示创建的作业是一个Spark Shell作业。
  7. 单击确定
    说明 您还可以通过在文件夹上单击右键,进行创建子文件夹、重命名文件夹和删除文件夹操作。
  8. 作业内容输入框中填入Spark Shell 命令后续的参数。

    示例如下:

    val count = sc.parallelize(1 to 100).filter { _ =>
      val x = math.random
      val y = math.random
      x*x + y*y < 1
    }.count()println(s"Pi is roughly ${4.0 * count / 100}")
  9. 单击保存,Spark Shell作业即定义完成。