本文介绍如何配置Spark Shell类型的作业。
前提条件
已创建好项目,详情请参见项目管理。操作步骤
- 进入数据开发的项目列表页面。
- 通过阿里云账号登录阿里云E-MapReduce控制台。
- 在顶部菜单栏处,根据实际情况选择地域和资源组。
- 单击上方的数据开发页签。
- 单击待编辑项目所在行的作业编辑。
- 新建Spark Shell类型作业。
- 在页面左侧,在需要操作的文件夹上单击右键,选择新建作业。
- 在新建作业对话框中,输入作业名称和作业描述,从作业类型下拉列表中选择Spark Shell作业类型。
- 单击确定。
- 编辑作业内容。
- 在作业内容中,输入Spark Shell命令后续的参数。
示例如下。
val count = sc.parallelize(1 to 100).filter { _ => val x = math.random val y = math.random x*x + y*y < 1 }.count(); println("Pi is roughly ${4.0 * count / 100}") - 单击保存,作业内容编辑完成。
- 在作业内容中,输入Spark Shell命令后续的参数。
该文章对您有帮助吗?