熟悉Spark的开发者都了解“SparkPi”,它相当于Spark引擎的”Hello World!“。本文介绍如何在DLA平台跑通”SparkPi“。

准备事项

  1. 您需要在提交作业之前首先创建虚拟集群,步骤可以参考:虚拟集群管理
    说明 创建虚拟集群时注意选择引擎类型为Spark。
  2. 如果您是子账号登陆,需要配置子账号提交作业的权限,具体可以参考文档:RAM子账号权限配置。由于SparkPi不需要访问外部数据源,您只需要配置文档中的前两个步骤:”DLA子账号关联RAM子账号“和”为子账号授予访问DLA的权限“。

提交作业

  1. 进入云原生数据湖分析管理控制台
  2. 在页面左上角,选择虚拟集群所在地域。
  3. 单击左侧导航栏的”Serverless Spark“ > ”作业管理“。
  4. 单击左上角”创建作业”按钮,填写作业信息如下:SparkPi创建作业
  5. 新创建的作业中包含了SparkPi作业的默认配置,单击”执行“按钮即可。