快速入门

前提条件

• 已完成添加AliyunOSSFullAccess和AliyunDLFFullAccess权限，详情请参见角色授权。
• 已创建Kubernetes集群，详情请参见创建Kubernetes专有版集群或创建Kubernetes托管版集群。
• 已创建节点池，详情请参见创建节点池。
• 已开通对象存储OSS，详情请参见开通OSS服务。

操作流程

1. 步骤一：创建集群
   基于Kubernetes创建一个EMR集群。
2. 步骤二：提交作业
   集群创建成功后，您可以提交作业，本文以通过CRD方式提交Spark作业为例介绍。
3. （可选）步骤三：释放集群
   如果不再使用该集群，可以释放集群以节约成本。

步骤一：创建集群

1. 登录阿里云E-MapReduce on ACK控制台。
2. 在集群管理页面，单击创建集群。
3. 在E-MapReduce on ACK页面，完成集群相关配置。

   参数	示例	描述
   地域	华东1（杭州）	创建的集群会在对应的地域内，一旦创建不能修改。
   集群类型	Spark	支持以下集群类型： Spark：是通用的分布式大数据处理引擎，提供了ETL、离线批处理和数据建模等能力。 注意 创建Spark集群后，如果您需要关联集群，则所选产品版本的大版本号需要和关联的Shuffle Service集群大版本号一致。例如，EMR-5.x-ack版本的Spark集群只能关联EMR-5.x-ack版本的Shuffle Service集群。 Shuffle Service：是阿里云EMR在优化计算引擎的Shuffle操作上，推出的扩展组件。Shuffle Service通过提供远端Shuffle服务，使得Spark作业可以运行在无本地盘的节点上，并完美支持了动态资源，非常适合ACK环境下的Spark集群，详情请参见ESS。 注意 当创建Shuffle Service集群类型时，新建的Kubernetes集群或者选择的已有的Kubernetes集群的实例规格必须是大数据型或者本地SSD，否则部署RSS失败。 Presto：是基于内存的分布式SQL交互式查询引擎。 支持多种数据源，适合PB级海量数据的复杂分析，以及跨数据源的查询。 Flink：是一个在有界或无界数据流上进行有状态计算分布式处理的计算引擎。Flink on Ack基于EMR on Ack底座与社区Flink Kubernetes Operator 1.0.1版本开发，默认使用Flink官方团队推出的企业版内核，旨在为用户提供开箱即用的Flink on K8s体验。
   产品版本	EMR-4.6.0-ack	默认最新的软件版本。
   组件版本	SPARK (2.4.7-schemav2-ack-1.1)	所选集群类型下的组件及组件版本信息。
   ACK集群	Emr-ack	选择已有的ACK集群，或者在容器服务ACK控制台新建ACK集群。 单击配置专属节点，可以配置EMR专属节点。配置专属节点可以对节点池或节点打上EMR专属的污点和标签，被配置的节点池或节点只能用于EMR。 说明 推荐您使用节点池的方式来配置专属节点，如果没有节点池，请创建节点池，详情请参见创建节点池。
   OSS Bucket	oss-spark-test	选择已有的Bucket，或者在对象存储OSS控制台新建Bucket。
   集群名称	Emr-Spark	集群的名字，长度限制为1~64个字符，仅可使用中文、字母、数字、中划线（-）和下划线（_）。

4. 单击创建。
   当集群状态显示为运行中时，表示集群创建成功。

步骤二：提交作业

1. 通过kubectl连接Kubernetes集群，详情请参见通过kubectl工具连接集群。
2. 新建spark-pi.yaml文件，文件内容如下。

   apiVersion: "sparkoperator.k8s.io/v1beta2"
   kind: SparkApplication
   metadata:
     name: spark-pi-simple
   spec:
     type: Scala
     sparkVersion: 3.2.1
     mainClass: org.apache.spark.examples.SparkPi
     mainApplicationFile: "local:///opt/spark/examples/spark-examples.jar"
     arguments:
       - "1000"
     driver:
       cores: 1
       coreLimit: 1000m
       memory: 4g
     executor:
       cores: 1
       coreLimit: 1000m
       memory: 8g
       memoryOverhead: 1g
       instances: 1

   本文示例中的参数描述，请参见spark-on-k8s-operator。

   说明

   • 文件名您可以自定义，本文以spark-pi.yaml为例介绍。
   • 本文以Spark 3.2.1（EMR-5.6.0）版本为例，其他版本时请修改sparkVersion的配置。
3. 执行如下命令，提交作业。

   kubectl apply -f spark-pi.yaml --namespace <集群对应的namespace>

   本文示例代码中的<集群对应的namespace>，需要替换为集群的命名空间，您可以登录E-MapReduce on ACK控制台，在集群详情页面查看。

   返回如下信息。

   sparkapplication.sparkoperator.k8s.io/spark-pi-simple created

   说明 spark-pi-simple为本示例提交任务后的作业名。
4. 可选：您可以在集群详情页面的作业区域，查看已创建的作业信息。
   

（可选）步骤三：释放集群

如果您创建的集群不再使用时，可以释放集群节约成本。

1. 在集群管理页面，单击目标集群操作列的释放。
2. 在释放集群对话框中，单击确定。

相关文档

• 查看您账号下拥有的集群概况：查看集群信息。
• 查看您集群下的作业信息：查看作业列表。