如何创建Spark任务并查看任务状态_容器服务Kubernetes版-阿里云帮助中心

通过ACK One主控实例，您可以使用和单集群相同的方式创建Spark任务。由主控实例根据Spark任务需要的资源和关联集群的剩余资源，执行动态调度策略，选择适合的关联集群下发Spark任务。本文介绍如何创建Spark任务并查看任务状态。

前提条件

主控实例管理员（实例创建者）已配置命名空间和配额。具体操作，请参见管理命名空间与配额。
主控实例默认已安装Spark Operator的Spark Application CRD，支持的Spark Application CRD的APIVersion为sparkoperator.k8s.io/v1beta2。
- 主控实例管理员可通过以下命令查看CRD。
```
kubectl get crd sparkapplications.sparkoperator.k8s.io
```
- 如有定制需求，主控实例管理员可以修改sparkoperator.k8s.io_sparkapplications.yaml，通过以下命令修改CRD。
```
kubectl apply -f manifest/crds/sparkoperator.k8s.io_sparkapplications.yaml
```
主控实例管理员已在所有关联集群上安装Spark Operator。具体操作，请参见步骤一：安装Spark Operator。
开发者用户从ACK One控制台获取主控实例的KubeConfig，通过kubectl连接至主控实例。
安装AMC命令行工具。具体操作，请参见AMC命令行帮助。

步骤一：安装Spark Operator

主控实例管理员登录容器服务管理控制台。
在控制台左侧导航栏中，选择市场 > 应用市场。
在应用市场页面单击应用目录页签，然后搜索并选中ack-spark-operator。
在ack-spark-operator页面，单击一键部署。
在弹出面板中，选择集群和命名空间，然后单击下一步。
在参数部分设置sparkJobNamespace为“”，然后单击确定。

步骤二：创建Spark任务并查看状态

开发者用户使用以下YAML文件，在主控实例上创建任务。

示例的命名空间为demo，示例的任务名称为pi。

apiVersion: "sparkoperator.k8s.io/v1beta2"
kind: SparkApplication
metadata:
  name: pi
  namespace: demo
spec:
  type: Scala
  mode: cluster
  image: "acr-multiple-clusters-registry.cn-hangzhou.cr.aliyuncs.com/ack-multiple-clusters/spark:v3.1.1"
  imagePullPolicy: Always
  mainClass: org.apache.spark.examples.SparkPi
  mainApplicationFile: "local:///opt/spark/examples/jars/spark-examples_2.12-3.1.1.jar"
  sparkVersion: "3.1.1"
  restartPolicy:
    type: Never
  volumes:
    - name: "test-volume"
      hostPath:
        path: "/tmp"
        type: Directory
  driver:
    cores: 1
    coreLimit: "1200m"
    memory: "512m"
    labels:
      version: 3.1.1
    serviceAccount: spark
    volumeMounts:
      - name: "test-volume"
        mountPath: "/tmp"
  executor:
    cores: 1
    instances: 3
    memory: "512m"
    labels:
      version: 3.1.1
    volumeMounts:
      - name: "test-volume"
        mountPath: "/tmp"

执行以下命令，在主控实例上获取任务的调度结果。
如果调度失败，则显示为空。请检查是否正确配置命名空间与配额，请参见管理命名空间与配额。如果命名空间配置配额或者配额用完，任务将暂停调度。
```
kubectl get sparkapplication pi -n demo -o jsonpath='{.metadata.annotations.scheduling\.x-k8s\.io/placement}'
```

查看Spark任务的状态。

执行以下命令，在主控实例上获取任务的运行状态。

kubectl get sparkapplication pi -n demo

预期输出：

NAME   STATUS      ATTEMPTS   START    FINISH    AGE
pi     COMPLETED   1          ***      ***       ***

执行以下命令获取任务相关Pod的运行状态。

kubectl amc get pod -j sparkapplication/pi -n demo

预期输出：

Run on ManagedCluster managedcluster-c1***e5
NAME        READY   STATUS      RESTARTS   AGE
pi-driver  0/1     Completed   0          ***

执行以下命令获取Pod的运行日志。

kubectl amc logs pi-driver  -j sparkapplication/pi -n demo

预期输出：

Run on ManagedCluster managedcluster-c1***e5
...
Pi is roughly 3.144875724378622
...