ListJobRuns - 获取Spark任务列表

调用ListJobRuns获取Spark任务列表。

调试

您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。

调试

授权信息

下表是API对应的授权信息,可以在RAM权限策略语句的Action元素中使用,用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下:

  • 操作:是指具体的权限点。

  • 访问级别:是指每个操作的访问级别,取值为写入(Write)、读取(Read)或列出(List)。

  • 资源类型:是指操作中支持授权的资源类型。具体说明如下:

    • 对于必选的资源类型,用前面加 * 表示。

    • 对于不支持资源级授权的操作,用全部资源表示。

  • 条件关键字:是指云产品自身定义的条件关键字。

  • 关联操作:是指成功执行操作所需要的其他权限。操作者必须同时具备关联操作的权限,操作才能成功。

操作

访问级别

资源类型

条件关键字

关联操作

emr-serverless-spark:ListJobRuns

list

*全部资源

*

请求语法

GET /api/v1/workspaces/{workspaceId}/jobRuns HTTP/1.1

请求参数

名称

类型

必填

描述

示例值

nextToken

string

标记当前开始读取的位置。

DD6B1B2A-5837-5237-ABE4-FF0C89568980

maxResults

integer

一次获取的最大记录数,最大不超过 100。

20

workspaceId

string

工作空间 ID。

w-d2d82aa09155****

name

string

任务名称。

emr-spark-demo-job

creator

string

创建用户 UID。

150976534701****

jobRunId

string

任务 ID。

j-xxx

tags

array<object>

标签列表。

object

标签对象。

key

string

标签键。

tag_key

value

string

标签值。

value

states

array

任务状态。

["Running","Submitted"]

string

任务状态。取值范围:

  • Submitted:已提交。

  • Pending:待处理。

  • Running:运行中。

  • Success:成功。

  • Failed:失败。

  • Cancelling:取消中。

  • Cancelled:已取消。

  • CancelFailed:取消失败。

Running

startTime

object

任务开始时间范围。

startTime

integer

任务开始时间范围的起点。

1709740800000

endTime

integer

任务开始时间范围的终点。

1710432000000

endTime

object

任务结束时间范围。

startTime

integer

任务结束时间范围的起点。

1709740800000

endTime

integer

任务结束时间范围的终点。

1710432000000

resourceQueueId

string

Spark 任务运行的资源队列名称。

dev_queue

jobRunDeploymentId

string

流任务部署的任务 ID。

jd-b6d003f1930f****

regionId

string

地域 ID。

cn-hangzhou

minDuration

integer

任务执行时长的最小值,单位 ms。

60000

isWorkflow

string

是否为工作流任务。

false

runtimeConfigs

string

运行配置。

[{\"key\":\"mainClass\",\"value\":\"yourClass\"}]

applicationConfigs

string

spark 配置。

[{\"key\":\"spark.app.name\",\"value\":\"test\"}]

返回参数

名称

类型

描述

示例值

object

返回数据

jobRuns

array<object>

Spark 任务列表。

object

Spark 任务对象。

workspaceId

string

工作空间 ID。

w-d2d82aa09155****

jobRunId

string

任务 ID。

jr-231231

name

string

任务名称。

jobName

state

string

任务状态。

Running

stateChangeReason

object

状态变化原因。

code

string

错误码。

0

message

string

错误信息。

connection refused

submitTime

integer

任务提交时间。

1684119314000

endTime

integer

任务结束时间。

1684119314000

codeType

string

任务代码类型。取值范围:

SQL

JAR

PYTHON

SQL

webUI

string

作业 Web UI。

http://spark-ui

executionTimeoutSeconds

integer

运行超时时间。

3600

creator

string

创建用户 UID。

150978934701****

tags

array

标签。

Tag

任务标签.

log RunLog

运行日志路径。

releaseVersion

string

运行任务的 Spark 引擎版本。

esr-3.0.0 (Spark 3.4.3, Scala 2.12, Native Runtime)

jobDriver JobDriver

Spark Driver 相关信息,List 接口不返回此参数。

configurationOverrides

object

Spark 高级配置,List 接口不返回此参数。

configurations

array

Spark Conf 列表。

Configuration

Spark Conf 对象。

displayReleaseVersion

string

运行任务的 Spark 引擎版本。

esr-3.0.0 (Spark 3.4.3, Scala 2.12)

fusion

boolean

是否开启 Fusion 引擎加速。

true

vcoreSeconds

integer

任务已分配的 vcore 总量乘以任务已运行的秒数。

8236

mbSeconds

integer

任务已分配的内存总量乘以任务已运行的秒数。

33030784

cuHours

number

任务运行周期内所消耗的 CU 数量(该值为预估值,最终以账单为准)。

2.059

requestId

string

请求 ID。

DD6B1B2A-5837-5237-ABE4-FF0C8944****

nextToken

string

返回读取到的数据位置。

1

maxResults

integer

本次请求所返回的最大记录条数。

20

totalCount

integer

本次请求条件下的数据总量。

200

示例

正常返回示例

JSON格式

{
  "jobRuns": [
    {
      "workspaceId": "w-d2d82aa09155****",
      "jobRunId": "jr-231231",
      "name": "jobName",
      "state": "Running",
      "stateChangeReason": {
        "code": "0",
        "message": "connection refused\n"
      },
      "submitTime": 1684119314000,
      "endTime": 1684119314000,
      "codeType": "SQL",
      "webUI": "http://spark-ui",
      "executionTimeoutSeconds": 3600,
      "creator": "150978934701****",
      "tags": [
        {
          "key": "workflowId",
          "value": "wf-123test"
        }
      ],
      "log": {
        "driverStdOut": "oss://bucket/path/to/stdout",
        "driverStdError": "oss://bucket/path/to/stderr",
        "driverSyslog": "oss://bucket/path/to/syslog",
        "driverStartup": "oss://bucket/path/to/startup"
      },
      "releaseVersion": "esr-3.0.0 (Spark 3.4.3, Scala 2.12, Native Runtime)",
      "jobDriver": {
        "sparkSubmit": {
          "entryPoint": "oss://bucket/path/to/entrypoint.jar",
          "entryPointArguments": [
            "arg1"
          ],
          "sparkSubmitParameters": "--conf spark.app.name=test"
        }
      },
      "configurationOverrides": {
        "configurations": [
          {
            "configFileName": "common.conf",
            "configItemKey": "hive.metastore.type",
            "configItemValue": "USER_RDS"
          }
        ]
      },
      "displayReleaseVersion": "esr-3.0.0 (Spark 3.4.3, Scala 2.12)",
      "fusion": true,
      "vcoreSeconds": 8236,
      "mbSeconds": 33030784,
      "cuHours": 2.059
    }
  ],
  "requestId": "DD6B1B2A-5837-5237-ABE4-FF0C8944****",
  "nextToken": "1",
  "maxResults": 20,
  "totalCount": 200
}

错误码

访问错误中心查看更多错误码。

变更历史

更多信息,参考变更详情