获取Spark Session的所有代码块的执行状态

调试

您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。

请求参数

名称 类型 是否必选 示例值 描述
Action String ListSparkStatements

系统规定参数。取值:ListSparkStatements。

JobId String j202106071620hangzhou00000000001

Spark作业的id

返回数据

名称 类型 示例值 描述
RequestId String C2AB7692-B9EF-4A50-BCFF-0DC5B6F080E8

请求的唯一标识id

Statements Array of Statements

代码块执行结果的列表

Code String print(2 + 2)

提交执行的代码块

CompletedTime Long 1623033200754

执行完成的毫秒级时间戳

Id Integer 2

代码块的唯一id

Output String {\"status\":\"ok\",\"execution_count\":1,\"data\":{\"text/plain\":\"4\"}}

代码块的执行结果, 执行结果是一个JSON格式的字符串, 其结构如下

  • status 执行状态
  • execution_count 当前执行到此代码块的哪一行
  • data 代码执行结果
Progress Float 1

当前执行进度, 是一个浮点数, 代表执行的百分比, 1 代表100%执行完成

StartedTime Long 1623033200750

代码块开始执行的毫秒级时间戳

State String running

代码块的执行状态, 可能的状态有

  • waiting 等待执行
  • running 正在还行
  • available 执行完成
  • error 执行失败
  • cancelling 在尝试终止
  • cancelled 已经终止执行

示例

请求示例

http(s)://[Endpoint]/?Action=ListSparkStatements
&JobId=j202106071620hangzhou00000000001
&<公共请求参数>

正常返回示例

XML格式

<RequestId>C2AB7692-B9EF-4A50-BCFF-0DC5B6F080E8</RequestId>
<Statements>
    <Progress>1</Progress>
    <CompletedTime>1623033200078</CompletedTime>
    <State>available</State>
    <Output>{"status":"ok","execution_count":0,"data":{"text/plain":"&lt;pyspark.sql.session.SparkSession object at 0x7f5e4a550390&gt;"}}</Output>
    <StartedTime>1623033200077</StartedTime>
    <Id>0</Id>
    <Code>spark</Code>
</Statements>
<Statements>
    <Progress>1</Progress>
    <CompletedTime>1623033200754</CompletedTime>
    <State>available</State>
    <Output>{"status":"ok","execution_count":1,"data":{"text/plain":"4"}}</Output>
    <StartedTime>1623033200753</StartedTime>
    <Id>1</Id>
    <Code>print(2 + 2)
</Code>
</Statements>

JSON格式

{
  "RequestId": "C2AB7692-B9EF-4A50-BCFF-0DC5B6F080E8",
  "Statements": [
    {
      "Progress": 1,
      "CompletedTime": 1623033200078,
      "State": "available",
      "Output": "{\"status\":\"ok\",\"execution_count\":0,\"data\":{\"text/plain\":\"<pyspark.sql.session.SparkSession object at 0x7f5e4a550390>\"}}",
      "StartedTime": 1623033200077,
      "Id": 0,
      "Code": "spark"
    },
    {
      "Progress": 1,
      "CompletedTime": 1623033200754,
      "State": "available",
      "Output": "{\"status\":\"ok\",\"execution_count\":1,\"data\":{\"text/plain\":\"4\"}}",
      "StartedTime": 1623033200753,
      "Id": 1,
      "Code": "print(2 + 2)\n"
    }
  ]
}

错误码

访问错误中心查看更多错误码。