查询Spark应用的日志。
接口说明
- 地域的公网接入地址：
adb.<region-id>.aliyuncs.com。示例：adb.cn-hangzhou.aliyuncs.com。 - 地域的 VPC 接入地址：
adb-vpc.<region-id>.aliyuncs.com。示例：adb-vpc.cn-hangzhou.aliyuncs.com。
说明
如果华北 1（青岛）、华南 1（深圳）、华南 3（广州）、中国香港发起请求时，遇到 409 错误，请联系技术支持。
调试
您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。
授权信息
下表是API对应的授权信息，可以在RAM权限策略语句的Action元素中使用，用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下：
- 操作：是指具体的权限点。
- 访问级别：是指每个操作的访问级别，取值为写入（Write）、读取（Read）或列出（List）。
- 资源类型：是指操作中支持授权的资源类型。具体说明如下：
- 对于必选的资源类型，用背景高亮的方式表示。
- 对于不支持资源级授权的操作，用
全部资源表示。
- 条件关键字：是指云产品自身定义的条件关键字。
- 关联操作：是指成功执行操作所需要的其他权限。操作者必须同时具备关联操作的权限，操作才能成功。
| 操作 | 访问级别 | 资源类型 | 条件关键字 | 关联操作 |
|---|---|---|---|---|
| adb:GetSparkAppLog | get | *DBClusterLakeVersion acs:adb:{#regionId}:{#accountId}:dbcluster/{#DBClusterId}/resourcegroup/{#ResourceGroup}/sparkapp/{#SparkAppId} |
| 无 |
请求参数
| 名称 | 类型 | 必填 | 描述 | 示例值 |
|---|---|---|---|---|
| AppId | string | 是 | 应用 ID。 说明
调用 ListSparkApps 接口查询 Spark 应用的 ID。
| s202206061441hz22a35ab000**** |
| LogLength | long | 否 | 日志的行数。取值范围为 1~500，默认值为 300。 | 20 |
| DBClusterId | string | 否 | 企业版、基础版或湖仓版集群 ID。 说明
您可以调用 DescribeDBClusters 接口查看目标地域下所有集群的集群 ID。
| amv-2ze6fl8ud7t*** |
| PageNumber | integer | 否 | 读取日志的页码号。 | 1 |
| PageSize | integer | 否 | 单页数据行数。 | 500 |
返回参数
示例
正常返回示例
JSON格式
{
"RequestId": "C3A9594F-1D40-4472-A96C-8FB8AA20D38C",
"Data": {
"LogContent": "22/04/22 15:30:49 INFO Utils: Start the dump task because s202206061441hz22a35ab000****-0001 app end, the interval is 238141ms;22/04/22 15:30:49 INFO AbstractConnector: Stopped Spark@5e774d9d{HTTP/1.1, (http/1.1)}{0.0.0.0:4040}",
"Message": "WARNING: log file maybe deleted, please check oss path: oss://TestBucketName/applog/",
"DBClusterId": "amv-clusterxxx",
"LogSize": 3517972480
}
}错误码
| HTTP status code | 错误码 | 错误信息 | 描述 |
|---|---|---|---|
| 400 | Spark.InvalidState | The object of the operation is in an invalid state: %s | 操作对象处于非合法状态。 |
| 400 | Spark.InvalidParameter | Invalid parameter value: %s | 输入参数不正确: %s。 |
| 400 | Spark.RoleArn.Invalid | %s is not found, or the RAM role has not been authorized. | RoleArn不存在或子账号未授权。 |
| 400 | Spark.Oss.InternalError | An OSS internal error occurred: %s | OSS内部错误，请求失败。 |
| 400 | Spark.Log.IllegalPath | Invalid job log URI: %s. | 配置的Spark日志路径不合法：%s。 |
| 400 | Spark.AnalyzeTask.AppStateNotAccepted | Only Spark applications in the terminated state can be analyzed. The specified application %s does not meet the requirement. | 只允许分析处于终止状态的 Spark app。指定 app 不满足条件。 |
| 400 | Spark.AnalyzeTask.FailedToKill | Failed to terminate the Spark log analysis task %s, because the task status has changed. Obtain the latest status and try again. | 杀死Spark日志分析任务的请求执行失败，因为对应任务状态已经发生了变化。请获取分析任务最新状态后执行。 |
| 400 | Spark.AnalyzeTask.InvalidStateWhenAnalyzingApp | Only logs of Spark applications in the terminated state can be analyzed. The specified application %s does not meet the requirement. | 仅允许针对处于终止状态的Spark作业执行日志分析程序。当前作业不满足条件。 |
| 400 | Spark.App.InvalidResourceSpec | The requested resource type is not supported:\n %s | - |
| 400 | Spark.App.ParameterConflict | Conflicting parameters submitted:\n %s | - |
| 400 | Spark.Config.invalidConnectors | The spark.adb.connectors configuration is invalid: %s | spark.adb.connectors配置不正确。 |
| 400 | Spark.Config.RoleArnVerifyFailed | RoleARN parameter verification failed. Error msg: %s when verify RoleArn %s | RoleARN参数校验失败。 |
| 400 | Spark.Log.InvalidState | Failed to obtain the logs of the Spark job %s in the %s state. | 无法获取指定Spark作业的日志。 |
| 400 | Spark.SQL.NotFoundExecutableSQLError | No executable statements are submitted. Please check the input SQL. | Spark作业的SQL信息中不包含可执行语句。 |
| 400 | Spark.SQL.ParserError | Failed to parse the SQL %s. Error message: %s. | Spark作业信息中的SQL无法解析。 |
| 403 | Spark.Forbidden | No permissions to access the resources: %s | 权限不足，拒绝访问相关资源。您当前申请访问的信息是：%s。 |
| 404 | Spark.Log.PodLogNotFound | Can't find logs of the pod by podName[%s] in the namespace[%s]. | 无法通过podName找到对应pod的日志 [%s]。 |
| 404 | Spark.AnalyzeTask.NotFound | The requested analysis task %s is not found. | 请求查看的日志分析任务 %s 不存在。 |
| 404 | Spark.App.ContentNotFound | The requested content %s of the Spark application is not found. | 找不到指定Spark作业的提交内容。 |
| 404 | Spark.ObjectNotFound | The object is not found. More information: %s | 操作对象不存在。关联信息：%s。 |
| 404 | Spark.TemplateFile.FileNotFound | The template file %s is not found. | 未能找到输入的模板文件。 |
| 404 | Spark.TemplateFile.TemplateNotFound | The template %s is not found. | 模板文件未找到。 |
| 500 | Spark.ServerError | The Spark control component system encountered an error, please create a ticket to solve the problem or concat the supported engineer on duty. Error message: %s | Spark管控组件系统遇到错误，请提交工单，或联系值班工程师。 |
访问错误中心查看更多错误码。
变更历史
| 变更时间 | 变更内容概要 | 操作 |
|---|---|---|
| 2024-01-18 | OpenAPI 错误码发生变更、OpenAPI 入参发生变更、OpenAPI 返回结构发生变更 | 查看变更详情 |
| 2023-11-24 | OpenAPI 错误码发生变更、OpenAPI 入参发生变更 | 查看变更详情 |
| 2023-06-28 | OpenAPI 错误码发生变更 | 查看变更详情 |