备案控制台
文档
产品文档
输入文档关键字查找
首页 云原生数据仓库AnalyticDB MySQL版 开发参考 API参考（湖仓版） API目录 Spark开发 GetSparkAppLog - 查询Spark应用日志

GetSparkAppLog - 查询Spark应用日志

更新时间：
一键部署
产品详情
相关技术圈
我的收藏

查询Spark应用的日志。

接口说明

  • 地域的公网接入地址：adb.<region-id>.aliyuncs.com。示例：adb.cn-hangzhou.aliyuncs.com。
  • 地域的 VPC 接入地址：adb-vpc.<region-id>.aliyuncs.com。示例：adb-vpc.cn-hangzhou.aliyuncs.com。
说明 如果华北 1（青岛）、华南 1（深圳）、华南 3（广州）、中国香港发起请求时，遇到 409 错误，请联系技术支持。

调试

您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。

授权信息

下表是API对应的授权信息，可以在RAM权限策略语句的Action元素中使用，用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下：

  • 操作：是指具体的权限点。
  • 访问级别：是指每个操作的访问级别，取值为写入（Write）、读取（Read）或列出（List）。
  • 资源类型：是指操作中支持授权的资源类型。具体说明如下：
    • 对于必选的资源类型，用背景高亮的方式表示。
    • 对于不支持资源级授权的操作，用全部资源表示。
  • 条件关键字：是指云产品自身定义的条件关键字。
  • 关联操作：是指成功执行操作所需要的其他权限。操作者必须同时具备关联操作的权限，操作才能成功。
操作访问级别资源类型条件关键字关联操作
adb:GetSparkAppLogRead
  • DBClusterLakeVersion
    acs:adb:{#regionId}:{#accountId}:dbcluster/{#DBClusterId}/resourcegroup/{#ResourceGroup}/sparkapp/{#SparkAppId}
    无
无

请求参数

名称类型必填描述示例值
AppIdstring是

应用 ID。

说明 调用 ListSparkApps 接口查询 Spark 应用的 ID。
s202206061441hz22a35ab000****
LogLengthlong否

日志的行数。取值范围为 1~500，默认值为 300。

20
DBClusterIdstring否

集群 ID。

说明 您可以调用 DescribeDBClusters 接口查看目标地域下所有 AnalyticDB MySQL 湖仓版（3.0）集群的集群 ID。
amv-2ze6fl8ud7t***
PageNumberinteger否

读取日志的页码号。

1
PageSizeinteger否

单页数据行数。

500

返回参数

名称类型描述示例值
object
RequestIdstring

请求 ID。

C3A9594F-1D40-4472-A96C-8FB8AA20D38C
Dataobject

日志详情。

LogContentstring

日志内容。

22/04/22 15:30:49 INFO Utils: Start the dump task because s202206061441hz22a35ab000****-0001 app end, the interval is 238141ms;22/04/22 15:30:49 INFO AbstractConnector: Stopped Spark@5e774d9d{HTTP/1.1, (http/1.1)}{0.0.0.0:4040}
Messagestring

返回告警信息，如任务执行失败或资源不足等，无告警时则返回为空。

WARNING: log file maybe deleted, please check oss path: oss://TestBucketName/applog/
DBClusterIdstring

湖仓版（3.0）集群 ID。

amv-clusterxxx
LogSizeinteger

日志的行数，0 代表没有有效日志。

3517972480

示例

正常返回示例

JSON格式

{
  "RequestId": "C3A9594F-1D40-4472-A96C-8FB8AA20D38C",
  "Data": {
    "LogContent": "22/04/22 15:30:49 INFO Utils: Start the dump task because s202206061441hz22a35ab000****-0001 app end, the interval is 238141ms;22/04/22 15:30:49 INFO AbstractConnector: Stopped Spark@5e774d9d{HTTP/1.1, (http/1.1)}{0.0.0.0:4040}",
    "Message": "WARNING:  log file maybe deleted, please check oss path: oss://TestBucketName/applog/",
    "DBClusterId": "amv-clusterxxx",
    "LogSize": 3517972480
  }
}

错误码

HTTP status code错误码错误信息描述
400Spark.InvalidStateThe object of the operation is in an invalid state: %s操作对象处于非合法状态。
400Spark.InvalidParameterInvalid parameter value: %s输入参数不正确。
400Spark.RoleArn.Invalid%s is not found, or the RAM role has not been authorized.RoleArn不存在或子账号未授权。
400Spark.Oss.InternalErrorAn OSS internal error occurred: %sOSS内部错误，请求失败。
400Spark.Log.IllegalPathInvalid job log URI: %s.配置的Spark日志路径不合法：%s。
400Spark.AnalyzeTask.AppStateNotAcceptedOnly Spark applications in the terminated state can be analyzed. The specified application %s does not meet the requirement.只允许分析处于终止状态的 Spark app。指定 app 不满足条件。
400Spark.AnalyzeTask.FailedToKillFailed to terminate the Spark log analysis task %s, because the task status has changed. Obtain the latest status and try again.杀死Spark日志分析任务的请求执行失败，因为对应任务状态已经发生了变化。请获取分析任务最新状态后执行。
400Spark.AnalyzeTask.InvalidStateWhenAnalyzingAppOnly logs of Spark applications in the terminated state can be analyzed. The specified application %s does not meet the requirement.仅允许针对处于终止状态的Spark作业执行日志分析程序。当前作业不满足条件。
400Spark.App.InvalidResourceSpecThe requested resource type is not supported:\n %s不支持申请的资源机型。
400Spark.App.ParameterConflictConflicting parameters submitted:\n %s提交Spark作业的配置参数存在冲突。
400Spark.Config.invalidConnectorsThe spark.adb.connectors configuration is invalid: %sspark.adb.connectors配置不正确。
400Spark.Config.RoleArnVerifyFailedRoleARN parameter verification failed. Error msg: %s when verify RoleArn %sRoleARN参数校验失败。
400Spark.Log.InvalidStateFailed to obtain the logs of the Spark job %s in the %s state.无法获取指定Spark作业的日志。
400Spark.SQL.NotFoundExecutableSQLErrorNo executable statements are submitted. Please check the input SQL.Spark作业的SQL信息中不包含可执行语句。
400Spark.SQL.ParserErrorFailed to parse the SQL %s. Error message: %s.Spark作业信息中的SQL无法解析。
403Spark.ForbiddenNo permissions to access the resources: %s权限不足，拒绝访问相关资源。您当前申请访问的信息是：%s。
404Spark.Log.PodLogNotFoundCan't find logs of the pod by podName[%s] in the namespace[%s].无法通过podName找到对应pod的日志。
404Spark.AnalyzeTask.NotFoundThe requested analysis task %s is not found.请求查看的日志分析任务不存在。
404Spark.App.ContentNotFoundThe requested content %s of the Spark application is not found.找不到指定Spark作业的提交内容。
404Spark.ObjectNotFoundThe object is not found. More information: %s操作对象不存在。关联信息：%s。
404Spark.TemplateFile.FileNotFoundThe template file %s is not found.未能找到输入的模板文件。
404Spark.TemplateFile.TemplateNotFoundThe template %s is not found.模板文件未找到。
500Spark.ServerErrorThe Spark control component system encountered an error, please create a ticket to solve the problem or concat the supported engineer on duty. Error message: %sSpark管控组件系统遇到错误，请提交工单，或联系值班工程师。

访问错误中心查看更多错误码。

变更历史

变更时间变更内容概要操作
2024-01-18OpenAPI 错误码发生变更、OpenAPI 入参发生变更、OpenAPI 返回结构发生变更看变更集
变更项变更内容
错误码OpenAPI 错误码发生变更。
    删除错误码：400
    删除错误码：403
    删除错误码：404
    删除错误码：500
入参OpenAPI 入参发生变更。
    新增入参：PageNumber
    新增入参：PageSize
出参OpenAPI 返回结构发生变更。
2023-11-24OpenAPI 错误码发生变更、OpenAPI 入参发生变更看变更集
变更项变更内容
错误码OpenAPI 错误码发生变更。
    删除错误码：400
    删除错误码：403
    删除错误码：404
    删除错误码：500
入参OpenAPI 入参发生变更。
    新增入参：DBClusterId
2023-06-28OpenAPI 错误码发生变更看变更集
变更项变更内容
错误码OpenAPI 错误码发生变更。
    错误码 400 变更
    删除错误码：500
    新增错误码：403
    新增错误码：404
文档推荐
  • 本页导读 （1）
文档反馈