如何在作业运行中和结束后查看ApacheSparkwebUI_云原生数据湖分析（文档停止维护）-阿里云帮助中心

本文介绍如何在作业运行中和结束后查看Apache Spark web UI。

操作步骤

登录Data Lake Analytics管理控制台。
页面左上角，选择DLA所在地域。
单击左侧导航栏中的Serverless Spark > 作业管理。
单击目标Spark任务右侧的操作 > SparkUI。
在浏览器中直接查看Spark UI，使用方式跟社区保持一致。

注意事项

1. 关于日志路径

为了作业结束后，也能访问Spark web UI，运行历史日志信息默认被上传到oss://aliyun-oa-query-results-<user-parent-id>-oss-<region-id>/Spark_Tmp/的OSS路径。如果您有自定义日志路径需求，可以通过下列配置项修改：

spark.dla.job.log.oss.uri":"oss://{bucket_name}/{dir_name}

说明

bucket_name: 所属的 bucket 必须已经创建，并与 DLA Spark 同一 Region。
dir_name：目录名称，支持多级目录。

示例如下：

{
    "name": "SparkPi",
    "file": "local:///tmp/spark-examples.jar",
    "className": "org.apache.spark.examples.SparkPi",
    "conf": {
        "spark.dla.job.log.oss.uri": "oss://your-bucket/your-logs-dir"
    }
}

2. 关于Spark UI有效期

由于Spark UI需要占用服务平台的网络资源，当前可以打开历史Spark UI的有效期只有三天。过期后Spark UI虽然不能打开，但是OSS上的日志数据是未被删除的，您可以根据需求通过OSS客户端查看日志数据或删除。