全部产品

Spark UI

更新时间:2020-10-15 14:35:38

您可以在作业运行中和结束后查看Apache Spark web UI。

操作步骤

  1. 登录Data Lake Analytics管理控制台

  2. 页面左上角,选择DLA所在地域。

  3. 单击左侧导航栏中的Serverless Spark > 作业管理

  4. 单击目标Spark任务右侧的操作 > SparkUI

    SparkUI

  5. 在浏览器中直接查看Spark UI,使用方式跟社区保持一致。

    web ui

注意事项

默认情况下,作业运行的历史信息没有保存,您只能在作业运行中查看Spark UI。为了在作业结束后,也能访问Spark web UI,您只需要在提交Spark作业时增加一个配置项,将作业运行的历史信息保存到您的OSS里面。历史作业的Spark UI查看方法跟运行是相同。

配置项如下所示:

spark.dla.job.log.oss.uri":"oss://{bucket_name}/{dir_name}
说明
  • bucket_name: 所属的 bucket 必须已经创建,并与 DLA Spark 同一 Region。

  • dir_name:目录名称,支持多级目录。

示例如下:

{
    "name": "SparkPi",
    "file": "local:///tmp/spark-examples.jar",
    "className": "org.apache.spark.examples.SparkPi",
    "conf": {
        "spark.dla.job.log.oss.uri": "oss://your-bucket/your-logs-dir"
    }
}