计算引擎作业提交成功后，您可以通过SparkUI界面或者HDFS Shell工具查看计算引擎作业运行日志。

前提条件

  • 已开通云原生多模数据库Lindorm实例的计算引擎服务，具体操作请参见开通与变配。
  • 已将客户端IP地址添加至云原生多模数据库Lindorm实例的白名单，具体操作请参见设置白名单。

通过SparkUI界面查看计算引擎作业运行日志

通过SparkUI界面查看计算引擎作业运行日志，需要查看的计算引擎作业状态为运行中。

  1. 登录Lindorm管理控制台。
  2. 在实例列表页，单击目标实例ID。
  3. 在左侧导航栏，选择计算引擎 > 作业列表，可以查看正在运行的计算引擎作业。
  4. 单击需要查看计算引擎作业的WebUI地址，打开SparkUI界面。
  5. 在顶部菜单栏单击Executors，可以查看计算引擎作业和所有的Executor。
    查看计算引擎作业
  6. 在Executors列表中，单击Logs列的stdout或者stderr查看运行日志。
    说明
    • 单击stdout可以查看标准输出日志。
    • 单击stderr可以查看标准错误输出日志。

通过HDFS Shell工具查看计算引擎作业运行日志

计算引擎作业的运行日志会被系统同步并存储至底层的文件引擎中，如果需要查看的计算引擎作业中断，您可以开通云原生多模数据库Lindorm文件引擎，并使用HDFS Shell工具查看作业的运行日志。
注意
  • 建议您在提交JAR作业时，在Main函数开始时初始化SparkSession对象，避免部分异常运行日志无法同步至文件引擎中。
  • 如果Lindorm实例的计算引擎服务规模较大，计算引擎作业运行日志可能给DFS造成较大的压力。您可以在计算引擎作业启动参数中配置spark.dfsLog.executor.enabled=false，该参数指定Executor日志不保存至DFS，而计算引擎作业Driver运行日志的收集不会受到影响。
  1. 登录Lindorm管理控制台。
  2. 在实例列表页，单击目标实例ID。
  3. 在左侧导航栏，选择计算引擎 > 作业列表，在作业页面获取JobId，例如：562f7c98-2a66-****，如下图所示。
    获取APPID
  4. 使用HDFS Shell工具查看日志，HDFS Shell工具的配置方法请参见通过HDFS Shell连接并使用文件引擎。
  5. 计算引擎作业的日志存储目录为/ldspark/ldspark-logs/${JobId}，Driver日志存储目录为__driver_logs__，Executor日志存储目录为__executor_logs__/${EXECUTOR_ID}。以查看Driver的stderr运行日志为例，请执行以下语句：
    $HADOOP_HOME/bin/hadoop fs -cat  /ldspark/ldspark-logs/${JobId}/__driver_logs__/stderr | less
    说明 您也可以通过FUSE客户端将文件引擎目录挂载至ECS进行访问，具体操作请参见通过HDFS FUSE连接并使用文件引擎。