使用Logview 2.0查看并分析MaxFrame作业-云原生大数据计算服务 MaxCompute-阿里云

Logview是MaxCompute作业运行状态信息记录与展现的一个工具，目前已经适配MaxFrame，本文为您介绍如何通过Logview 2.0查看MaxFrame作业的运行信息。

概述

Logview 2.0已适配MaxFrame，并支持以下功能：

Logview的通用能力可以查看文档使用Logview 2.0查看作业运行信息，本文主要介绍查看MaxFrame作业的相关运行信息。

当您使用session = new_session(...) 创建任意Session之后，系统会自动生成一个以 https://logview.aliyun.com/logview开头的URL地址。

在DataWorks使用MaxFrame提交作业后，直接单击URL地址就可以打开Maxframe Logview界面。
在本地环境使用MaxFrame提交作业时，您可以使用session.get_logview_address()方法来获取并打印URL地址，然后将该地址复制到浏览器中进行访问。

Maxframe Logview界面如下：

标题与功能区包含您提交作业时生成的唯一作业ID及您自定义的作业名称，您还可以执行如下操作。

图标	功能
	获取Maxframe Logview URL地址。
	将作业详情文件保存至本地设备。
	停止当前作业进程。
	打开本地保存的作业详情文件Logview_detail.txt。
	打开Job列表，查看指定项目下的Job信息。
	设置是否启用自动刷新，若启用后间隔10秒刷新一次。

DAG列表展示按照execute调用的先后顺序逆序排列，即最新提交的作业会显示在前面，基本信息如下表所示。

参数名	描述
Id	DAG ID，每次execute执行时产生的代表该执行的唯一Id。
Detail	单击，查看对应Sub DAG详情。
Start Time	DAG提交的时间。
End Time	DAG运行结束的时间，如果为空表示当前仍然在运行中。
Duration	DAG运行时长，即自Start Time开始至结束时间或当前时间的时间。
Status	作业的状态。取值说明如下： Preparing：DAG解析中，尚未开始执行。 Running：DAG运行中。 Succeeded：DAG执行成功。 Failed：DAG执行失败。 Cancelling：DAG正在取消中。 Cancelled：DAG已取消。
Description	DAG的描述信息。

Sub DAG详情页面如下图所示。

序号	区域
①	Sub DAG Graph显示区域，详情请参见Sub DAG Graph。
②	Sub DAG列表，详情请参见Sub DAG列表。
③	Sub DAG的Instance列表，详情请参见Instance列表。
④	Sub DAG的Basic Info，详情请参见Basic Info。

Sub DAG Graph用于快速理解当前DAG的详情。

序号	描述
①	当前的Sub DAG ID，单击可以返回到DAG列表页面。
②	面包屑导航，用于切换Sub DAG任务层级。
③	排查问题辅助工具。包含Progress Chart、Input Heat Chart、Output Heat Chart、TaskTime Heat Chart和InstanceTime Heat Chart。
④	您可以在此区域刷新作业执行状态（）、全屏或缩放显示作业执行图（）、获取MaxCompute Studio文档（）和切换至任务上一层级（）。
⑤	缩放辅助工具。
⑥	表节点，代表一张ODPS Table。
⑦	Sub DAG节点，主要包含如下内容： STAGE_X：SubDAG的名称，序号代表执行顺序，从1开始编号，依次递增。 X/X/X（例如：0/5/5）：代表当前SubDAG中ODPS Instance的不同状态的数量，分别为运行中的Instance个数/完成Instance个数/总Instance个数。起止时间。 MCSQL：表示当前SubDAG执行的引擎。 OP 1：表示当前SubDAG中包含一个算子，双击该节点可以查看算子图。
⑧	数据流，表示STAGE之间或STAGE与表之间的数据流向。
⑨	画布预览空间。

该列表展示了当前DAG中所有的Sub DAG的运行信息，按时间顺序排序。

参数	描述
Sub DAG	当前Sub DAG名称。
Failed/Terminated/ALL	当前Sub DAG中，处于不同状态的ODPS Instance的数量。说明如果遇到 (+X Fallback) 则表示有X个Instance发生了MCQA到Offline SQL的计算降级，并不是数据出错。
Status	当前Sub DAG的运行状态。 Failed：执行失败。 Cancelled：已经取消。 Running：正在执行中。 Succeeded：已执行成功结束。
Progress	Sub DAG的进度。说明如果在Running状态下达到100%仅表示当前需要处理的Instance已经全部完成，不代表 SubDAG已经执行完成。
Start Time	Sub DAG提交时间。
End Time	Sub DAG结束时间。
Duration	Sub DAG运行时长。
Timeline	时间轴预览，可以通过该时间轴查看启动的先后顺序和耗时占用。

该列表展示了Sub DAG相关的ODPS Instance作业。

参数	描述
Instance ID	ODPS Instance作业ID。
Status	作业运行状态。 Failed：执行失败。 Cancelled：已取消。 Running：正在执行中。 Terminated：已执行成功结束。 Fallback：以一种降级的方式运行，会形成一条新的Instance记录。 Unknown_terminated：已经执行完成，但未检测到是成功或失败。
Detail	作业详情。
Start Time	作业提交时间。
End Time	作业结束时间。
Duration	作业运行时长。
Timeline	时间轴预览，可以通过该时间轴查看启动的先后顺序和耗时占用。

Fuxi Sensor是展示MaxFrame作业全维度的资源视图。您可以通过Fuxi Sensor查看Fuxi Instance的CPU及内存的实际消耗量。Fuxi Sensor是作业问题定位以及作业运行质量分析的重要工具。例如以下场景的作业问题可借助Fuxi Sensor进行分析：