作业实例详情

MaxCompute Studio支持2种方式查看MaxCompute作业实例详情。

• 通过Logview URL或本地的Logview离线文件以只读方式打开作业详情。

  使用Logview查看作业的详细信息是比较常用的方式。使用Logview还可以查看其他用户在其他项目空间中提交的任务状态。MaxCompute Studio支持通过输入一个有效的Logview URL打开任意一个作业详情。

  在IntelliJ IDEA顶部菜单栏中，单击MaxCompute > 打开Logview，选择导出本地的Logview离线文件或者将有效Logview URL复制到Open job detail by logview对话框中。

• 双击作业列表下的作业，可以查看该实例的详细信息。

作业详情页面包括顶部的工具栏，左半部分的基本属性栏以及右半部分详细视图页，其中详细视图页主要包含如下视图：

• 执行图：以DAG图的方式显示作业整体信息，可查看子任务间的依赖关系以及各个子任务的详细执行计划。

• 分析：以时序图、散点图、数据倾斜图、长尾图展示作业运行详情。

• 历史：展示作业运行各阶段耗时信息。

• 脚本：显示该作业提交时所对应的SQL语句以及提交作业的参数配置信息。

• 详情：以表视图的方式展示作业详细信息，包括子任务列表、各子任务的Worker列表、Worker处理数据量、执行时间及状态信息等。

• 概要：以JSON格式显示作业运行详细信息。

• 结果：显示该作业运行结果。

• 计划：展示作业运行计划信息。

执行图作为日常主要使用工具，以可视化的方式展示Fuxi Job、Fuxi Task以及Operation的依赖关系，同时提供一系列辅助工具，例如作业回放、进度图和热度图等，为排查问题提供帮助。

执行图可展示三个维度的作业依赖关系：Fuxi Job层、Fuxi Task层、Operation层。可单击向上箭头进行维度切换，默认会展示Fuxi Task层依赖关系。

• Fuxi Job层

  单击MaxCompute job打开Fuxi Job层。Fuxi Job层节点内包含Fuxi Task名称、起止时间等。

• Fuxi Task层

  双击任一Fuxi Job节点即可进入Fuxi Task层。

  当有多个Fuxi Job时，默认打开最后一个Fuxi Job的Fuxi Task层。该层可展示Fuxi Task的依赖关系，输入输出表及分区等信息。当作业结束后单击工具栏中的进度图，可以选择输入热度图(Record)、输出热度图(Record)、输入热度图(Byte)、输出热度图(Byte)、Task时间热度图和Instance热度图。进度图表示节点的完成进度，热度图通过颜色区分节点热度。

  Fuxi Task节点内容如下：

  • Instance Count：表示为a/b/c，指某一时刻正在运行的子任务实例个数为a，已结束任务实例个数b，总任务实例个数c。

  • I/O Records：同理为某一时刻的输入记录量和输出记录量。

  • 百分比与橙色进度条：表示该任务运行情况，该比例根据子任务运行实例分析得出。

  • 子任务间连线：显示输出的记录数量。箭头表示数据流动方向。

• Operation层

  双击任一Fuxi Task即可打开Operation层。

  Operation层揭示了Fuxi Task内在的运行方式，单击任一节点即可显示Operation完整信息。

主要针对SQL DML类作业，展示作业在计算集群上的Fuxi Task列表、计算节点列表等。通常一个作业对应一个或多个Fuxi Job，每个Fuxi Job拆分成多个Fuxi Task（阶段），每个Fuxi Task包含多个Fuxi Instance（Worker）。右键单击Fuxi Instance可以查看作业运行的标准输出、标准错误和Debug Info。

对应的序号说明如下：

1. Fuxi Job Tab。

2. Fuxi Task列表。

3. 每个Fuxi Task详细信息及计算节点列表。

单击 > 按钮即可开始播放，再次单击则暂停。您也可以手动拖动进度条。

以甘特图的方式展示作业分布式执行的详细数据，可以调整展示粒度，将每一个计算节点都在甘特图中展示。可以通过甘特图直观地看出作业运行的时间瓶颈和长尾节点等。同时提供多种过滤器，能够直接筛选出作业执行的关键路径、最大数据节点和最长时间节点等。

分析页展示作业的长尾节点（Worker）、数据倾斜节点（Worker）。展示节点散点图、柱状图和辅助作业执行瓶颈诊断。散点图和柱状图支持从图中节点的详情页查看Fuxi Instance详情。