本文为您介绍如何查看作业实例详情。

查看作业实例详情

MaxCompute Studio支持2种方式查看MaxCompute作业实例详情。
  • 通过Logview URL或本地的logview离线文件以只读方式打开作业详情。

    使用Logview查看作业的详细信息是比较常用的方式。使用Logview还可以查看其他用户在其他项目空间中提交的任务状态。MaxCompute Studio支持通过输入一个有效的Logview URL打开任意一个作业详情。

    在IDEA顶部菜单栏中,单击MaxComput > 打开Logview,选择导出本地的Logview离线文件或者将有效Logview URL复制到Open job detail by logview对话框中。
  • 双击作业列表下的作业,可以查看该实例的详细信息。

作业详情视图

作业详情页面包括顶部的工具栏,左半部分的基本属性栏以及右半部分详细视图页,其中详细视图页主要包含四个视图:
  • 执行图:以DAG图的方式显示作业整体信息,可查看子任务间的依赖关系以及各个子任务的详细执行计划。
  • 详情:以表视图的方式展示作业详细信息,包括子任务列表、各子任务的Worker列表、Worker处理数据量、执行时间及状态信息等。
  • 脚本:显示该作业提交时所对应的SQL语句以及提交作业的参数配置信息。
  • 结果视图:显示该作业运行结果。
**
还包含如下信息:
  • 时序图:显示作业执行时间线,可以从不同粒度查看执行的时序,并提供了多种过滤器。
  • 概要(JSON):以JSON格式显示作业运行详细信息。
  • 分析:提供作业执行散点图、长尾柱状图及数据倾斜图。

工具栏

  • :页面左右折叠。用来收起或完全展开左右侧视图,允许您最大化某一个视图进行查看。
  • :停止作业。用来中断正在执行的作业,需要具有响应权限才能停止作业(项目所有者或管理员)。
  • :刷新详情。对于运行中作业的基本信息,例如状态、Quota等会自动刷新。但右侧各个详情视图不会自动刷新,需要您手动刷新。
  • :拷贝Logview。
  • :在浏览器打开作业详情。即生成Logview URL,并通过浏览器打开。
  • :将作业详情信息保存为本地文件。
  • :是否开启自动刷新。对于运行中作业,开启自动刷新后,MaxCompute Studio会对作业执行全量定时刷新。

基本信息页面

基本信息页面展示了作业的基本信息,包括ID、创建人、状态、起止时间、计算资源用量、输入项(作业的输入表)、输出项等(作业的输出表)。运行中作业的基本信息会自动定时刷新。

双击表名即可查看对应表的基本信息页面。

执行图

执行图作为日常主要使用工具,以可视化的方式展示Fuxi Job、 FuxiTask以及Operation的依赖关系,同时提供一系列辅助工具,例如作业回放、进度图和热度图等,是排查问题的好帮手。
上图中各序号对应说明如下:
  1. 可单击跳转其他层次。
  2. 缩放辅助工具。
  3. 依赖表。
  4. Fuxi Task节点。
  5. 鹰眼。
  6. 展示。
  7. 默认打开FuxiTask层依赖。
执行图可展示三个维度的作业依赖关系:Fuxi Job层、Fuxi Task层、Operation层。可单击向上箭头进行维度切换,默认会展示Fuxi Task层依赖关系。
  • Fuxi Job层
    单击MaxCompute Job打开Fuxi Job层。Fuxi Job层节点内包含Fuxi Task名称、起止时间等。
  • Fuxi Task层

    双击任一Fuxi Job节点即可进入Fuxi Task层。

    当有多个Fuxi Job时,默认打开最后一个Fuxi Job的Fuxi Task层。该层可展示Fuxi Task的依赖关系,输入输出表及分区等信息。当作业结束后单击工具栏中的进度图,可以选择热度图输出热度图Task时间热度图Instance热度图等。进度图表示节点的完成进度,热度图通过颜色区分节点热度。
    Fuxi Task节点内容如下:
    • Instance Count:表示为a/b/c,指某一时刻正在运行的子任务实例个数为a,已结束任务实例个数b,总任务实例个数c。
    • I/O Records:同理为某一时刻的输入记录量和输出记录量。
    • 百分比与橙色进度条:表示该任务运行情况,该比例根据子任务运行实例分析得出。
    • 子任务间连线:显示输出的记录数量。箭头表示数据流动方向。
  • Operation层

    双击任一Fuxi Task即可打开Operation层。

    Operation层揭示了Fuxi Task内在的运行方式,单击任一节点即可显示Operaiton完整信息。
说明 非SQL类型作业,仅能展示Fuxi Job和Fuxi Task层作业,不展示Operation层。

详情页

主要针对SQL DML类作业,展示作业在计算集群上的Fuxi Task列表、计算节点列表等。通常一个作业对应一个或多个Fuxi Job,每个Fuxi Job拆分成多个Fuxi Task(阶段),每个Fuxi Task包含多个Fuxi Instance(Worker)。右键单击Fuxi Instance可以查看作业运行的标准输出、标准错误和Debug Info。
对应的序号说明如下:
  1. Fuxi Job Tab。
  2. Fuxi Task列表。
  3. 每个Fuxi Task详细信息及计算节点列表。

作业回放

MaxCompute Studio支持作业回放功能,作业回放就像播放媒体文件一样,可在12s内回顾该作业执行的历史轨迹。该功能主要用于帮助用户了解MaxCompute实例在不同时刻运行状态,快速判断子任务级运行顺序及消耗时间,掌握作业执行关键路径,从而针对运行较慢的子任务进行优化。

单击 > 按钮即可开始播放,再次单击则暂停。您也可以手动拖动进度条。
说明 回放功能仅通过时间估算某一个时刻IO数据量,从而确定完成进度,并不能代表该时刻真实IO数据量。Running状态作业不支持回放功能。

时序图

以甘特图的方式展示作业分布式执行的详细数据,可以调整展示粒度,将每一个计算节点都在甘特图中展示。可以通过甘特图直观的看出作业运行的时间瓶颈和长尾节点等。同时提供多种过滤器,能够直接筛选出作业执行的关键路径、最大数据节点和最长时间节点等。

分析页

分析页展示作业的长尾节点(Worker)、数据倾斜节点(Worker)。展示节点散点图、柱状图和辅助作业执行瓶颈诊断。散点图和柱状图支持从图中节点的准详情页查看Fuxi Instance详情。

结果页

结果页会根据作业类型及提交作业时的参数设置展示不同页面。

  • SELECT语句并且设置odps.sql.select.output.format = HumanReadable ,结果以文本方式展示。
  • SELECT语句并且未设置output format参数,结果以TABLE方式展示。
  • 对于数据输出到表的脚本,展示输出表名及表详情页的链接。
  • 对于异常作业,结果页显示异常详情。