查看作业实例

Studio支持两种方式查看MaxCompute作业实例。

  1. 通过Logview URL或本地的logview离线文件 以只读方式打开作业详情。

    使用Logview来查看一个作业的详细信息是MaxCompute用户熟悉的方式。使用Logview还有一个便利之处是可以查看其他用户在其他项目空间中提交的任务状态。Studio提供通过输入一个有效的Logview URL打开任意一个作业详情的功能。

    在菜单栏中,打开MaxCompute菜单下的Open Logview,即可自动将粘贴板中有效Logview URL地址复制到弹出窗口中或者选择导出在本地的logview离线文件。



  2. 作业浏览信息中,选择某个MaxCompute实例,双击或右键Open,可查看该实例详细信息。

作业详情视图

作业详情页面包括顶部的工具栏,左半部分的基本属性栏以及右半部分详细视图页,其中详细视图页主要包含七个视图:
  • 执行图:以DAG图的方式显示作业整体信息,可查看子任务间依赖关系及各个子任务的详细执行计划。
  • 时序图:显示作业执行timeline,可以从不同粒度查看执行的时序,并提供了多种过滤器。
  • 详情:以table view方式展示作业详细信息,包括子任务列表,各子任务的worker列表,worker处理数据量,执行时间及状态信息等。
  • 脚本:显示该作业提交时所对应的SQL语句以及提交作业的参数配置信息。
  • 概要(JSON):以JSON格式显示作业运行详细信息。
  • 结果视图:显示该作业运行结果。
  • 分析:提供作业执行散点图、长尾柱状图及数据倾斜图。


工具栏

页面左右折叠




用来收起或完全展开左右侧视图,允许用户最大化某一个视图进行查看。
停止作业


用来中断正在执行的作业,需要具有响应权限才能停掉作业(owner或管理员)。
刷新详情


对于运行中的作业,它的基本信息,如状态、quota等会自动刷新,但右侧各个详情视图不会自动刷新,如果想要获取最新详情信息,需要手动刷新。
拷贝logview


复制作业对应的logview到剪切板。
在浏览器打开作业详情


生成logview URL,并通过浏览器打开。

作业详情保存到本地



将作业详情信息保存为本地文件。
自动刷新


对于运行中作业,允许自动刷新后,studio会对作业执行全量定时刷新。

基本信息页

展示作业基本信息,包括ID、 Owner、状态、起止时间、 计算资源用量, 输入输出等。运行中作业的基本信息会自动定时刷新。输入,输出项列出了作业的输入表和输出表,双击表名可查看对应表详情。

执行图

执行图作为日常主要使用工具,以可视化的方式展示Fuxi Job, FuxiTask以及Operation的依赖关系,同时提供一系列辅助工具,如作业回放,进度图,热度图等,绝对是排查问题的好帮手。

执行图可展示三个维度的作业依赖关系:Fuxi Job层, Fuxi Task层, Operation层,可点击面包屑或向上箭头进行切换,默认会展示Fuxi Task层依赖关系。

说明
非SQL类型作业,仅能展示Fuxi Job 和Fuxi Task层作业,不支持Operation层。


  • Fuxi Job层:

    单击面包屑中MaxCompute Job或在Fuxi Task层中点击向上箭头即可打开Fuxi Job层。Fuxi Job节点内包含Fuxi Task名称,起止时间等。双击任一Fuxi Job节点即可进入Fuxi Task层。



  • Fuxi Task层:

    当有多个Fuxi Job时,默认打开最后一个Fuxi Job的Fuxi Task层。该层可展示Fuxi Task的依赖关系,输入输出表及分区等信息。当作业结束后点击工具栏中下拉框可切换进度图,输入热度图,输出热度图,Task时间热度图,Instance热度图等。进度图表示节点的完成进度,热度图通过颜色区分节点热度。双击任一Fuxi Task即可打开Operation层,右键可以展开所有Fuxi Task的Operation层。



    Fuxi Task节点内容:

    
    1.Instance Count:a/b/c, 指某一时刻正在运行子任务实例个数为a,已结束任务实例个数b,总任务实例个数c。
    
    2.I/O records:同理为某一时刻的input records和output records。
    
    3.百分比与橙色进度条:表示该任务运行情况,该比例根据子任务运行实例分析得出。
    
    4.子任务间连线上显示的是输出records数量。箭头表示数据流动方向。
  • Operation层

    Operation层揭示了Fuxi Task内在的运行方式,单击任一节点即可显示Operaiton完整信息。



作业回放

Studio支持作业回放功能,作业回放就像播放媒体文件一样,可在12s内回顾该Job执行的历史轨迹。该功能主要用于帮助用户了解MaxCompute实例在不同时刻运行状态,快速判断子任务级运行顺序及消耗时间,掌握Job执行关键路径,从而针对运行较慢的子任务进行优化。

  • 点击 > 按钮即可开始播放,再次点击则暂停。用户也可手动拖动进度条。

  • 进度条左边为作业开始时间,中间为播放时间,右边为结束时间。



说明
回放功能仅通过时间估算某一个时刻IO数据量,从而确定完成进度,并不能代表该时刻真实IO数据量。Running 状态作业不支持回放功能。

时序图

以甘特图的方式展示作业分布式执行的详细数据,可以调整展示粒度,将每一个计算节点都在甘特图中展示。



可以通过甘特图直观的看出作业运行的时间瓶颈、长尾节点等。同时提供多种过滤器,能够直接筛选出作业执行的关键路径、最大数据节点、最长时间节点等。

详情页

主要针对SQL DML类作业,展示作业在计算集群上的Fuxi Task列表、计算节点列表等



通常一个作业对应一个或多个Fuxi job,每个Fuxi job拆分成多个Fuxi task(阶段),每个Fuxi task包含多个Fuxi instance(worker)。

在每个Fuxi instance通过右键菜单可以查看作业运行的标准输出、标准错误,及Debug Info。





分析页

展示作业的长尾节点(worker)、数据倾斜节点(worker)。展示节点散点图、及柱状图,辅助作业执行瓶颈诊断





散点图和柱状图支持从图中节点直接调准详情页查看Fuxi instance详情。

结果页

结果页会根据作业类型及提交作业时的参数设置展示不同页面。

  • select 语句并且设置odps.sql.select.output.format = HumanReadable ,select以文本方式展示
  • select 语句并且未设置output format参数,结果以table方式展示
  • 对于数据输出到表的脚本,展示输出表名及到表详情的跳转链接
  • 对于异常作业,结果页限制异常详情