作业洞察

MaxCompute提供作业洞察能力,支持查看作业概览信息、智能诊断详情、资源消耗情况及特定时刻计算Quota的资源分配情况。同时,还能够对相似作业(以相同的Signature或ExtNodeId为识别依据)在过去一段时间内的历次运行指标进行对比分析。您可通过作业洞察优化任务执行情况,以提高执行效率。

进入作业洞察

  1. 登录MaxCompute控制台,在左上角选择地域。

  2. 在左侧导航栏,选择工作区 > 作业运维

  3. 在作业运维列表中,单击目标Instance ID操作列的洞察,进入作业分析页面。

  4. 切换各个页签以获取所需信息。具体功能如下:

    页签名称

    功能

    作业概览

    查看作业基础信息、运行参数、智能诊断详情。

    除此之外,您还可以进行以下操作:

    • 诊断:单击作业概览页签右上角的诊断,触发SQL/SQLRT作业的实时智能诊断。

    • LogView:单击作业概览页签右上角的LogView,跳转至LogView页面,查看作业运行详细信息。更多LogView信息请参见使用Logview 2.0查看作业运行信息

    资源消耗

    查看作业级别资源消耗情况及某时刻计算Quota的资源分配情况。

    相似作业

    查看相似作业(以相同的Signature或ExtNodeId为识别依据)在过去一段时间的历次运行时长、作业扫描量、资源消耗量等指标对比列表。

查看作业基础信息及运行参数

您可以在作业分析作业概览页签获取作业的基础信息及运行参数,具体参数说明如下:image

基础信息

参数名

描述

作业类型

作业的类型,取值如下:

  • SQL:SQL作业。

  • SQLRT:查询加速SQL作业。

  • LOT:MapReduce作业。

  • CUPID:Spark或Mars作业。

  • Algo_Task:机器学习作业。

  • GRAPH:图计算作业。

作业Owner

作业的所属责任人。

作业优先级

作业优先级。详情请参见作业优先级

付费模式

作业的付费模式,取值如下:

  • 包年包月:使用包年包月计算Quota运行,不产生后付作业费用。

  • 按量付费:使用按量付费计算Quota运行,会产生后付费作业账单。

提交时间

作业的提交时间。

开始运行时间

作业获取第一份计算资源的时间。对于运行时间过短或不消耗计算资源(如DDL语句)的作业,以作业提交时间代替。

作业状态

作业当前最新状态。取值如下:

  • Running:正在运行,未结束的作业都处于此状态。

  • Success:运行成功。

  • Failed:失败。

  • Cancelled:取消。

  • Submitted:已提交,等待计算资源中。

说明

此处所述状态为整个作业的总体状态。然而,作业本身可能涉及多并发处理,每个并发将具有不同的子状态。详细信息需通过LogView进行查看,详情请参见使用Logview 2.0查看作业运行信息

等待时长

作业从提交时间到开始运行时间的时长。

运行时长

作业从开始运行时间到结束运行时间的时长。

结束运行时间

Instance运行结束时间。

总运行时长

作业从提交时间到结束时间的总时长。

运行参数

参数名

描述

项目

发起作业的项目名称。

计算配额

作业运行使用的计算配额(Quota)名称。

查看智能诊断信息

当您进入作业分析页面时,会触发一次实时SQL/SQLRT作业诊断,您可以在作业概览页获取详细的智能诊断结果以及优化建议。

说明

目前智能诊断功能仅适用于SQL/SQLRT类型的作业,对于非SQL/SQLRT类型的作业,不展示诊断入口和智能诊断结果。

您也可以重复单击页面右上角的诊断,以便获取最新的诊断结果。image

更多关于诊断结果的说明请参见作业智能诊断

查看作业级资源消耗情况

您可以在作业分析页面的资源消耗页签,获取作业生命周期内的资源消耗情况。

图表名称

描述

作业生命周期内资源使用情况

展示作业级别下,计算资源(CU)使用量与等待量随时间变化的曲线图,以及作业运行的Quota级别下,使用CU与等待CU随时间的变化趋势。

若发现作业级别使用CU较低,而Quota级别使用CU较高,甚至持续达到上限,则表明Quota资源紧张,存在其他作业与当前作业抢占计算资源的情况。

某时刻计算Quota的资源分配情况

您可以通过单击资源消耗图横轴的时间点,查看对应时刻计算Quota级别的资源分配情况,具体为所有运行中、等待中的资源分配的作业数量与优先级分布,您可以单击目标优先级对应的色块跳转至作业列表,查看对应作业的详细信息。以此判断出具体是哪些作业在与当前作业抢占计算资源。您可以依据业务情况优化任务执行情况,进行作业优先级调整或计算资源管理,详情请参见作业优先级计算资源-Quota管理

关于作业级资源消耗的实践,请参见作业级资源分析最佳实践

相似作业对比分析

您可以在作业分析页面的相似作业页签,查看与当前作业相似的作业在过去一段时间内的历次运行指标对比情况。

MaxCompute提供两种相似标准供您选择(默认同Signature):

  • 同Signature:与当前作业SQL作业签名相同(只有SQL类型作业可用)。

  • 同ExtNodeId:与当前作业来源端的作业ID相同(例如:来自DataWorks的节点ID。更多DataWorks节点ID信息,请参见配置基础属性)。

支持选择时间范围(1d、7d或14d),默认为作业运维页面选择的时间范围。

可视化对比的运行指标参数及说明如下:

指标名称

描述

等待时长

作业从提交时间到开始运行时间的时长。

运行时长

作业从开始运行时间到结束运行时间的时长。

CU时

作业消耗的CU时。

  • CU时的计算方法为MAX(CPU时, 向上取整(内存时/4))

  • 1个小时消耗1个CPU Core,定义为1个CPU时。CPU时数量=CPU Core数量 * 时长

  • 1个小时消耗1 GB内存,定义为1个内存时。内存时数量=内存大小 * 时长

扫描量

作业扫描的数据量。

列表中也提供其他字段供您了解作业信息:

字段信息

描述

Instance ID

所选时间范围内符合当前作业相似标准的Instance ID。单击该ID可跳转至该作业的作业分析页面。

提交时间

作业的提交时间。

作业类型

作业类型。

作业优先级

作业优先级。

发起项目

发起作业的项目名称。

计算Quota

作业运行使用的计算配额(Quota)名称。

作业owner

作业的所属责任人。