文档

MaxCompute作业运维管理

更新时间:

MaxCompute提供作业运维管理功能,数据开发人员和管理员可基于MaxCompute管家查看历史作业和正在运行的作业,方便了解作业运行详情。本文为您介绍如何通过MaxCompute管家运维管理作业。

功能入口

重要

MaxCompute管家将于北京时间2024年1月10日陆续下线,请您使用新版作业运维,新版作业运维提供更丰富的过滤参数、作业参数和提供作业统计图、作业分析等功能,更好地帮助您进行作业运维管理,详情请参见作业运维(新版)

您可以按照如下步骤进入作业管理页面:

  1. 登录MaxCompute控制台,在左上角选择区域。

  2. 单击管家页签,即可进入MaxCompute管家页面。

3.在左侧导航栏,单击作业运维后,在右侧单击作业管理,即可进入作业管理页面。image..png

与作业快照的区别

作业管理与作业快照的区别如下。

区别

描述

功能定位

  • 作业管理:适用于数据开发人员,方便日常查看、终止MaxCompute作业。

  • 作业快照:适用于管理员,方便日常结合配额组查看某时刻的资源负载、终止MaxCompute作业。

终止MaxCompute作业的权限,请参见MaxCompute管家权限

数据范围

  • 作业管理:包含历史作业以及当前正在运行的MaxCompute作业,作业状态都是最新状态(终态)。

  • 作业快照:仅包含某个固定时刻的MaxCompute作业,任何时候查看作业状态都是这个固定时刻的状态。

过滤条件

  • 作业管理:按照时间段进行过滤,同时还提供作业状态、DataWorks节点ID、InstanceID、提交人等条件进行过滤,以便更贴合开发者日常关注的作业。

  • 作业快照:按照指定时刻查看该时刻MaxCompute作业的快照信息,只支持按照项目、配额组进行过滤。

功能介绍

您可以在作业管理页面通过配置过滤条件查询作业详情,同时也可以批量终止作业。具体功能点如下:

功能

参数

描述

过滤作业

日期范围

按照作业InstanceID生成的时间进行过滤,必须配置。默认范围为最近24小时。日期范围最长支持48小时。

您可以手动修改日期范围,或单击日期范围输入框,在选择时间面板快速配置日期范围:

  • 最近1小时

  • 最近1天

  • 最近2天

  • 选择具体时间段:在选择时间面板,选择需要查询的年、月后,单击选择时间,滑动鼠标选择时间段。

作业状态

按照作业运行状态进行过滤,必须配置。包括正在运行(Running)、运行完成(Terminated)、失败(Failed)、取消(Cancelled)。默认为正在运行(Running)状态。

配额组

按照配额组进行过滤。仅支持选择包年包月配额组。查询按量计费作业时,不需要配置该参数。默认为空。

更多配额组信息,请参见设置配额组

项目

按照MaxCompute项目名称进行过滤。您可以同时选择多个MaxCompute项目。默认为空。

SkynetID

高级查询参数。按照运行MaxCompute作业的DataWorks节点ID进行过滤。在作业管理页面右侧,单击高级查询,显示该参数。

您可以输入作业对应的DataWorks节点ID精准查找作业。默认为空。

更多DataWorks节点ID信息,请参见配置基础属性

InstanceID

高级查询参数。按照MaxCompute作业生成的InstanceID进行过滤。在作业管理页面右侧,单击高级查询,显示该参数。

您可以输入作业的InstanceID精准查找作业。默认为空。

更多InstanceID信息,请参见查看实例信息

提交人

高级查询参数。按照提交MaxCompute作业的账号进行过滤。默认为空。不支持模糊查询。

终止作业

您可以对处于正在运行(Running)状态的作业,执行批量终止操作。

查询到的作业详情内容与作业快照基本相同,请参见查看作业运行情况。您需要关注如下参数:

列名

说明

DataWorks节点负责人

DataWorks节点负责人的账号。通过DataWorks节点提交作业时,MaxCompute上的作业Owner可能是另外一个账号。

您需要注意的是:

  • 当天新添加的用户可能无法关联到该信息。

  • 如果RAM用户之前是项目成员,但是后来被删除了,删除之后也无法关联到该信息。

CPU累计使用量(CU×s)

仅处于运行完成(Terminated)状态的MaxCompute作业有此信息。即Information_Schema中TASKS_HISTORY视图的cost_cpu数据。

内存累计使用量(MB×s)

仅处于运行完成(Terminated)状态的MaxCompute作业有此信息。即Information_Schema中TASKS_HISTORY视图的cost_mem数据。

查看某个时段提交的作业运行详情

查看某个时间段提交的MaxCompute作业在当前的运行情况。您可以通过作业管理页面,选择日期范围作业状态,同时配合其他条件进行过滤。

例如,如果您需要查看自己负责的Project_1、Project_2两个项目在当前这一天提交的作业,并分析哪些作业执行失败,以便对失败作业进行处理。推荐的查看方式为:

  1. 设置日期范围最近1天或设置日期范围为从这一天00:00:00开始到当前时间。

  2. 作业状态下拉列表选择Failed

  3. 项目下拉列表选择Project_1Project_2

  4. 单击确定

    您可以在查询结果列表中,单击目标Instance操作列的Logview,跳转至Logview页面,查看作业运行详细信息。更多Logview信息,请参见使用Logview查看作业运行信息使用Logview 2.0查看作业运行信息

查看具体作业运行详情

查看具体的MaxCompute作业在当前的运行情况。您可以通过作业管理页面,选择日期范围作业状态,同时配合高级查询参数进行过滤。

例如,如果您需要查看某个DataWorks小时调度节点发起的作业运行情况,或需要对指定的MaxCompute作业进行审计。推荐的查看方式为:

  1. 根据实际需要设置日期范围

  2. 根据实际需要在作业状态下拉列表选择状态。

  3. 单击高级查询,展开高级查询参数。

  4. 配置SkynetIDInstanceID

  5. 单击确定

    您可以在查询结果列表中,单击目标Instance操作列的Logview,跳转至Logview页面,查看作业运行详细信息。更多Logview信息,请参见使用Logview查看作业运行信息使用Logview 2.0查看作业运行信息

查看查询加速作业

查看使用查询加速(MCQA)功能运行的MaxCompute作业在当前的运行情况。使用查询加速功能的作业,会出现多个SQL命令在同一个会话(Session)中执行的情况,一个会话对应一个InstanceID,您可以通过InstanceID对应的Logview查看该会话中所有SQL的运行情况。因此在作业管理页面查看查询加速作业时,您需要注意:

  • 会话未退出时,即部分SQL已完成,部分SQL还在运行,作业状态需要设置为Running

  • 会话过期退出或因为关闭界面退出时,作业状态需要设置为Cancelled

  • 本页导读 (1)
文档反馈