MaxCompute提供作业运维管理功能,数据开发人员和管理员可基于MaxCompute管家查看历史作业和正在运行的作业,方便了解作业运行详情。本文为您介绍如何通过MaxCompute管家运维管理作业。
功能入口
MaxCompute管家将于北京时间2024年1月10日陆续下线,请您使用新版作业运维,新版作业运维提供更丰富的过滤参数、作业参数和提供作业统计图、作业分析等功能,更好地帮助您进行作业运维管理,详情请参见作业运维(新版)。
您可以按照如下步骤进入作业管理页面:
登录MaxCompute控制台,在左上角选择区域。
单击管家页签,即可进入MaxCompute管家页面。
3.在左侧导航栏,单击作业运维后,在右侧单击作业管理,即可进入作业管理页面。
与作业快照的区别
作业管理与作业快照的区别如下。
区别 | 描述 |
功能定位 |
终止MaxCompute作业的权限,请参见MaxCompute管家权限。 |
数据范围 |
|
过滤条件 |
|
功能介绍
您可以在作业管理页面通过配置过滤条件查询作业详情,同时也可以批量终止作业。具体功能点如下:
功能 | 参数 | 描述 |
过滤作业 | 日期范围 | 按照作业InstanceID生成的时间进行过滤,必须配置。默认范围为最近24小时。日期范围最长支持48小时。 您可以手动修改日期范围,或单击日期范围输入框,在选择时间面板快速配置日期范围:
|
作业状态 | 按照作业运行状态进行过滤,必须配置。包括正在运行(Running)、运行完成(Terminated)、失败(Failed)、取消(Cancelled)。默认为正在运行(Running)状态。 | |
配额组 | 按照配额组进行过滤。仅支持选择包年包月配额组。查询按量计费作业时,不需要配置该参数。默认为空。 更多配额组信息,请参见设置配额组。 | |
项目 | 按照MaxCompute项目名称进行过滤。您可以同时选择多个MaxCompute项目。默认为空。 | |
SkynetID | 高级查询参数。按照运行MaxCompute作业的DataWorks节点ID进行过滤。在作业管理页面右侧,单击高级查询,显示该参数。 您可以输入作业对应的DataWorks节点ID精准查找作业。默认为空。 更多DataWorks节点ID信息,请参见配置基础属性。 | |
InstanceID | 高级查询参数。按照MaxCompute作业生成的InstanceID进行过滤。在作业管理页面右侧,单击高级查询,显示该参数。 您可以输入作业的InstanceID精准查找作业。默认为空。 更多InstanceID信息,请参见查看实例信息。 | |
提交人 | 高级查询参数。按照提交MaxCompute作业的账号进行过滤。默认为空。不支持模糊查询。 | |
终止作业 | 无 | 您可以对处于正在运行(Running)状态的作业,执行批量终止操作。 |
查询到的作业详情内容与作业快照基本相同,请参见查看作业运行情况。您需要关注如下参数:
列名 | 说明 |
DataWorks节点负责人 | DataWorks节点负责人的账号。通过DataWorks节点提交作业时,MaxCompute上的作业Owner可能是另外一个账号。 您需要注意的是:
|
CPU累计使用量(CU×s) | 仅处于运行完成(Terminated)状态的MaxCompute作业有此信息。即Information_Schema中TASKS_HISTORY视图的cost_cpu数据。 |
内存累计使用量(MB×s) | 仅处于运行完成(Terminated)状态的MaxCompute作业有此信息。即Information_Schema中TASKS_HISTORY视图的cost_mem数据。 |
查看某个时段提交的作业运行详情
查看某个时间段提交的MaxCompute作业在当前的运行情况。您可以通过作业管理页面,选择日期范围和作业状态,同时配合其他条件进行过滤。
例如,如果您需要查看自己负责的Project_1、Project_2两个项目在当前这一天提交的作业,并分析哪些作业执行失败,以便对失败作业进行处理。推荐的查看方式为:
设置日期范围为最近1天或设置日期范围为从这一天00:00:00开始到当前时间。
在作业状态下拉列表选择Failed。
在项目下拉列表选择Project_1和Project_2。
单击确定。
您可以在查询结果列表中,单击目标Instance操作列的Logview,跳转至Logview页面,查看作业运行详细信息。更多Logview信息,请参见使用Logview查看作业运行信息或使用Logview 2.0查看作业运行信息。
查看具体作业运行详情
查看具体的MaxCompute作业在当前的运行情况。您可以通过作业管理页面,选择日期范围和作业状态,同时配合高级查询参数进行过滤。
例如,如果您需要查看某个DataWorks小时调度节点发起的作业运行情况,或需要对指定的MaxCompute作业进行审计。推荐的查看方式为:
根据实际需要设置日期范围。
根据实际需要在作业状态下拉列表选择状态。
单击高级查询,展开高级查询参数。
配置SkynetID或InstanceID。
单击确定。
您可以在查询结果列表中,单击目标Instance操作列的Logview,跳转至Logview页面,查看作业运行详细信息。更多Logview信息,请参见使用Logview查看作业运行信息或使用Logview 2.0查看作业运行信息。
查看查询加速作业
查看使用查询加速(MCQA)功能运行的MaxCompute作业在当前的运行情况。使用查询加速功能的作业,会出现多个SQL命令在同一个会话(Session)中执行的情况,一个会话对应一个InstanceID,您可以通过InstanceID对应的Logview查看该会话中所有SQL的运行情况。因此在作业管理页面查看查询加速作业时,您需要注意:
会话未退出时,即部分SQL已完成,部分SQL还在运行,作业状态需要设置为Running。
会话过期退出或因为关闭界面退出时,作业状态需要设置为Cancelled。
- 本页导读 (1)