Quota管理是为您在MaxCompute管理控制台提供计算资源消耗查看、调整、增删改查等涉及日常资源管理运维的功能模块。本文为您介绍Quota管理提供的各种能力。

背景信息

MaxCompute Quota作为计算资源的单元,为MaxCompute SQL、MapReduce、Spark、Mars、PAI等计算作业提供所需计算资源(CPU及内存)。MaxCompute Quota分为一级和二级Quota,一级Quota之间相互独立;二级Quota从属于一级Quota,二级Quota之间资源支持共享。一级Quota作为二级的统管Quota不可直接被使用,需要通过使用二级Quota来使用对应的CU资源。

MaxCompute计算资源单位为CU(即Quota内的对象)。您可购买的Quota包含的CU分为包年包月和按量计费两种模式,分别对应包年包月规格类型和按量计费规格类型,更多规格信息,请参见规格概述
  • 包年包月Quota是通过按月购买预留CU后系统创建分配的独占Quota,使用时可按需在包月CU基础上按时预购弹性预留CU(按购买量和时长后付费)。作业在包年包月Quota内运行时最大只能使用该Quota CU购买量,可以在一级Quota内自定义二级Quota进行CU分配。
  • 按量计费Quota是在通过开通按量计费服务时,系统分配可使用的公共二级Quota,不可自行控制CU量以及进行二次分配。
    说明 部分按量计费的默认Quota名称为aliyun_nick
您可以选择使用按量计费Quota,也可以选择包年包月Quota,包年包月Quota支持通过控制CU量来控制预算,而按量计费Quota不可自行控制CU量。

查看Quota

  1. 登录MaxCompute控制台,在左上角选择地域。
  2. 在左侧导航栏,单击Quota管理
  3. Quota管理页面,查看可使用的Quota列表。
    列表为树状方式显示一、二级包年包月Quota,以及默认按量付费Quota。默认主账号及其子账号都可查看此列表。
    • 包年包月Quota:单击一级Quota左侧的列表图标可以展开二级Quota列表,同时展示二级Quota当前生效的配置信息。购买包年包月资源后,系统默认创建分配一级Quota以及名称为默认预付费Quota的二级Quota。
    • 按量计费Quota:只显示可使用的二级Quota的名称和层级。

配置Quota

可以对已经购买的包年包月Quota进行二次拆分定义,默认阿里云账号具有权限,RAM账号可以通过授权获得配置权限,详情请参见RAM权限。配置Quota主要由以下三部分组成。
  • 配置Quota模板:即二级Quota的新增或删除。
  • 配置Quota计划:一级Quota弹性CU量、对应二级Quota属性和CU量配置计划,购买包年包月MaxCompute实例后,每个一级Quota都会有一个名称为Default的默认计划。每个Quota计划包含一级Quota及其下所有二级Quota的配置,常用于对一天内不同时段有不同配置的场景,例如,在每天0~8时和8~24时的两个时段,二级Quota的CU量需求不一样,那么可以配置两个Quota计划,通过时间计划进行调度。
  • 配置时间计划:Quota计划的调度时间计划,购买包年包月MaxCompute实例后,默认不开启时间计划调度生效的DefaultQuota计划。一旦配置时间计划,每个一级Quota的时间计划默认为0时整开始启动。如上示例,时间计划可以配置为0时整和8时整启动不同的Quota计划。
    说明 目前时间计划调度暂时只能调度更新预留CU量的minCUmaxCU以及弹性预留CU这三个配置项。
  1. 登录MaxCompute控制台,在左上角选择地域。
  2. 在左侧导航栏,单击Quota管理
  3. Quota管理页面,单击需要配置的一级Quota操作列的Quota配置
  4. 配置Quota模板
    1. Quota配置页面的Quota模板页签,单击新增Quota
      您也可以在Quota模板页签,通过单击目标Quota操作列的删除,删除二级Quota。
      说明 删除二级Quota后,此二级Quota将在所有的Quota计划里被删除,对应的minCU量和弹性预留CU量将加到默认二级Quota中,如需要调整请编辑更新Quota计划。
    2. 新增Quota模板对话框,单击+添加一项后,填写Quota名称和选择类型
      Quota名称请自定义输入,类型包含如下两种类型,请根据实际情况进行选择。
      • 批处理:用来跑批作业的Quota。
      • 交互式:专用跑MCQA作业的Quota。
    3. 单击确定
  5. 配置Quota计划
    新增的Quota将加入到所有的Quota计划中,默认minCU为1(从二级默认预付费Quota里扣减),因此需要调整Quota的CU量以及属性,对Quota计划进行编辑更新。
    说明 支持添加多个Quota计划,最多为10个计划,每个计划配置不一样,以便每日不同时段启用不同计划。
    1. Quota配置页面的Quota计划页签,单击添加
    2. 新建Quota计划页面,配置Quota的如下参数。
      参数说明
      是否独占是否强独占Quota,即Quota的CU即使空闲也不被其他配额组占用。仅二级Quota可配置,当二级Quota类型为交互式时,此参数默认为独占且不可修改。

      适用于跑BI或ALGO等业务的配额组因随时都可能使用,需防止被其他Quota占用长时间不释放(当Quota的max值>min值时有可能会去占用其他空闲的Quota)。

      单作业CU上限对在此Quota内执行的作业设置CU并发上限,为空表示不限制,为0表示绝对限制,可输入正整数进行合理设置。当二级Quota类型为交互式时,此参数默认不可用。

      适用于防止单作业长时间占用大量CU导致其他作业等待资源。同时支持作业级别进行限制,在执行的代码前使用set odps.task.max.concurrent.cu=<CU量>; 命令进行设置,作业级别的配置优先级高于Quota级别的配置。

      开启优先级优先级功能,详情请参见作业优先级。在此Quota上执行的作业将优先执行,或者Project级别开启也同样生效。当二级Quota类型为交互式时,此参数默认不可用。
      预留CU量[minCU,maxCU]包月预留CU量。一级Quota的预留CU量即为购买的包月CU量(minCU=maxCU),需要扩、缩容只能通过升级、降配方式实现,在此不可编辑。二级Quota的minCU和maxCU定义如下:
      • minCU为保障值,maxCU为上限,当maxCU>minCU时,二级Quota之间为共享模式,如CU请求量大于min值,其他Quota空闲且非独占的情况下会被抢占。
      • minCU总和等于一级Quota的minCU量。
      • minCU小于等于max CU小于等于一级Quota购买的minCU量。
        说明 minCU暂时不可配置为0。
      • 默认二级Quota的minCU和maxCU不可编辑,minCU量为一级minCU量减去自定义二级Quota的minCU量的总和,maxCU值与一级Quota的maxCU量相等。
      预留弹性CU按时预购的预留弹性CU量。
      • 一级Quota的预留弹性CU量即为需要预购的CU量,默认为0,最大能设置的量为包月预留CU的最小值,只能设置50的倍数。
      • 二级quota的预留弹性CU量定义如下:
        • 预留弹性CU总和为一级Quota的预留弹性CU量。
        • 默认二级Quota的预留弹性CU不可编辑,预留弹性CU量为一级Quota预留弹性CU量减去自定义二级Quota的预留弹性CU量。
      非预留CU包月非预留CU量。
      • 一级Quota的非预留CU量即为购买包月非预留CU量,需要扩、缩容只能通过升级、降配方式实现(当前库存紧张无法扩容),在此不可编辑。
      • 二级Quota的非预留CU定义如下。
        • 二级Quota的非预留CU总和为一级Quota的非预留CU量。
        • 默认二级Quota的非预留CU不可编辑,非预留CU量为一级Quota的非预留CU量减去自定义二级Quota的非预留CU量。
    3. 单击确定,完成新增Quota计划。
    4. Quota计划页签,单击新增Quota计划操作列的立即生效
      Quota计划的其他相关操作如下。
      • 查看或者编辑Quota计划:在Quota计划页签,单击需要查看或编辑Quota计划操作列的编辑进行查看或更新编辑,可以对计划内的Quota相关配置进行编辑保存,如果此计划为当前生效计划,则编辑成功后,还需要单击立即生效才能启用最新的配置。
        说明 任意Quota计划都可以操作立即生效,但需要注意的是若时间计划有设置调度且配置当前时段调度的Quota计划与操作立即生效的Quota计划不一致,那么操作立即生效的Quota计划会在15分钟内被调度计划覆盖。因此如果想固定手动生效某个计划,需要把时间计划都清除,才能保证当前操作立即生效的计划不会被覆盖。
      • 删除Quota计划:在Quota计划页签,单击需要删除Quota计划操作列的删除进行删除Quota计划操作。
        说明 默认Quota计划和当前生效的Quota计划不可删除。
  6. 配置时间计划
    时间计划功能可以设置每日不同时间点启用不同的Quota计划,以此实现对Quota配置的分时逻辑。
    说明
    • 目前二级Quota只有默认Quota的情况下,时间计划不会生效。
    • 时间计划预计会有15分钟左右的延迟。
    1. Quota配置页面的时间计划页签,单击编辑时间计划
    2. 编辑时间计划对话框,单击+添加一项,选择开始时间启用Quota计划
      • 时间计划整体只有一份,默认运行时间为00:00(不可修改和删除)对应启用Quota计划是Default(可修改)。如果没有增加运行时间,则代表全天都是启用同一个Quota计划。
      • 支持整点和半点启用不同的Quota计划,一个Quota计划可以重复被启用。
    3. 单击确定,完成时间计划配置。

查看Quota消耗

可以查看一级Quota内CU资源的消耗情况。
说明 默认主账号及其子账号都可查看。
  1. 登录MaxCompute控制台,在左上角选择地域。
  2. 在左侧导航栏,单击Quota管理
  3. Quota管理页面,单击目标一级Quota操作列的资源消耗
  4. 资源消耗页面,可查看CPU资源消耗趋势图和Quota以及关联的Project列表。
    • CPU资源消耗趋势图:支持选择不同二级Quota和时间段查看各类CU使用量趋势。点击某个时间点,可以进入该时刻对应的作业快照列表。
    • Quota以及关联的Project列表:可查看对应二级Quota都被哪些Project定义为默认计算Quota。

Quota规则

MaxCompute支持对Quota配置规则条件,指定满足某些条件的作业可以被调度到对应的Quota里执行。Quota规则详情请参见Quota规则

Quota标签

MaxCompute支持您为一级Quota绑定或解绑标签,标签的详细用法及使用限制请参见标签概述

  1. 登录MaxCompute控制台,在左上角选择地域。
  2. 在左侧导航栏,单击Quota管理
  3. 创建标签。
    • 创建单个一级Quota的标签。
      1. 将鼠标悬浮于目标一级Quota标签列的编辑图标上,单击绑定/编辑
      2. 编辑标签对话框中,输入标签键标签值
      3. 单击确定,并在标签编辑成功对话框中单击关闭
    • 批量创建多个一级Quota的标签。
      1. 选中要批量添加标签的一级Quota,单击页面底部的批量打标
      2. 编辑标签对话框中,输入标签键标签值
      3. 单击确定,并在标签编辑成功对话框中单击关闭
  4. 标签筛选。
    一级Quota绑定标签后,您可以单击标签筛选,根据标签的键和值筛选Quota。
  5. (可选)解绑标签。
    • 解绑单个一级Quota的标签。
      1. 将鼠标悬浮于目标一级Quota标签列的编辑图标上,单击编辑
      2. 编辑标签对话框中,单击要解绑标签后的删除图标。
      3. 单击确定,并在标签编辑成功对话框中单击关闭
    • 批量解绑多个一级Quota的标签。
      1. 选中要批量解绑标签的一级Quota,单击页面底部的批量删除标签
      2. 批量解绑标签对话框中,勾选需要解绑的标签。
      3. 单击解绑x个标签(x为具体的解绑标签数),并在标签编辑成功对话框中单击关闭