PAI提供了多级资源配额(Quota)能力,支持您将PAI算力资源按层级进行划分,以便灵活管理和分配资源。此外,您可以启用本级或子级算力抢占功能,允许在当前资源配额中提交的任务抢占同级或子级资源配额的算力资源,从而充分利用算力资源。
资源配额(Quota)层级说明
PAI支持将算力资源按照企业组织架构的层级划分为父子级资源配额,形成如下图所示的树状结构(简称QuotaTree),以实现更灵活和精细的资源管理和分配。这种层级划分不仅使资源管理更加符合企业的实际需求,还提高了资源使用的效率和灵活性。
如上图所示,将算力资源拆分为了三级。其中:
Root | Quota是父级,Quota-1、Quota-2...Quota-n是其子级且互为同级。
Quota-1是Quota-1.1和Quota-1.2的父级,而Quota-1.1和Quota-1.2互为同级且是Quota-1的子级。Quota-2到Quota-n也遵循同样的结构。
您可以基于组织或项目来划分和使用资源配额(Quota),从而更好地管理和使用各自的任务及资源。当资源紧张时,您可以构建多级资源配额(Quota),开启产品提供的抢占策略,实现资源的最大利用率:
适用场景:当使用同级资源配额(例如Quota-1、Quota-2或Quota-n)创建的任务需要优先执行且资源紧张时。
处理机制:系统将通过灵活的资源调度机制,从同级资源配额中调度算力资源,确保关键任务能够获得所需的计算资源。
示例:为Quota-1开启本级算力抢占,当使用该资源配额创建的任务算力不足时,可以抢占Quota-2、Quota-3...Quota-n的资源。
适用场景:当同级资源配额紧缺,不能满足任务需求时。
处理机制:系统将通过灵活的资源调度机制,从子级资源配额中调度算力资源,确保关键任务能够获得所需的计算资源。
示例:为Quota-1开启子级算力抢占,当使用该资源配额创建的任务算力不足时,可以抢占Quota-1.1和Quota-1.2的资源。
开启本级算力抢占
操作方法
在创建或编辑资源配额时,为资源配额开启本级算力抢占。
当多个任务同时提交到该资源配额时,系统将依据最优策略来分配抢占当前层级的计算资源,具体策略说明如下:
抢占策略 | 描述 |
高优先级 | 支持抢占本级算力资源的任务执行优先级。取值范围:[1,9],支持单选或按范围选择。其中数字越大表示优先级越高,数字越小表示优先级越低。 |
抢占低优先级 | 支持被抢占算力资源的任务执行优先级。取值范围:[1,9],支持单选或按范围选择。其中数字越大表示优先级越高,数字越小表示优先级越低。 说明 设置的抢占低优先级需小于设置的高优先级。 |
可被抢占模块 | 当资源配额的算力资源不足时,系统支持抢占同级资源配额下指定模块的算力资源,包括DLC、DSW或EAS模块。 |
使用示例
抢占配置:
按照下图设置抢占配置:
高优先级:按范围,设置为6~9。
抢占低优先级:按单选,设置为4。
可被抢占模块:选择DLC和DSW。
效果:
当使用该资源配额创建的任务优先级为6~9且算力资源不足时,系统可以抢占同级资源配额下,优先级为4的DLC或DSW模块的算力资源。
开启子级算力抢占
操作方法
在创建或编辑资源配额时,为资源配额开启子级算力抢占。当使用父级资源配额提交任务且算力资源不足时,系统会按照最优策略回收子级Quota中正在运行的任务的算力资源,以保障父级资源配额任务的运行。具体策略说明如下:
抢占策略 | 描述 |
可被抢占优先级 | 支持被抢占的使用子级资源配额创建的任务执行优先级。取值范围:[1,9],支持按范围进行选择。其中数字越大表示优先级越高,数字越小表示优先级越低。 |
可被抢占模块 | 当父级资源配额的算力资源不足时,系统支持抢占使用子级资源配额创建的指定模块的算力资源,包括DLC、DSW或EAS模块。 |
使用示例
抢占配置:
按照下图设置抢占配置:
可被抢占优先级:设置为1~3。
可被抢占模块:选择DLC和DSW。
效果:
当使用父级资源配额创建任务且算力资源不足时,系统可以抢占使用子级资源配额创建的,优先级为1~3的DLC或DSW模块的算力资源。
相关文档
使用预付费资源配额(Quota)创建的分布式训练(DLC)任务支持使用闲时资源,详情请参见使用闲时资源。