资源队列用于管理和调度集群资源,旨在实现资源的灵活分配和优化。通过阿里云EMR控制台,您可以方便地管理资源队列,并关联不同的分区。
前提条件
已创建集群,且集群状态为运行中。创建集群详情,请参见创建集群。
使用限制
YARN调度器需使用capacity scheduler。
自定义分区相关功能,适用于EMR-5.11.1及之后版本、EMR-3.45.1及之后版本。
关联YARN分区与队列
该功能适用于EMR-5.12.1及之后版本、EMR-3.46.1及之后版本。
如果关闭了分区与队列关联,则会一键清空当前分区已关联的队列。
进入服务的配置页面。
在顶部菜单栏处,根据实际情况选择地域和资源组。
在EMR on ECS页面,单击目标集群操作列的集群服务。
在集群服务页面,单击YARN服务区域的配置。
单击编辑资源队列页签。
在选择分区下拉列表中选择已有的分区。
默认展示DEFAULT_PARTITION分区,所有队列均可访问该分区。新增分区的具体操作,请参见EMR控制台管理YARN分区。
打开启用分区与队列关联管理开关。
列表会为您展示可访问当前分区或在当前分区有容量的队列。
在弹出的对话框中,设置队列容量占比,单击确定。
生效配置。
单击编辑资源队列页签上方的提示灯。
在弹出的对话框中,单击配置下发。
单击编辑资源队列页签上方的提示灯。
单击待生效配置。
新增队列
为叶子队列添加子队列时,必须先停止该队列,才可添加成功,否则会部署失败。
(可选)在YARN服务的编辑资源队列页签,在选择分区下拉列表中选择已有的分区。
默认展示DEFAULT_PARTITION分区。
单击管理队列或管理子队列。
可以在选择父级队列下拉列表中选择父队列。
默认root队列。
在管理子队列对话框中,单击新增队列。
设置队列名称、队列容量占比和状态,单击确定。
同一父队列的所有子队列容量之和须为100%。
生效配置。
单击编辑资源队列页签上方的提示灯。
在弹出的对话框中,单击配置下发。
单击编辑资源队列页签上方的提示灯。
单击待生效配置。
编辑队列
(可选)在YARN服务的编辑资源队列页签,在选择分区下拉列表中选择已有的分区。
默认展示DEFAULT_PARTITION分区。
在编辑资源队列页签,单击root队列前的图标。
单击目标队列操作列的编辑。
在编辑对话框中,可以修改以下参数,单击确定。
参数
说明
当前队列名称
队列名称,您可以自定义。仅DEFAULT_PARTITION分区下可以编辑。
用户最小容量
单个用户可以使用集群中的资源比例。对应YARN UI的
Configured Minimum User Limit Percent
参数。仅DEFAULT_PARTITION分区下可以编辑。
用户资源因子
单个用户最多可使用的资源量与该队列容量的比例。对应YARN UI的
Configured user limit factor
参数。仅DEFAULT_PARTITION分区下可以编辑。
资源队列状态
包括开启和停止状态。仅DEFAULT_PARTITION分区下可以编辑。
说明在将父队列设置为停止之前,必须先将其下的所有子队列全部停止。
可访问分区
队列可以访问的分区。
说明EMR-5.12.1及之后版本、EMR-3.46.1及之后版本,所有队列默认可访问DEFAULT分区。
子队列的可访问分区默认会继承父队列,但也可根据需要单独进行配置。
默认分区
队列默认分区。如果没有进行分区配置,默认为使用仅DEFAULT_PARTITION分区。
生效配置。
单击编辑资源队列页签上方的提示灯。
在弹出的对话框中,单击配置下发。
单击编辑资源队列页签上方的提示灯。
单击待生效配置。
删除队列
待删除队列状态须为停止,删除才能生效,否则会部署失败。
删除队列前,需保证所有分区下该队列容量为0。
同一父队列的所有子队列容量之和须为100%。
如果您使用的是YARN 2.8.5版本,则在删除队列时,refresh_queues操作将无法生效。您需要在YARN状态页签下手动重启ResourceManager,才能使更改生效。
(可选)在YARN服务的编辑资源队列页签,在选择分区下拉列表中选择已有的分区。
默认展示DEFAULT_PARTITION分区。
单击管理队列。
在管理子队列对话框中,修改待删除队列的状态为停止,队列容量占比为0,单击确定。
生效配置。
单击编辑资源队列页签上方的提示灯。
在弹出的对话框中,单击配置下发。
单击编辑资源队列页签上方的提示灯。
单击待生效配置。
再次单击管理队列。
在管理子队列对话框中,单击待删除队列操作列的删除,单击确定。
生效配置。
单击编辑资源队列页签上方的提示灯。
在弹出的对话框中,单击配置下发。
单击编辑资源队列页签上方的提示灯。
单击待生效配置。