每个Flink项目空间都会有一个默认队列(default-queue)来承载作业的运行。如果您有资源隔离和管理的需求,可以通过添加资源队列的方式实现。本文为您介绍如何添加、修改和删除资源队列。
使用场景及方式
对于有资源隔离和管理需求的批作业场景,配置资源队列可以实现批作业资源的有效管理,避免单一任务或用户过度占用资源,造成其他任务或用户无法获得足够资源而导致任务失败的情况发生。同时,通过将批作业部署到指定资源队列,并配合任务编排功能确定调度优先级,可以确保关键或重要作业获得更高的处理优先级和更多的资源,从而提高系统性能和资源利用率。
您可以通过以下方式使用资源队列:
部署作业时,部署目标选择为目标资源队列,详情请参见部署作业。
说明如果您没有添加新的资源队列,则默认会使用default-queue来部署并运行作业。
创建Session集群时,部署目标选择为目标资源队列,详情请参见步骤一:创建Session集群。
创建工作流时设置目标资源队列,详情请参见管理工作流。
注意事项
目前仅支持独享模式,暂不支持抢占模式。即资源队列的任务资源不会被抢占,使用完成释放资源后,对应的资源才可以被新的任务使用。
添加资源队列
您可以通过添加资源队列来实现对资源的隔离和管理。不添加新的资源队列,则默认会使用default-queue来承载作业的运行。
登录实时计算管理控制台。
单击目标工作空间操作列下的控制台。
在左侧导航栏,单击
。单击添加队列,配置队列信息。
未分配弹性资源的项目空间
当工作空间为按量付费或包年包月,以及混合计费但未给该项目空间分配弹性资源时,可参考如下信息配置队列。
配置
说明
队列名称
队列名称不可重复,只允许小写字母、数字和中划线(-) 且长度不超过32位。
说明资源队列添加成功后,不可修改资源队列名称。
资源量(CU)
允许配置的资源量上限由该项目空间剩余的可用资源量决定。如果项目空间可用资源量不足,则可以通过如下方式进行调整:
已分配弹性资源的项目空间
如果为混合计费工作空间,并已为该项目空间分配的弹性资源,可参考如下信息配置队列。
配置
说明
队列名称
队列名称不可重复,只允许小写字母、数字和中划线(-) 且长度不超过32位。
说明资源队列添加成功后,不可修改资源队列名称。
固定资源(CU)
允许配置的固定资源上限。如果固定资源不足,可以进行调整(与包年包月资源调整操作相同),详情请参见包年包月资源调整。
弹性资源(CU)
允许配置的弹性资源上限,您可以在队列管理页面查看可以分配的弹性资源数,如果不足,可以进行调整(与按量付费资源调整操作相同),详情请参见按量付费资源调整。
单击确定。
修改资源量
删除资源队列
不支持删除default-queue。
如果队列上存在已部署且运行的作业时,则无法删除。
队列删除后,已部署在该队列上的作业重新启动时会报错。
登录实时计算管理控制台。
单击目标工作空间操作列下的控制台。
在左侧导航栏,单击
。单击删除队列,单击确定。
相关文档
项目空间资源变配或配额上限调整,请参见资源调整。
SQL作业、JAR作业和Python作业部署操作,请参见部署作业。
Session集群创建操作,请参见步骤一:创建Session集群。
使用任务编排功能可以编排批作业运行的顺序,详情请参见任务编排(公测)。