自定义调度资源组概述

Dataphin支持调度资源分组管理的功能。您可以将资源划分为不同配额的资源组,不同资源组之间的资源配额互相独立,并为不同租户、项目下的任务分别指定可使用资源组,从而保障核心任务的资源不被抢占,同时也提升资源利用率。

使用限制

  • 当前仅支持基于最新架构部署的客户使用自定义资源组功能,详情请联系产品运维团队。

  • 默认集群默认可管控的用于调度的CPU资源量最多为72core,如需增加可管控资源量,您可进行增购。实际可分配的资源总量请参见调度资源大盘

权限说明

支持超级管理员系统管理员资源组的负责人管理自定义资源组(编辑、启用、停用、删除)。

应用场景

保障核心任务:通过资源组管理可保障核心任务优先运行,防止低优先级任务先运行时抢占大量调度资源而导致高优任务一直在等待调度资源状态。

按需分配 :资源组支持按照项目分配资源,可使不同业务部门所使用的资源解耦。从而实现业务部门按需结算等应用场景。

名词解释

调度资源:调度资源指任务生成的实例调度所消耗的资源,支持将当前租户可使用的所有调度资源分配为不同的资源组并关联到可使用的项目,不同资源组之间资源相互隔离互不影响。

租户默认资源组:每个租户有且仅有一个,在创建租户时系统自动生成,不支持删除。从默认集群创建自定义资源组时,自动从租户默认资源组分配对应资源。为了保证所有任务均有可使用的调度资源,需要设置租户默认资源组保留的最小资源百分比,从而保证在调度运行时,如果指定的资源组状态不可用,可以使用租户默认资源组进行兜底,避免影响任务运行。

自定义资源组:在每个租户内,可以进一步划分为多个自定义资源组。自定义资源组可以设置应用场景,以便更好的管控资源使用范围。应用场景包括任务日常调度批量运维操作。

  • 任务日常调度:任务日常调度的自定义资源组可用于即席查询、临时运行、周期调度等场景,需要配置可使用该资源组的关联项目。

  • 批量运维操作:批量运维操作的资源组可用于对生产任务执行补数据等操作时,临时指定单次调度使用的资源组。

资源组优先级:优先使用每个任务配置的资源组;如果任务在生成实例时指定的自定义资源组已被停用或删除,实例资源组将自动切换为所在项目的默认资源组;如果项目默认资源组状态也不可用,将继续自动切换为使用租户默认资源组。任务指定资源组>任务所属项目的项目默认资源组>租户默认资源组。 此外,如果实例调度执行时指定的资源组已经被停用或删除,将自动切换为租户默认资源组执行。

流程概述

image
  1. 完成Daptahin部署后,系统将根据默认集群中可用于任务调度的资源及根据购买信息配置的可用调度资源量最终确定您默认集群可用的资源总量。其中:

    • 可用CPU总量 = min(集群配置可用于调度的CPU资源量,已购买的可用于自定义资源组配置的CPU资源量 )。

    • 可用内存总量 = 集群配置可用于调度的内存资源量。

  2. 如果开启了自定义资源组功能,则创建租户时,需要给每个租户分配最多可占用默认集群调度资源的百分比,请参见租户设置

  3. 在每个租户下,您可结合资源管控诉求创建多个自定义资源组,并指定每个自定义资源组使用的调度集群及占用集群可用资源的百分比。

    • 基于租户默认集群创建自定义资源组时,将从租户默认资源组(默认集群)自动扣除自定义资源组配置所需的资源百分比。

    • 基于自定义集群创建资源组时,将从自定义集群中自动扣除自定义资源组配置所需的资源百分比。

资源组生效优先级

任务调度运行时,优先使用任务调度配置指定的资源组;如果指定资源组状态异常或已被删除,则会使用任务所属项目的项目默认资源组;如果项目默认资源组也不可用,将切换为租户默认资源组兜底。 此外,如果您希望通过调整资源组实现紧急限流,可将指定资源组的资源分配量修改为0,则任务将一直处于等待调度资源状态,直到资源组有可用资源。

任务资源组配置说明

周期任务和手动任务均支持配置调度资源组。Basic模式项目下,任务测试运行、冒烟、周期调度均使用配置的调度资源组;Dev-Prod模式项目下,任务测试运行、冒烟及开发环境调度默认使用开发项目配置的项目默认资源组,不支持自定义修改;生产任务周期调度默认使用每个任务指定的资源组。

资源组配置入口

  1. 在Dataphin首页,单击顶部菜单栏中的管理中心->系统设置

  2. 按照以下操作指引,进入资源设置页面。

    依次单击资源设置->资源组配置

    image