文档

独享资源管理

更新时间:
一键部署

独享资源模式是一种资源使用方式。客户开通默认使用共享的弹性算力。如果对生图有较高时效性要求的客户,需要使用独享资源模式。独享资源模式的后付费方式无需额外开通,配置完成后,会默认根据您资源的用量来收费。具体计费标准参考独享模式计量计费规则

image

新建独享资源配置

  • 点击左上角的新建独享资源配置,进入资源配置编辑页面。

  • 输入配置名称,添加资源组配置后点击提交。

image

资源组配置

  • 若是SD类型的服务请求,无论是否有Web UI,您都需要在SD Web UI资源组下添加配置。

  • 若是ComfyUI类型的服务请求,您需要在ComfyUI资源组下添加配置。

点击添加配置,弹出配置资源组的表单。

image

基础信息填写

填写资源组名称,选择目标独享实例,右侧会展示当前目标实例数量下预留一小时的费用。

image

按时调整独享

若是需要在固定时间内调整独享实例数量,您可以开启按时调整独享实例数量的功能。

image

  • 策略名称:您可以后续根据名称来查找/更新策略。

  • 目标独享实例数量:命中策略期间,会按照这里设置的数量进行预留,而不是之前设置的目标独享数量。

  • 指定时间:指的是一天24小时中具体的生效时间区间,时区为北京时间。

  • 指定日期:指每个月的几号,搭配指定时间一起使用。

  • 指定星期:指每周几,搭配指定时间一起使用。

  • 生效时间:指策略的生效日期区间。

点击开启后,策略配置生效。支持配置多条策略,时间策略间使用或关系。即只要有一个时间策略满足条件,就会使用对应时间策略配置的独享模式数量。若同时命中多条策略,则会取最大目标独享实例数量作为预留数量。

按资源水位独享

若是需要根据当前资源使用率来自动的调整独享实例的数量,您可以开启按资源水位独享策略。

image

  • 策略名称:您可以后续根据名称来查找/更新策略。

  • 最小预留实例数:命中策略期间,按照水位缩容的时候不会低于这个实例数。

  • 最大预留实例数:命中策略期间,按照水位扩容的时候不会高于这个实例数。

  • 配置触发利用率阈值:指当资源利用率高于这个阈值,会自动按照最大预留实例数扩容。扩容后,高峰期过后,若利用率低于这个阈值,则会自动缩容,缩容至最小预留实例数以及之资源组默认实例数的大者。

高级设置支持设置生效时间:

  • 指定时间:指的是一天24小时中具体的生效时间区间,时区为北京时间。

  • 指定日期:指每个月的几号,搭配指定时间一起使用。

  • 指定星期:指每周几,搭配指定时间一起使用。

  • 生效时间:指策略的生效日期区间。

点击开启后,策略配置生效。支持配置多条策略,资源水位策略间使用或关系。即只要有一个资源水位策略满足条件,就会使用对应资源水位策略配置的独享模式数量。若同时命中多条策略,则会取最大目标独享实例数量作为预留数量。

请求路由配置

在这里默认均为智能路由模式,即计算单元会采用热度优先模式,保障高热度模型有常驻计算单元。

资源利用率上限设置

image

默认为空,即不存在资源利用率上限。当整个资源组的资源利用率高于设置的利用率时,如果任务提交没有包含共享池,会直接报错,无法提交;如果包含共享池时,会将请求路由至共享资源池内计算。更多信息,请参见多资源配置

资源组的开启/关闭

新建完资源组信息后,可以选择开启/关闭。在关闭状态的资源组,即使开启了整个资源配置,也无法被调用。只有当资源配置和资源组均处于开启状态下,才会按照设置预留。

image

独享资源配置管理

查看已有的独享资源配置;

image

  • 配置ID:即为接口调用时传入的资源配置ID。

  • 配置名称:新建配置时设置的名称

  • 配置状态:已启用,代表这份配置中的资源池已经处于预留状态。已关闭,代表您这份配置中的资源池未处于预留状态。

  • 目标预留实例数:指在这份配置中,目标独享的实例数。

  • 当前预留实例数:指在这份配置生效的情况下,当前已经预留到的实例数。

  • 操作:

    • 您可以点击配置详情查看配置详情

    • 若在启用配置的情况下点击查看执行情况来查看预留的数据以及关闭配置,关闭配置后,之前预留的资源会立即释放。

    • 若在配置关闭的情况下可以点击开启配置,点击后需要5-10分钟左右来加载预留资源。

    • 仅在配置关闭的状态才可以删除配置

独享资源配置信息查看

点击查看配置详情,会进入到配置的信息浏览页面:

image

在这里可以看到资源组的概况,点击查看配置详情,可以看到具体资源组的配置信息:

image

点击右上角的编辑,即可进入资源配置的编辑模式,和新建配置时的字段信息类似:

image

在编辑模式下,可以调整资源组的配置、生效状态以及删除资源组。

点击提交后,即可生效修改的内容。

独享资源配置执行情况查看

方法一:您可以在配置管理列表页点击查看执行情况查看当前资源的预留与使用情况

image

方法二:您可以直接在配置详情中点击查看执行情况查看

image

点击后可以看到如下信息:

image

在上面的tab选择为应用分类,对应SD Web UI资源组以及Comfy UI资源组的实例;

下面是点击不同资源组名称可以切换查看不同资源组的执行情况。

  • 独享目标数:即当前时间下预计需要达到的预留实例数

  • 独享开始时间:本次独享开始预留的时间,即最近一次独享实例不为0的时间

  • 预计独享结束时间:在命中时间策略的情况下,会展示时间;其他时间则不会展示;

  • 当前独享数:即当前预留到的实例数量

  • 完成率:即当前独享数/独享目标数

  • 当前资源利用率:即当前资源组中的资源使用情况。例如有10个预留实例,当前有5个执行中的任务,则为50%;若当前有10个执行中任务再加上10个排队任务,则为200%。

  • 最下面的图表展示预留实例的变化情况

独享资源配置案例

案例1

客户A需要在7月份每个周四晚上的7点到10点保障生图时效,预估需要独享实例50个。平时的量级较小,且不太需要保障生图时效。

推荐配置方案

  1. 新增一个资源配置「7月专用资源配置」用于7月份的每周四晚上7点到10点保障使用,其余时间则使用共享资源池配置。

  2. 配置平时独享实例数量。由于平时不需要用,将资源配置的目标独享实例数量设置为0,平时不会产生独享资源费用。

  3. 开启按时调整独享功能。由于需要共享实例50个,因此目标独享实例数量需要设置为50。预留50个实例需要一定的准备时间,提前40分钟开始预留。因此在指定时间设置下午6点20分开始预留,结束时间设置为晚上10点。指定星期为每周四,生效时间为7月1号至7月31号。

image

调用传入此资源池配置ID即可。

案例2

客户B平时就有一定的用量,日常需要预留5张保障体验。同时,在周三的下午3点到5点和周五的晚上的7点到10点都有额外的生图时效保障需求。客户期望能基于负载水位动态扩展独享资源池,并且能在独享资源池处于高负载排队时,回退到共享资源池。

推荐配置方案

  1. 在包月模式中下单付费5个资源实例,会自动生成一个独享资源配置。记录下配置ID。

  2. 新增一个资源配置「专用资源配置」额外用于周三的下午3点到5点和周五的晚上的7点到10点的保障使用。

  3. 将资源配置的目标独享实例数量设置为0。

  4. 开启按时调整独享功能。由于基础需要共享实例20个,这里的目标独享实例数量设置为20。预留20个实例需要一定的准备时间,提前20分钟开始预留。设置两条时间策略,设置的时间为下午2点40到5点和周五的6点40到10点。

image

  1. 配置按照水位调整的策略。当资源利用率到80%的时候,自动再扩最多10个实例处理突发任务。

image

  1. 配置资源利用率上限。将资源利用率上限设置为500%,表示如果当前实例任务排队超过5个,会自动转到共享资源池。

image

调用传入包月资源池ID、「专用资源配置」ID以及共享资源池ID(default)。