管理消费者配额

更新时间:
复制 MD 格式

通过配额规则控制 AI 网关消费者在指定周期的大模型调用总量,实现精细化的成本管控。支持 Token 和 Credits 两种计量维度,可按自然日、周、月自动重置。

功能概述

AI 网关实例新增 FinOps 功能,支持在实例级别对消费者设置配额规则。配额规则通过设定配额类型(Token 配额或 Credits 配额)、配额限额、重置周期和时区,限制绑定消费者的调用量。配额达到限额后,消费者将无法继续调用模型,直到下一个周期重置。

消费者配额功能支持以下能力:

  • 支持消费者在实例级别设置 Token 配额。

  • 支持按自然日、自然周、自然月设置配额周期,且支持多个维度配额规则并存同时扣减。

  • 支持配额规则时区设置。

  • 支持手动重置配额规则。

  • 支持配额使用水位监控大盘。

前提条件

  • 已创建 AI 网关实例,且引擎版本为2.1.19及以上,如需使用 Credits 配额能力,请升级至2.1.20及以上。

  • 网关实例的版型不能是 Serverless 规格。

  • 已创建消费者。

  • 已开通 SLS 日志服务并开启日志投递(用于查看用量统计)。

说明

注意:消费者配额与消费者限流互补。配额是 FinOps 维度,控制周期内总使用量;限流是 QPS/并发维度,控制瞬时使用量。

创建配额规则

使用AI网关控制台可以对消费者配额进行管理。

  1. FinOps下的消费者配额 页面,单击 创建配额规则

  2. 弹出配置面板后,完成以下配置。

步骤一:基本配置

配置项

说明

规则名称

必填。支持字母、数字、下划线(_)和短划线(-),长度 1~64 个字符。

规则类型

必填。选择 Token 配额Credits 配额。Token 配额按大模型 token 数计量;Credits 配额按统一积分制计量。

限额

必填。最小值为 1,默认值为 60000。单位根据所选配额类型动态切换为 Tokens 或 Credits。

重置周期

必填。选择 自然日自然周自然月。创建后不可修改。

时区

必填。选择配额重置的参考时区,默认为 UTC+8(北京/上海/新加坡/香港)。支持以下 9 个时区:UTC+9(东京)、UTC+8(北京/上海/新加坡/香港)、UTC+7(曼谷)、UTC+5:30(新德里)、UTC+3(莫斯科)、UTC+1(柏林/巴黎)、UTC+0(伦敦)、UTC-5(纽约)、UTC-8(洛杉矶)。创建后不可修改。

步骤二:消费者选择

选择消费者 区域,通过穿梭框选择需要应用此配额规则的消费者。

  • 左侧列表为可用消费者,右侧列表为已选消费者。

  • 支持搜索消费者名称进行快速筛选。

  • 单次创建或编辑配额规则操作,最多可选择 1000 个消费者。

  • 已选消费者右侧提供 查看 链接,可跳转至该消费者的详情页面。

如需了解配额与鉴权的配合使用方式,请参见 Model API 消费者鉴权

步骤三:冲突预览

提交前,系统会自动检测是否存在冲突。同一消费者对应一个重置周期,只能存在一条配额规则。

  • 无冲突:直接创建成功。操作成功后页面返回配额规则列表页,顶部显示"创建成功"提示,新规则出现在列表。

  • 有冲突:弹出 配额规则冲突 对话框,展示冲突消费者列表及其已有的配额类型。可选择:

    • 覆盖已有规则:以当前规则覆盖已有配额规则。

    • 退回重新选择:返回消费者选择步骤,调整消费者列表。

编辑配额规则

消费者配额 列表页,找到目标配额规则,单击操作列的 编辑配额规则 按钮。

  • 编辑态下,重置周期时区 不可修改。

  • 编辑时可增量调整消费者列表,直接通过穿梭框添加或移除消费者即可。

  • 编辑后同样会进行冲突检测,流程与创建时一致。

  • 操作成功后页面返回配额规则列表页,顶部显示"编辑成功"提示。

启用或停用配额规则

消费者配额 列表页,找到目标配额规则,在操作列选择 生效中停用

  • 启用后,配额规则立即生效,系统提示"启用成功"。操作成功后列表页该规则的状态更新为绿色 启用 标识。

  • 停用后,配额规则立即失效,系统提示"停用成功"。操作成功后列表页该规则的状态更新为灰色 停用 标识。

重置配额规则

消费者配额 列表页,找到目标配额规则,单击操作列的 配额重置 按钮。

重置操作会将历史配额用量清零,但不会清除日志用量信息记录。重置后同样会进行冲突检测,如有冲突需按提示处理。操作成功后页面返回配额规则列表页,顶部显示"重置成功"提示,该规则的用量统计清零。

删除配额规则

消费者配额 列表页,找到目标配额规则,单击操作列的 删除 按钮,输入规则名称进行确认后删除。操作成功后该规则从列表移除,页面顶部显示"删除成功"提示。

查看用量统计

单击规则名称进入规则详情页,默认展示 用量统计

左侧:消费者列表

  • 展示已绑定到此配额规则的消费者列表,支持按消费者名称搜索。

  • 每个消费者展示名称/ID、所属实例 ID/名称,以及用量进度条(已用量/总限额)。

  • 用量超过限额时标记为 已超限,未超过时标记为 未超限

右侧:选中消费者的用量详情

选择一个消费者后,右侧展示该消费者的用量详情,支持查看 Token 和 Credits 统计数据。

可查看的用量和记录包括:

  • Token 用量/ Credits用量:已用量/总限额。

  • 输入Token/输入Credits:当前周期内输入方向的消耗。

  • 输出Token/输出Credits:当前周期内输出方向的消耗。

  • 缓存Token/缓存Credits:当前周期内缓存的消耗。

  • 消费记录 表格:包含模型名称、输入、输出、用量、消费时间等列,展示当前周期的消费明细。

  • 分页选项:每页可展示 5 条或 10 条记录。