通过配额规则控制 AI 网关消费者在指定周期的大模型调用总量,实现精细化的成本管控。支持 Token 和 Credits 两种计量维度,可按自然日、周、月自动重置。
功能概述
AI 网关实例新增 FinOps 功能,支持在实例级别对消费者设置配额规则。配额规则通过设定配额类型(Token 配额或 Credits 配额)、配额限额、重置周期和时区,限制绑定消费者的调用量。配额达到限额后,消费者将无法继续调用模型,直到下一个周期重置。
消费者配额功能支持以下能力:
支持消费者在实例级别设置 Token 配额。
支持按自然日、自然周、自然月设置配额周期,且支持多个维度配额规则并存同时扣减。
支持配额规则时区设置。
支持手动重置配额规则。
支持配额使用水位监控大盘。
前提条件
已创建 AI 网关实例,且引擎版本为2.1.19及以上,如需使用 Credits 配额能力,请升级至2.1.20及以上。
网关实例的版型不能是 Serverless 规格。
已创建消费者。
已开通 SLS 日志服务并开启日志投递(用于查看用量统计)。
注意:消费者配额与消费者限流互补。配额是 FinOps 维度,控制周期内总使用量;限流是 QPS/并发维度,控制瞬时使用量。
创建配额规则
使用AI网关控制台可以对消费者配额进行管理。
在 FinOps下的消费者配额 页面,单击 创建配额规则。
弹出配置面板后,完成以下配置。
步骤一:基本配置
配置项 | 说明 |
规则名称 | 必填。支持字母、数字、下划线(_)和短划线(-),长度 1~64 个字符。 |
规则类型 | 必填。选择 Token 配额 或 Credits 配额。Token 配额按大模型 token 数计量;Credits 配额按统一积分制计量。 |
限额 | 必填。最小值为 1,默认值为 60000。单位根据所选配额类型动态切换为 Tokens 或 Credits。 |
重置周期 | 必填。选择 自然日、自然周 或 自然月。创建后不可修改。 |
时区 | 必填。选择配额重置的参考时区,默认为 UTC+8(北京/上海/新加坡/香港)。支持以下 9 个时区:UTC+9(东京)、UTC+8(北京/上海/新加坡/香港)、UTC+7(曼谷)、UTC+5:30(新德里)、UTC+3(莫斯科)、UTC+1(柏林/巴黎)、UTC+0(伦敦)、UTC-5(纽约)、UTC-8(洛杉矶)。创建后不可修改。 |
步骤二:消费者选择
在 选择消费者 区域,通过穿梭框选择需要应用此配额规则的消费者。
左侧列表为可用消费者,右侧列表为已选消费者。
支持搜索消费者名称进行快速筛选。
单次创建或编辑配额规则操作,最多可选择 1000 个消费者。
已选消费者右侧提供 查看 链接,可跳转至该消费者的详情页面。
如需了解配额与鉴权的配合使用方式,请参见 Model API 消费者鉴权。
步骤三:冲突预览
提交前,系统会自动检测是否存在冲突。同一消费者对应一个重置周期,只能存在一条配额规则。
无冲突:直接创建成功。操作成功后页面返回配额规则列表页,顶部显示"创建成功"提示,新规则出现在列表。
有冲突:弹出 配额规则冲突 对话框,展示冲突消费者列表及其已有的配额类型。可选择:
覆盖已有规则:以当前规则覆盖已有配额规则。
退回重新选择:返回消费者选择步骤,调整消费者列表。
编辑配额规则
在 消费者配额 列表页,找到目标配额规则,单击操作列的 编辑配额规则 按钮。
编辑态下,重置周期 和 时区 不可修改。
编辑时可增量调整消费者列表,直接通过穿梭框添加或移除消费者即可。
编辑后同样会进行冲突检测,流程与创建时一致。
操作成功后页面返回配额规则列表页,顶部显示"编辑成功"提示。
启用或停用配额规则
在 消费者配额 列表页,找到目标配额规则,在操作列选择 生效中 或 停用。
启用后,配额规则立即生效,系统提示"启用成功"。操作成功后列表页该规则的状态更新为绿色 启用 标识。
停用后,配额规则立即失效,系统提示"停用成功"。操作成功后列表页该规则的状态更新为灰色 停用 标识。
重置配额规则
在 消费者配额 列表页,找到目标配额规则,单击操作列的 配额重置 按钮。
重置操作会将历史配额用量清零,但不会清除日志用量信息记录。重置后同样会进行冲突检测,如有冲突需按提示处理。操作成功后页面返回配额规则列表页,顶部显示"重置成功"提示,该规则的用量统计清零。
删除配额规则
在 消费者配额 列表页,找到目标配额规则,单击操作列的 删除 按钮,输入规则名称进行确认后删除。操作成功后该规则从列表移除,页面顶部显示"删除成功"提示。
查看用量统计
单击规则名称进入规则详情页,默认展示 用量统计。
左侧:消费者列表
展示已绑定到此配额规则的消费者列表,支持按消费者名称搜索。
每个消费者展示名称/ID、所属实例 ID/名称,以及用量进度条(已用量/总限额)。
用量超过限额时标记为 已超限,未超过时标记为 未超限。
右侧:选中消费者的用量详情
选择一个消费者后,右侧展示该消费者的用量详情,支持查看 Token 和 Credits 统计数据。
可查看的用量和记录包括:
Token 用量/ Credits用量:已用量/总限额。
输入Token/输入Credits:当前周期内输入方向的消耗。
输出Token/输出Credits:当前周期内输出方向的消耗。
缓存Token/缓存Credits:当前周期内缓存的消耗。
消费记录 表格:包含模型名称、输入、输出、用量、消费时间等列,展示当前周期的消费明细。
分页选项:每页可展示 5 条或 10 条记录。