动态限流

更新时间:
复制 MD 格式

百炼对部分模型采用动态限流,TPM 限流值随百炼月消费额度按月调整,实际可用 TPM 不低于限流值。

动态限流机制

百炼对部分模型采用动态限流机制,核心要点如下:

  • 限流值:按用户在百炼的月消费额度分档确定,作为吞吐的保证基线,每月调整。

  • 软限流:当调用量达到限流值时,若平台仍有剩余资源,则不会触发限流,因此实际可用 TPM 不低于限流值;调用时观察到的实际限流值可能高于该限流值,属预期行为。

  • 限流粒度:按账号 + 模型,主账号下所有业务空间、API Key 的调用量合并计入该账号对该模型的 TPM 配额,共享同一限额。

  • 业务空间:可为模型单独设置限流值,未单独设置的业务空间共享账号级配额。

  • RPM:动态限流机制下模型具备较大限制的 RPM,用户无需单独设置,正常使用不会触发 RPM 限流。

  • 更多说明:RPM/TPM 基础概念与各维度详见限流,业务空间限流设置见权限管理

模型与限流档位

TPM 限流值按百炼平台月消费金额分档,支持的模型在不同地域的分档如下(数值以控制台实际展示为准):

华北2(北京)

百炼平台月消费

TPM 限流值(qwen3.8-max)

≤ 10w

500w

(10w, 100w]

1000w

(100w, +∞)

2000w

新加坡

百炼平台月消费

TPM 限流值(qwen3.8-max)

≤ 10w

100w

(10w, 100w]

200w

(100w, +∞)

500w

以华北2(北京)为例:某账号上一自然月百炼消费金额为 50w,落入 (10w, 100w] 档位,对应 qwen3.8-max 的 TPM 限流值 1000w。

额度展示

登录百炼控制台,在左侧导航栏,选择额度管理进入额度管理页。

额度管理页为只读展示页,展示支持动态限流的模型、当前 TPM 限流值百炼消费档位

说明

若 TPM 限流值无法满足业务需求,可联系商务经理申请提额。

image

限流动态调整策略

限流档位按以下规则动态调整:

  • 分档依据:百炼平台消费金额。

  • 测算周期:按自然月账单周期测算。

  • 通知:每月 10 日向调整用户发送通知。

  • 生效时点:每月 15 日新档位生效。

  • 调整方向:低档→高档(升级)或持平不变。