预置吞吐长输入与缓存

功能概述

PTU 部署支持长输入请求（部分模型最高 200K token）和前缀缓存，通过阶梯容量系数和缓存折扣灵活管理额度消耗。

核心能力：

• 长输入支持：部分模型支持超过 32K token 的输入，超出部分按更高的阶梯系数折算 TPM（每分钟 Token 数）消耗，详见额度消耗规则。

• 前缀缓存优惠：部分模型支持前缀缓存，命中缓存的输入 token 按折扣系数消耗额度（具体折扣率因模型而异），可降低多轮对话和重复前缀场景的额度消耗。

• 自动转按量计费：超出 PTU 额度或输入超过模型上限（千问 128K / DeepSeek 64K）时，请求自动转为按量计费，无需修改调用代码。

常见于长文档分析（合同、研报摘要）和多轮对话（客服、编程助手）等输入超 32K token 的场景。

关于 PTU 部署的基础概念和购买方式，请参见模型部署简介。关于前缀缓存的工作原理，请参见上下文缓存。

额度消耗规则

长输入阶梯系数和缓存折扣按模型不同，以下为当前支持的模型参数：

场景 1：短输入（10K token，无缓存）
  输入消耗：10K × 1.0 = 10KTPM

场景 2：长输入（50K token，无缓存）
  输入消耗：32K × 1.0 + 18K × 1.33 = 55.94 KTPM
  输出消耗（假设 1K token）：1K × 1.17 = 1.17 KTPM

场景 3：长输入 + 缓存命中（50K token，前 30K 命中缓存）
  缓存部分输入（前 30K，均在 [0,32K) 阶梯内）：
    30K × 1.0 × 0.2 = 6  KTPM
  非缓存部分输入（后 20K）：
    2K × 1.0 + 18K × 1.33 = 25.94 KTPM
  输入合计 = 31.940 KTPM（比无缓存节省 43%）

使用容量计算器估算额度

前提条件：已开通百炼服务并具备 PTU 部署权限。登录百炼控制台，在模型部署 > 创建部署页面（或在已有部署详情页单击扩容），选择可部署的PTU（预置吞吐）模型后，展开容量计算器。

容量计算器根据业务负载自动推荐 TPM 额度。填写以下参数后，计算器输出推荐的输入 TPM 和输出 TPM。

API 响应字段说明

PTU 部署的 API 响应包含以下额度相关字段，用于标识计费方式和额度消耗：

不同 API 格式下上述字段的 JSON 路径存在差异：

各字段的完整定义和取值范围，请参见API 参考文档。

监控与验证

PTU 部署的运行监控通过百炼平台的模型监控功能实现，支持查看以下与长输入和缓存相关的指标：

• PTU 利用率：输入/输出/思考模式输出三条独立曲线。长输入场景下阶梯系数会使利用率超过 100%，属于正常现象。

• Token 用量与缓存命中：包含 cached_tokens 数据系列，可查看缓存命中量占总输入的比例。

• 配额内/外调用次数：了解超出 PTU 额度后转为按量计费的请求占比。

更多监控指标和操作方式，请参见模型监控。

常见问题