Tair 语义缓存的上下文治理插件在 AI Coding Agent 与模型之间自动识别、治理和复用上下文,Agent 侧零改造,只要请求经过网关即可生效,有效降低 Token 消耗并保持回答质量。
上下文治理功能当前处于邀测阶段,如需使用请填写表单申请。
产品功能介绍
AI Coding Agent(如 Claude Code、Cursor、Cline 等)在执行任务时,每一步都会将工具调用、代码片段、构建日志、测试输出、错误堆栈等中间信息不断塞进 Prompt。用户的问题可能只有几十个 Token,但 Agent 携带的上下文很快就会涨到几万甚至十几万 Token——这不仅推高了成本,还会稀释关键信息,导致模型回答质量下降。
Tair 语义缓存的"上下文治理"插件,正是为解决这个问题而生。它在 Agent 与模型之间自动识别、治理和复用上下文,Agent 侧零改造,只要请求经过网关即可生效。
接入方式:Agent 侧零改造。Cursor、Claude Code、Cline 及自研 Agent 只要兼容 OpenAI API 访问方式,将 base_url 指向网关即可生效,不需要安装插件或改造工具链。
核心能力包括三点:
-
识别上下文类型:自动区分用户问题、系统指令、工具输出、代码片段、日志、测试结果、diff、错误堆栈等来源,判断哪些信息对当前任务更有价值。
-
提升上下文价值密度:对上下文做语义级治理——保留决策信号,弱化重复模板、无关格式和低价值噪声,让上下文更干净、更聚焦。
-
质量门控兜底:每次治理后进行轻量质量评估,如果可能丢失关键信息,自动退回原文透传,宁可不省也不误伤。
实测数据
基于 123 条 AI Coding 典型操作的实测数据:
|
指标 |
原始请求 |
开启治理后 |
变化 |
|
平均 Prompt Tokens |
1530 |
1119 |
-27% |
|
Pass Rate |
68.3% |
69.1% |
+0.8pp |
分上下文长度看,收益更明显:
-
短上下文(<500 tokens):基本不处理,也没有必要处理。
-
中等上下文:稳定节省 5%~15% Token,回答质量持平。
-
大上下文(4K+ tokens):平均 Prompt Tokens 从 4754 降到 3098,下降约 35%;极端样本单条节省超过 90%。
产品开通说明
步骤一:开通 Tair 语义缓存网关
开通 Tair 语义缓存网关,具体操作请参见语义缓存实例开通说明。
仅需参考步骤二,创建语义缓存网关实例即可。
步骤二:开通上下文治理插件
-
回到控制台,进入实例列表页面,确保上方地域是您之前创建的地域节点,可以看到实例已进入创建状态。
-
等待3分钟左右,实例创建完成后,单击实例ID或者右侧的管理按钮,进入实例管理页面。
-
实例默认提供内外 HTTPS 访问地址,如需公网访问可通过申请按钮开通公网访问,公网访问无额外费用。
-
通过右侧API Key菜单进入 Key 管理页面,在此页面可对多个 Key 进行管理,每个实例默认支持最大 Key 数量为 10。
-
禁用:停用该 Key,停用后通过此 Key 发起的请求将失败。
-
重置:对 Key 进行轮转(等同于更换密钥),轮转后使用轮转前 Key 的请求将失败。
-
删除:删除该 Key,删除后通过此 Key 发起的请求将失败。
-
-
模型服务:默认模型服务中只内置了 qwen 家族的部分模型,其他模型可在沟通后开通,每个Tair语义缓存网关实例可提供多个模型的访问。
-
单击 ,选择插件类型为上下文治理,然后直接单击下方确定即可。
-
通过右侧白名单设置菜单对可访问的客户端进行限制,默认为
127.0.0.1,代表禁止任何地址访问。在添加对应客户端 IP 或 IP 段后,对应客户端即可访问。
步骤三:使用上下文治理插件
-
网关支持 OpenAI 兼容格式,因此只需要把 Base URL 和 API Key 替换成网关的地址和密钥,即可完成连接。
curl -X POST https://<Base URL>/compatible-mode/v1/chat/completions \ -H "Authorization: Bearer <API Key>" \ -H "Content-Type: application/json" \ -d '{ "model": "qwen3.6-plus", "messages": [ {"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "什么是语义缓存?"} ] }' -
请求时,上下文治理功能会自动启动,无需人工干预。