上下文治理插件

更新时间:
复制 MD 格式

Tair 语义缓存的上下文治理插件在 AI Coding Agent 与模型之间自动识别、治理和复用上下文,Agent 侧零改造,只要请求经过网关即可生效,有效降低 Token 消耗并保持回答质量。

说明

上下文治理功能当前处于邀测阶段,如需使用请填写表单申请。

产品功能介绍

AI Coding Agent(如 Claude Code、Cursor、Cline 等)在执行任务时,每一步都会将工具调用、代码片段、构建日志、测试输出、错误堆栈等中间信息不断塞进 Prompt。用户的问题可能只有几十个 Token,但 Agent 携带的上下文很快就会涨到几万甚至十几万 Token——这不仅推高了成本,还会稀释关键信息,导致模型回答质量下降。

Tair 语义缓存的"上下文治理"插件,正是为解决这个问题而生。它在 Agent 与模型之间自动识别、治理和复用上下文,Agent 侧零改造,只要请求经过网关即可生效。

接入方式:Agent 侧零改造。Cursor、Claude Code、Cline 及自研 Agent 只要兼容 OpenAI API 访问方式,将 base_url 指向网关即可生效,不需要安装插件或改造工具链。

核心能力包括三点:

  • 识别上下文类型:自动区分用户问题、系统指令、工具输出、代码片段、日志、测试结果、diff、错误堆栈等来源,判断哪些信息对当前任务更有价值。

  • 提升上下文价值密度:对上下文做语义级治理——保留决策信号,弱化重复模板、无关格式和低价值噪声,让上下文更干净、更聚焦。

  • 质量门控兜底:每次治理后进行轻量质量评估,如果可能丢失关键信息,自动退回原文透传,宁可不省也不误伤。

实测数据

基于 123 条 AI Coding 典型操作的实测数据:

指标

原始请求

开启治理后

变化

平均 Prompt Tokens

1530

1119

-27%

Pass Rate

68.3%

69.1%

+0.8pp

分上下文长度看,收益更明显:

  • 短上下文(<500 tokens):基本不处理,也没有必要处理。

  • 中等上下文:稳定节省 5%~15% Token,回答质量持平。

  • 大上下文(4K+ tokens):平均 Prompt Tokens 从 4754 降到 3098,下降约 35%;极端样本单条节省超过 90%。

产品开通说明

步骤一:开通 Tair 语义缓存网关

开通 Tair 语义缓存网关,具体操作请参见语义缓存实例开通说明。

说明

仅需参考步骤二,创建语义缓存网关实例即可。

步骤二:开通上下文治理插件

  1. 回到控制台,进入实例列表页面,确保上方地域是您之前创建的地域节点,可以看到实例已进入创建状态。

  2. 等待3分钟左右,实例创建完成后,单击实例ID或者右侧的管理按钮,进入实例管理页面。

  3. 实例默认提供内外 HTTPS 访问地址,如需公网访问可通过申请按钮开通公网访问,公网访问无额外费用。

  4. 通过右侧API Key菜单进入 Key 管理页面,在此页面可对多个 Key 进行管理,每个实例默认支持最大 Key 数量为 10。

    • 禁用:停用该 Key,停用后通过此 Key 发起的请求将失败。

    • 重置:对 Key 进行轮转(等同于更换密钥),轮转后使用轮转前 Key 的请求将失败。

    • 删除:删除该 Key,删除后通过此 Key 发起的请求将失败。

  5. 模型服务:默认模型服务中只内置了 qwen 家族的部分模型,其他模型可在沟通后开通,每个Tair语义缓存网关实例可提供多个模型的访问。

  6. 单击插件管理 > 新增插件 ,选择插件类型为上下文治理,然后直接单击下方确定即可。

  7. 通过右侧白名单设置菜单对可访问的客户端进行限制,默认为 127.0.0.1,代表禁止任何地址访问。在添加对应客户端 IP 或 IP 段后,对应客户端即可访问。

步骤三:使用上下文治理插件

  1. 网关支持 OpenAI 兼容格式,因此只需要把 Base URL 和 API Key 替换成网关的地址和密钥,即可完成连接。

    curl -X POST https://<Base URL>/compatible-mode/v1/chat/completions \
      -H "Authorization: Bearer <API Key>" \
      -H "Content-Type: application/json" \
      -d '{
        "model": "qwen3.6-plus",
        "messages": [
          {"role": "system", "content": "You are a helpful assistant."},
          {"role": "user", "content": "什么是语义缓存?"}
        ]
      }'
  2. 请求时,上下文治理功能会自动启动,无需人工干预。