Tokenless 通过五条互补策略在内容进入 LLM 上下文窗口之前削减冗余:
-
Schema 压缩(~57%):精简 Function Calling 工具定义,去除描述中的 markdown 语法、删除 examples 和 title 字段、截断过长的函数与参数描述。对包含大量工具定义(数十个 Function Calling schema)的 Agent 场景效果最显著。
-
响应压缩(26–78%):对 API 返回和工具执行结果应用 7 条规则——删除 debug/trace/stack/logs 等低价值字段(R3)、移除 null 和空值(R4/R5)、截断超过 4096 字符的超长字符串(R1)、截断超过 32 个元素的数组(R2)、截断超过 8 层的嵌套深度(R6)。优化效果最好的输入类型:包含大量调试信息的 API 响应(如 Kubernetes API、云资源查询结果)、含有冗余字段的 web_fetch 结果(实测 ~78%)、以及深层嵌套的 JSON 结构。
-
TOON 编码(15–40%):将 JSON 无损编码为 Token 导向的紧凑格式,消除引号、逗号、花括号等 JSON 语法开销。对结构规整、字段名较长的数据(如包含 description、resource_id 等长 key 的对象)优化效果最好。
-
命令重写(60–90%):集成 RTK 引擎对 70+ 种 CLI 命令输出做智能过滤,消除进度条、ANSI 转义码、冗余日志等干扰信息。优化效果最好的输入类型:构建工具输出(cargo/npm/go/pytest)、包管理器输出(dnf/yum/apt)、以及文件列表命令(ls -la、find)的冗长结果。
-
工具就绪检查:在工具调用前校验二进制、配置、权限和网络依赖,自动修复缺失项并标记环境类失败为"Skip retry",避免 LLM 对必然失败的命令反复重试浪费 Token。
整体而言,Tokenless 对以下输入输出优化效果最大:含大量工具定义的 Agent 配置(Schema 压缩)、含调试/冗余字段的 API 响应(响应压缩)、结构化的 JSON 数据(TOON 编码)、CI/CD 构建与包管理命令输出(RTK 重写)。