极速版 Lite 介绍
产品简介
版本 | 定位 | 时延 | 效果 |
极速版 Lite | 回答极速,效果较好。适合对于输出速度有高要求的应用场景,例如手机/车机/硬件等端侧联网对话场景。 | 首 Token 平均RT 1.5s / P90 2.0s(非思考模式) | 较好 |
产品对比效果
总体胜负
CleverSee 胜 | 平局 | X厂商 胜 | CleverSee 净胜率 | 统计结论 |
904(46.7%) | 375(19.4%) | 656(33.9%) | +12.8 个百分点 | 显著领先,p=3.69×10⁻¹⁰ |
五维对比
评测维度 | CleverSee 胜 | 平局 | X厂商 胜 | CleverSee 净胜 | Holm 校正后 p 值 |
事实准确性 | 700(36.2%) | 824(42.6%) | 411(21.2%) | +14.9 个百分点 | 1.09×10⁻¹⁷ |
引用质量 | 631(32.6%) | 763(39.4%) | 541(28.0%) | +4.7 个百分点 | 0.0093 |
覆盖面 | 840(43.4%) | 646(33.4%) | 449(23.2%) | +20.2 个百分点 | 2.73×10⁻²⁷ |
时效性 | 121(6.3%) | 1,565(80.9%) | 249(12.9%) | -6.6 个百分点 | 5.16×10⁻¹¹ |
组织结构 | 548(28.3%) | 1,284(66.4%) | 103(5.3%) | +23.0 个百分点 | 1.65×10⁻⁷³ |
回答事实核查
采用 Claim 级逐条 Judge 判定
产品 | Claim 总数 | 证据支持 | 证据驳斥 | 证据不足 |
CleverSee 联网问答 极速版 Lite | 9,072 | 6,496(71.6%) | 450(5.0%) | 2,126(23.4%) |
X厂商 联网问答 Lite | 8,503 | 3,666(43.1%) | 396(4.7%) | 4,441(52.2%) |
CleverSee 相对差异 | +569 | +28.5 个百分点 | +0.3 个百分点 | -28.8 个百分点 |
响应时延
TTFT(首 Token 时延)
产品 | 均值 | P50 | P90 | P95 |
CleverSee 联网问答 极速版 Lite | 1.34s | 1.31s | 2.01s | 2.49s |
X厂商 联网问答 Lite | 1.82 s | 2.01 s | 2.48 s | 2.62 s |
端到端回答总时延
产品 | 均值 | P50 | P90 | P95 | P99 |
CleverSee 联网问答 极速版 Lite | 5.09s | 4.79s | 8.96s | 9.85s | 11.65s |
X厂商联网问答 Lite | 5.59s | 5.40s | 8.41s | 9.5s | 27.33s |