极速版 Lite 介绍

Updated at:

产品简介

版本

定位

时延

效果

极速版 Lite

回答极速,效果较好。适合对于输出速度有高要求的应用场景,例如手机/车机/硬件等端侧联网对话场景。

首 Token 平均RT 1.5s / P90 2.0s(非思考模式)

较好


产品对比效果

总体胜负

CleverSee 胜

平局

X厂商 胜

CleverSee 净胜率

统计结论

904(46.7%)

375(19.4%)

656(33.9%)

+12.8 个百分点

显著领先,p=3.69×10⁻¹⁰

五维对比

评测维度

CleverSee 胜

平局

X厂商 胜

CleverSee 净胜

Holm 校正后 p 值

事实准确性

700(36.2%)

824(42.6%)

411(21.2%)

+14.9 个百分点

1.09×10⁻¹⁷

引用质量

631(32.6%)

763(39.4%)

541(28.0%)

+4.7 个百分点

0.0093

覆盖面

840(43.4%)

646(33.4%)

449(23.2%)

+20.2 个百分点

2.73×10⁻²⁷

时效性

121(6.3%)

1,565(80.9%)

249(12.9%)

-6.6 个百分点

5.16×10⁻¹¹

组织结构

548(28.3%)

1,284(66.4%)

103(5.3%)

+23.0 个百分点

1.65×10⁻⁷³

回答事实核查
采用 Claim 级逐条 Judge 判定

产品

Claim 总数

证据支持

证据驳斥

证据不足

CleverSee 联网问答 极速版 Lite

9,072

6,496(71.6%)

450(5.0%)

2,126(23.4%)

X厂商 联网问答 Lite

8,503

3,666(43.1%)

396(4.7%)

4,441(52.2%)

CleverSee 相对差异

+569

+28.5 个百分点

+0.3 个百分点

-28.8 个百分点

响应时延

TTFT(首 Token 时延)

产品

均值

P50

P90

P95

CleverSee 联网问答 极速版 Lite

1.34s

1.31s

2.01s

2.49s

X厂商 联网问答 Lite

1.82 s

2.01 s

2.48 s

2.62 s

端到端回答总时延

产品

均值

P50

P90

P95

P99

CleverSee 联网问答 极速版 Lite

5.09s

4.79s

8.96s

9.85s

11.65s

X厂商联网问答 Lite

5.59s

5.40s

8.41s

9.5s

27.33s