切片与向量化
检索长文档时,既要能定位到可直接引用的片段,也要能命中与提问用词不同的表述。切片将长文拆成便于检索和引用的片段,向量化让检索能够匹配意思相近、用词不同的内容。切片在控制台界面也称“分块”“分片”或“分段”,本文统一使用“分块”。以下配置用于原生知识库,外部表格存储(OTS)、百炼知识库的分块和索引仍在原平台维护。
先确认正文完整
在工作空间左侧栏进入 AGENT 上下文 > 知识库,打开目标库,在 概览 找到文件并单击 查看。文档详情左右分别为 原文预览 和 分块详情。
先对照原文件检查正文,再看分块。原文中的缺字、乱码或遗漏内容,不能靠增大 分段最大长度 补回来。PDF 使用文档智能(DocMind)解析,页眉、页脚、图片、印章等版面内容不写入正文;重要条款应放进可读取的正文。例如:
员工因公出差结束后,应在 10 个工作日内提交报销申请。个人旅游费用不予报销。
检查时不能只看“10 个工作日内”有没有出现,还要看“因公出差结束后”的条件和“不予报销”的例外是否仍可理解。
选择分段策略
创建原生知识库时可设置默认分段方式。页面提供以下两种策略:
|
策略 |
配置方式 |
适用场景 |
|
智能分块 |
默认策略 |
首次接入或文档结构不统一时,可先保留,再检查条款完整性 |
|
按分隔符分块 |
选中后显示必填的 分隔符 |
文本使用一致的分隔标记时,按文档实际内容填写 |
分段最大长度 默认为 512,取值范围为 1~6000 字符。单位是字符,不是 Token;最大长度也不表示每个分块都会达到该长度。
如果一条规则反复被拆开,可以先整理正文段落,再适当增加长度;如果同一分块混入了多个无关主题,可以拆分正文主题或减小长度。选择 按分隔符分块 时,还要检查正文是否确实包含所填分隔符。
选择 Embedding 模型与维度
Embedding 模型和维度创建后不支持更换。
Embedding 模型将文字转换为向量,维度是每个向量所含数值的数量。创建页默认使用 text-embedding-v4、1024 维,还可选择以下模型:
-
text-embedding-v4 -
text-embedding-v3 -
qwen3.7-text-embedding -
qwen3.7-text-embedding-flash
text-embedding-v4 可选维度为 64、128、256、512、768、1024、1536、2048。选择其他模型时,以该模型在页面上提供的维度选项为准,不沿用 v4 的维度列表。维度更高不等于检索一定更准确,应结合自己的资料和问题比较。
如需改用其他配置:
-
用目标模型和维度创建新知识库。
-
重新接入原始资料,检查文件状态、正文和分块。
-
使用同一组问题比较新旧库的检索内容。
-
先验证应用对新库的调用,再切换应用配置;确认旧库没有依赖后再决定是否删除。
只为本次上传调整配置
在知识库 概览 > 添加文件 打开 上传文件 弹窗,展开 高级配置。配置初始继承知识库默认值,可以为本次所选文件调整:
-
分段策略;选择 按分隔符分块 时填写 分隔符。
-
分段最大长度
-
文本预处理选项
两项预处理默认均未勾选:
|
选项 |
选择前的考虑因素 |
|
替换连续空格、换行符和制表符 |
是否会影响用空白排版的列表、代码或表格含义 |
|
删除所有 URL 和电子邮件地址 |
文档中的网址或邮箱是否本身就是客户需要查找的信息 |
这些改动只对本次所选文件生效,不修改知识库默认配置。例如,只需去掉某份网页资料的链接,本次上传时调整即可,不必把其他文档也按同样方式处理。
查看和编辑分块
知识库详情有 分块详情 导航。查看某份文档时,也可以在该文档的 分块详情 区域操作:
-
使用 搜索关键词 定位条款,配合状态筛选和分页查找分块;页面也提供 全选。
-
查看分块正文、字符数和引用位置,对照左侧原文确认上下文。
-
需要修正文案时,单击 编辑分片。内容会进入 分块内容 文本框,编辑后单击 保存 或 取消。
-
需要调整某个分块是否启用时,使用 启用分片 开关。
分块编辑用于维护库内内容,源文件应另行维护。制度正式修订时,通常更适合先更新源文件,再替换库内文档,避免下一次使用旧源文件时又带回旧规定。
已有文档需要重新分块
文件的 更多操作 菜单中提供 重新分块 入口。修改知识库默认分段策略不会更新已有分块,应到具体文档中核对。若资料正文也发生变化,可通过 替换文件 更新版本,再检查新正文和分块。
常见问题
原文乱码或缺字怎么办?
先检查源文件和编码;TXT、MD、CSV、HTML 需为 UTF-8,上传限制见文档管理说明
条件与结论被拆散怎么办?
对照相邻分块,整理正文段落或调整分隔符、分段长度
一个分块包含多个无关主题怎么办?
将正文按主题整理,或适当减小分段最大长度
分块文字正确但不容易被找到怎么办?
用召回测试比较全文、向量或双路检索,再调整数量与排序
新旧制度相互矛盾怎么办?
先核对版本、适用对象和生效日期,再处理旧内容,不凭相关性分数决定采用哪版