切片与向量化

更新时间:
复制 MD 格式

检索长文档时,既要能定位到可直接引用的片段,也要能命中与提问用词不同的表述。切片将长文拆成便于检索和引用的片段,向量化让检索能够匹配意思相近、用词不同的内容。切片在控制台界面也称“分块”“分片”或“分段”,本文统一使用“分块”。以下配置用于原生知识库,外部表格存储(OTS)、百炼知识库的分块和索引仍在原平台维护。

先确认正文完整

在工作空间左侧栏进入 AGENT 上下文 > 知识库,打开目标库,在 概览 找到文件并单击 查看。文档详情左右分别为 原文预览 和 分块详情。

先对照原文件检查正文,再看分块。原文中的缺字、乱码或遗漏内容,不能靠增大 分段最大长度 补回来。PDF 使用文档智能(DocMind)解析,页眉、页脚、图片、印章等版面内容不写入正文;重要条款应放进可读取的正文。例如:

员工因公出差结束后,应在 10 个工作日内提交报销申请。个人旅游费用不予报销。

检查时不能只看“10 个工作日内”有没有出现,还要看“因公出差结束后”的条件和“不予报销”的例外是否仍可理解。

选择分段策略

创建原生知识库时可设置默认分段方式。页面提供以下两种策略:

策略

配置方式

适用场景

智能分块

默认策略

首次接入或文档结构不统一时,可先保留,再检查条款完整性

按分隔符分块

选中后显示必填的 分隔符

文本使用一致的分隔标记时,按文档实际内容填写

分段最大长度 默认为 512,取值范围为 1~6000 字符。单位是字符,不是 Token;最大长度也不表示每个分块都会达到该长度。

如果一条规则反复被拆开,可以先整理正文段落,再适当增加长度;如果同一分块混入了多个无关主题,可以拆分正文主题或减小长度。选择 按分隔符分块 时,还要检查正文是否确实包含所填分隔符。

选择 Embedding 模型与维度

重要

Embedding 模型和维度创建后不支持更换。

Embedding 模型将文字转换为向量,维度是每个向量所含数值的数量。创建页默认使用 text-embedding-v4、1024 维,还可选择以下模型:

  • text-embedding-v4

  • text-embedding-v3

  • qwen3.7-text-embedding

  • qwen3.7-text-embedding-flash

text-embedding-v4 可选维度为 64、128、256、512、768、1024、1536、2048。选择其他模型时,以该模型在页面上提供的维度选项为准,不沿用 v4 的维度列表。维度更高不等于检索一定更准确,应结合自己的资料和问题比较。

如需改用其他配置:

  1. 用目标模型和维度创建新知识库。

  2. 重新接入原始资料,检查文件状态、正文和分块。

  3. 使用同一组问题比较新旧库的检索内容。

  4. 先验证应用对新库的调用,再切换应用配置;确认旧库没有依赖后再决定是否删除。

只为本次上传调整配置

在知识库 概览 > 添加文件 打开 上传文件 弹窗,展开 高级配置。配置初始继承知识库默认值,可以为本次所选文件调整:

  • 分段策略;选择 按分隔符分块 时填写 分隔符。

  • 分段最大长度

  • 文本预处理选项

两项预处理默认均未勾选:

选项

选择前的考虑因素

替换连续空格、换行符和制表符

是否会影响用空白排版的列表、代码或表格含义

删除所有 URL 和电子邮件地址

文档中的网址或邮箱是否本身就是客户需要查找的信息

这些改动只对本次所选文件生效,不修改知识库默认配置。例如,只需去掉某份网页资料的链接,本次上传时调整即可,不必把其他文档也按同样方式处理。

查看和编辑分块

知识库详情有 分块详情 导航。查看某份文档时,也可以在该文档的 分块详情 区域操作:

  1. 使用 搜索关键词 定位条款,配合状态筛选和分页查找分块;页面也提供 全选。

  2. 查看分块正文、字符数和引用位置,对照左侧原文确认上下文。

  3. 需要修正文案时,单击 编辑分片。内容会进入 分块内容 文本框,编辑后单击 保存 或 取消。

  4. 需要调整某个分块是否启用时,使用 启用分片 开关。

分块编辑用于维护库内内容,源文件应另行维护。制度正式修订时,通常更适合先更新源文件,再替换库内文档,避免下一次使用旧源文件时又带回旧规定。

已有文档需要重新分块

文件的 更多操作 菜单中提供 重新分块 入口。修改知识库默认分段策略不会更新已有分块,应到具体文档中核对。若资料正文也发生变化,可通过 替换文件 更新版本,再检查新正文和分块。

常见问题

原文乱码或缺字怎么办?

先检查源文件和编码;TXT、MD、CSV、HTML 需为 UTF-8,上传限制见文档管理说明

条件与结论被拆散怎么办?

对照相邻分块,整理正文段落或调整分隔符、分段长度

一个分块包含多个无关主题怎么办?

将正文按主题整理,或适当减小分段最大长度

分块文字正确但不容易被找到怎么办?

用召回测试比较全文、向量或双路检索,再调整数量与排序

新旧制度相互矛盾怎么办?

先核对版本、适用对象和生效日期,再处理旧内容,不凭相关性分数决定采用哪版