文档管理与解析

更新时间:
复制 MD 格式

使用原生知识库构建检索语料时,解析出的正文与原文不一致、分块过期或 Metadata 字段未声明,都可能让检索结果偏离预期。本文介绍如何上传和替换文档、对照解析后的正文与分块结果,以及维护文档 Metadata。通过知识库连接接入的表格存储、百炼资料,仍需在原平台维护原文和索引。

支持的文件格式

下表中的格式均支持上传和解析,单文件最大 50 MB。

格式要求与说明
TXT、MD、CSV需使用 UTF-8 编码
HTML、HTMHTML 需使用 UTF-8 编码
DOCX—
PDF使用文档智能 (DocMind) 解析;页眉、页脚、图片、印章等版面内容不写入正文

暂不支持 PPT、PPTX。需要使用旧版 Word (DOC) 或演示文稿内容时,应先转换为支持的格式,并检查转换后的正文;只修改文件扩展名不能完成格式转换。

说明

PDF 中的关键规定如果只出现在图片、印章或页眉页脚中,应将其补充到正文,再对照解析内容检查;这类版面内容不写入正文,不能默认其会参与检索。

上传文件

以下操作在已创建的知识库中执行。上传前保留原文件,并确认文件能正常打开;提交上传后,文件会依次经过解析、分块和向量化。

  1. 在工作空间左侧栏进入 AGENT 上下文 > 知识库,在 知识库 页签打开目标库。

  2. 进入 概览,单击 添加文件,打开 上传文件 弹窗。

  3. 选择文件;需要调整本次处理方式时,展开 高级配置。

  4. 核对设置后提交上传。

  5. 返回文件列表,单击 刷新文件列表 查看文件状态;文件就绪后,单击对应行的 查看 检查解析内容。

本次上传的高级配置

高级配置继承知识库默认设置,修改后仅对本次所选文件生效,不会修改知识库默认配置。

配置可做的调整
分段策略智能分块或按分隔符分块;选择按分隔符分块时,需填写分隔符
分段最大长度默认 512,取值范围 1~6000,按字符而非 Token 计数
替换连续空格、换行符和制表符默认未勾选;勾选前检查空白是否承担正文排版含义
删除所有 URL 和电子邮件地址默认未勾选;URL 或电子邮件地址本身是有效信息时,保持不勾选
Metadata上传时继承知识库模板中已设定的值,仅尚未赋值的字段可添加填写,规则见“Metadata 配置规则”
说明

本文统一使用“分块”指代文件解析后切分出的文本片段。分段策略、分段最大长度 中的“分段”与 编辑分片、启用分片 中的“分片”均与“分块”指同一对象,控件名称保留界面原文。

处理上传失败

文件处理失败时,先检查格式是否受支持、是否超过单文件 50 MB 限制、编码是否符合要求、文件本身是否可读取,再结合页面提示处理;在未定位原因前,不要重复提交同一文件。

在概览中查找文件

文件列表提供 搜索文件名、全部状态 筛选和 刷新文件列表,列出名称、大小、状态、分块数和上传时间,并为每个文件提供 查看、替换、更多操作。可以按状态筛选,查找已就绪或失败的文件。

对照原文与分块

单击文件的 查看 后,文档详情左右分别显示 原文预览 和 分块详情,顶部提供 替换文件、下载文件、删除文件。

先对照原文件检查标题、数字、单位、否定词和例外条款。例如,“出差结束后 10 个工作日内提交申请”中,既要保留期限,也要保留“出差结束后”的条件。确认原文完整后,再检查分块是否保留了足够的上下文。

分块区域提供以下操作和信息:

控件或信息用途
全选、搜索关键词、状态筛选、分页选择或定位分块
字符数、引用位置查看分块长度,并对照来源位置
编辑分片进入 分块内容 文本框,修改后选择 保存 或 取消,适用于修正个别分块的文字问题
启用分片通过开关调整该分块是否启用,适用于暂时停用某些分块

修订涉及整份文档时,优先维护原文件并替换库内版本,避免原文与分块长期不一致。

文件属性中可查看文档 ID、大小、格式、上传时间和 Metadata,更多操作 菜单提供 编辑 Metadata 和 重新分块。

重要

重新分块 是针对单个文件的独立入口;修改知识库默认分段设置不会更新已有分块。

更新或删除文档

替换新版本

  1. 在 概览 中找到目标文档,单击 替换;也可以在文档详情顶部单击 替换文件。

  2. 选择新版本文件并提交。

  3. 查看处理状态,打开新的正文和分块,检查本次修改的内容。

  4. 在 召回测试 中查询受修改影响的问题,确认检索内容与新版本一致。

例如,期限从“10 个工作日”改为“15 个工作日”时,除了查询期限本身,还应检查未修改的材料清单是否完整。如果仍检索到旧规定,应检查其他同名文件、旧附件或其他来源的副本。

删除文件

不再保留整份资料时,使用文档详情顶部的 删除文件 删除库内副本。删除前,确认仍在使用该资料的应用是否需要替代内容。

重要

库内副本与 OSS、飞书的原文分别管理,删除库内副本不能代替在来源平台处理原文。

Metadata 配置规则

Metadata 用于记录文档信息,也可以作为检索过滤条件;检索过滤只能引用知识库中已声明的字段。创建知识库时,默认模板只有一个字段:

字段名数据类型赋值方式
document_nameSTRING引用变量“文档名” (DOCUMENT_NAME)

其他字段需按用途添加,默认模板中不包含上传时间、来源修改时间等字段。

可引用的系统变量

界面名称变量含义
文档名DOCUMENT_NAME文档名称
上传日期DOCUMENT_UPLOAD_TIME文档上传时间
最后上传日期SOURCE_MODIFIED_TIME来源修改时间
文件类型FILE_TYPE文件类型
文件大小FILE_SIZE文件大小
来源类型SOURCE_TYPE文档来源类型
来源地址SOURCE_URI文档来源地址

引用变量后,数据类型随所选变量确定,不可手动编辑。

重要

界面名称 最后上传日期 (SOURCE_MODIFIED_TIME) 的实际含义是来源修改时间,不是文档在知识库中的再次上传时间。时间以毫秒记录;来源修改时间缺失时保留为未知,不会以上传时间替代。判断文档版本时,还应核对正文中的生效说明。

字段命名和生效范围

  • 字段名只能使用字母、数字和下划线,且不能以数字开头。

  • 字段名不区分大小写且必须唯一,例如 policy_group 与 Policy_Group 不能作为两个字段。

  • 模板字段可以使用系统变量或固定值赋值。上传时继承已设定的值,不可覆盖;只有模板中尚未赋值的字段可添加填写。

  • 默认模板中的 document_name 字段由系统变量赋值,上传时对应控件不可用,其值不能手动修改。

  • 模板改动只适用于后续新文档和替换产生的新版本,不会自动为已有文档补填。