RAG对话系统支持上传知识库文件,这些文件可以包含相关领域(如医疗、法律或金融等)的专业知识和术语。通过扩展知识范围,知识库使模型能够生成更专业和准确的回答。本文为您介绍如何在RAG对话系统的WebUI页面中上传和管理知识库文件。
使用限制
该知识库管理方法仅适用于自定义部署的RAG服务。
一、进入WebUI页面
登录PAI控制台,在页面上方选择目标地域,并在右侧选择目标工作空间,然后单击进入EAS。
自定义部署的RAG服务后,在RAG服务的服务方式列下,单击查看Web应用,然后在弹出的对话框中单击跳转Web应用。
二、配置知识库
默认使用default知识库。当不同部门或个人使用各自独立的知识库时,可以通过以下方法建立多个知识库实现数据的有效隔离:
在WebUI页面的系统设置页签,配置以下参数,然后单击添加知识库。
知识库名称:选择NEW。
新知识库名称:自定义新的知识库名称。例如oss_index。
三、上传和管理知识库文件
如上图所示。配置知识库后,每个知识库名称会在知识库页签的文件管理页面对应一个一级目录,作为管理路径,该目录一般包含以下两个子目录:
docs:所有知识库文件需上传到此目录。
.index:此目录仅用于存储供Debug使用的中间态日志文件。
支持两种方式上传知识库:本地文件上传和OSS上传。
本地文件上传
以默认知识库名称default为例:
上传知识库文件
在知识库页签的文件管理页面,单击My files,然后进入default/docs
目录。拖拽本地文件或单击右上角的,上传知识库文件。
查看上传状态
切换到上传历史页签,选择知识库名称并单击右侧的刷新按钮。待所有文件上传状态为done时,表明知识库上传成功。
查看文件解析和切片结果
在文件管理页面,单击My files,然后进入default/.index
目录,解析后的内容存放在如下子目录中。
以知识库文件rag_chatbot_test_doc.txt为例,存放内容示例如下:
目录 | 存放内容 |
目录 | 存放内容 |
parse | 存放文件的解析结果。 |
split | 存放文件的切片结果。 |
embed | 存放文件切片后的向量化结果,JSON格式。 |
.faiss | 存放FAISS向量库的索引文件(仅当知识库选择FAISS时存在)。 |
更新知识库文件
将更新后的知识库文件重新拖拽到知识库的docs目录中,在弹出的对话框中单击REPLACE。然后切换到上传历史页面,单击刷新按钮查看更新状态。待状态变为UPDATE:done,则为更新成功。
删除文件
在docs目录中,选中要删除的文件,单击右上角的删除按钮,并在弹出的对话框中,单击DELETE。然后切换到上传历史页面,单击刷新按钮查看删除状态。待状态变为DELETE:done,则为删除成功。
OSS上传
建议您使用OSS进行大批量的文件上传和删除操作。您可以使用默认知识库名称default或新建一个知识库名称,以新建的oss_index为例。
由于部署RAG服务时挂载的OSS数据源存在缓存机制,对文件更新操作不敏感,为防止文件更新状态没有被捕获到,文件更新操作需要在RAG WebUI上进行,详情请参见更新知识库文件。
上传知识库文件
删除知识库文件
登录OSS管理控制台,在部署RAG服务时挂载的OSS路径下的
knowledgebase/oss_index/docs
目录中,删除已上传的知识库文件。在WebUI页面的知识库>上传历史页面,选择知识库名称,并单击刷新按钮,待状态变为DELETE:done,则为删除成功。
- 本页导读 (1)
- 使用限制
- 一、进入WebUI页面
- 二、配置知识库
- 三、上传和管理知识库文件
- 本地文件上传
- OSS上传