RAG效果优化

2.2.1 智能切分

选择适合您知识库的文本切片长度并非易事，因为这必须考虑多种因素：

• 文档的类型：例如，对于专业类文献，增加长度通常有助于保留更多上下文信息；而对于社交类帖子，缩短长度则能更准确地捕捉语义。

• 提示词的复杂度：一般来说，如果用户的提示词较复杂且具体，则可能需要增加长度；反之，缩短长度会更为合适。

  ...

当然，上述结论并不一定适用于所有情况，您需要选择合适的工具反复试验（例如LlamaIndex提供对不同切片方法的评估功能），才能找到合适的文本切片长度，但显然这并非易事。

如果您希望在短时间内获得良好的效果，建议您在创建知识库时，文档切分chunk选择智能切分，这是阿里云百炼在经过大量评估后总结出的推荐策略。

应用这一策略时，知识库会：

1. 首先利用系统内置的分句标识符将文档划分为若干段落。

2. 基于划分的段落，根据语义相关性自适应地选择切片点进行切分（语义切分），而非根据固定长度进行切分。

在上述过程中，知识库将努力确保文档各部分的语义完整性，尽量避免不必要的划分和切分。这一策略将应用于该知识库中的所有文档（包括后续导入的文档）。

2.2.2 修正文本切片内容

当然，在实际切片的过程中，仍然存在一定几率会出现意外的切分，或者出现其它问题（例如文本中的空格有时切片后会被解析为%20）。

因此，阿里云百炼建议您在成功将文档导入知识库后，进行一次人工检查，以确认文本切片内容的语义完整性和正确性。如果发现意外的切分或其他解析错误，您可以直接编辑文本切片进行修正（保存后，文本切片原有的内容将失效，新的内容将用于知识库检索）。

请注意，此处您只是修改了知识库中的文本切片，并未修改您在数据管理（临时存储）中的原文档或数据表。因此，后续再次导入知识库时，仍需您进行人工检查和修正。

2.3.1 多轮会话改写

想象一下，在多轮会话中，您的用户某次使用了类似“阿里云百炼手机X1”这样提示词进行提问。看似简短，却可能导致 RAG 系统在检索时缺乏必要的上下文信息，原因是：

• 一款手机产品通常会有多个代际版本同时在售。

• 对于同一代产品，厂家通常会提供多种存储容量选项，比如128GB、256GB等。

  ...

而这些关键信息可能用户在之前的会话中已经给出，如果能够有效利用，将能够帮助 RAG 更准确地进行检索。

针对这种情况，您可以使用阿里云百炼的多轮会话改写功能。系统会根据之前的会话，自动将用户的提示词改写为更完整的形式。

比如用户提问：

阿里云百炼手机X1。

在启用多轮会话改写功能的情况下，系统会根据与该用户此前的历史会话，在检索前对该用户的提示词进行改写（仅示例）：

请提供产品库中所有在售版本的阿里云百炼手机X1及其具体参数信息。

显然，这样改写后的提示词可以帮助 RAG 更好地理解用户的意图，让回答更加准确。

下图为您展示了如何开启多轮会话改写功能（选择图中的推荐配置时，同样也会开启本功能）。

请注意，多轮会话改写功能是与知识库绑定的，开启后仅对当前知识库相关的查询生效。且如果您在创建知识库时未启用该配置，则后续无法再为该知识库开启，除非重新创建知识库。

2.3.2 标签过滤

本段落内容仅适用于非结构化知识库。

想象一下，您在使用一些音乐APP时，可能有时会通过歌手名称来筛选歌曲，从而快速找到同一类（该歌手唱的）歌曲。

类似地，为您的非结构化文档添加标签可以引入额外的结构化信息。这样应用在检索知识库时，会先根据标签筛选文档，从而提升检索的准确性和效率。

目前阿里云百炼支持以下两种方式设置标签：

• 在上传文档时设置标签：控制台操作步骤请参见导入数据，相关API是AddFile。

• 在数据管理页面编辑标签：对于已上传的文档，可单击文档右侧的标签进行编辑，相关API是UpdateFileTag。

  

目前阿里云百炼支持以下两种方式使用标签：

• 通过API调用阿里云百炼应用时，可以在请求参数tags中指定标签。

• 在控制台编辑应用时设置标签（但本方式仅适用于智能体应用）。

  请注意，此处的设置将应用于该智能体应用后续的所有用户问答。

  

2.3.3 提取元数据

本段落内容仅适用于非结构化知识库。

将元数据嵌入文本切片，可以有效增强每个切片的上下文信息。在特定场景下，这种方法能够显著提升非结构化知识库的 RAG 效果。

假设以下场景：

某知识库中有大量手机产品说明文档，文档名称为手机的型号（比如阿里云百炼X1、阿里云百炼Zephyr Z9等），且所有文档都包含「功能概述」章节。

当该知识库未启用元数据时，用户输入以下提示词进行检索：

阿里云百炼手机X1的功能概述。

通过命中测试，您可以查看检索实际召回了哪些切片（如下图所示）。由于所有文档都包含“功能概述”，因此知识库会召回一些与查询实体（阿里云百炼手机X1）无关但和提示词相似的文本切片（如下图中的切片1、切片2），它们的排名甚至高于我们实际需要的文本切片。这显然会影响到 RAG 的效果。

命中测试的召回结果只保证排名，相似值的绝对值大小仅供参考。当绝对值的差别不大时（5%以内），可基本认为召回概率一样。

接下来，我们将手机名称，按照metadata抽取中提到的步骤，设置为元数据（相当于让每篇文档相关的文本切片带上各自对应的手机名称信息），然后再进行一次相同的测试作为对比。

此时，知识库会在向量检索前增加一层结构化搜索，完整过程如下：

1. 从提示词中提取元数据 {"key": "name", "value": "阿里云百炼手机X1"}。

2. 根据提取的元数据，找到所有包含“阿里云百炼手机X1”元数据的文本切片。

3. 再进行向量（语义）检索，找到最相关的文本切片。

启用元数据后的命中测试实际召回效果如下图所示。可以看到，知识库此时已经可以精准找到与“阿里云百炼手机X1”相关且包含“功能概述”的文本切片。

除此以外，元数据的一个常见应用是在文本切片中嵌入日期信息，以便过滤最近的内容。更多元数据用法，请参见metadata抽取。

2.3.4 调整相似度阈值

当知识库找到和用户提示词相关的文本切片后，会先将它们发送给Rank模型（在创建知识库的自定义参数设置中）进行重排序，而相似度阈值则用于筛选经过Rank模型重排序后返回的文本切片，只有相似度分数超过此阈值的文本切片才有可能被提供给大模型。

调低此阈值，预期可能会召回更多文本切片，但也可能导致召回一些相关度较低的文本切片；提高此阈值，可能会减少召回的文本切片。

若设置得过高（如下图所示），则可能导致知识库丢弃所有相关的文本切片，这将限制大模型获取足够背景信息生成回答。

没有最好的阈值，只有最适合您场景的阈值。您需要通过命中测试反复试验不同的相似度阈值，观察召回结果，找到最适合您需求的方案。

2.3.5 提高召回片段数

召回片段数即多路召回策略中的K值。经过前面的相似度阈值筛选后，如果文本切片数量超过K，系统最终会选取相似度分数最高的 K 个文本切片提供给大模型。也正因为此，不合适的K值也可能会导致 RAG 漏掉正确的文本切片，从而影响大模型生成完整的回答。

比如下面的这个例子，用户通过以下提示词进行检索：

阿里云百炼X1手机有什么优势？

从下方示意图可以看到，目标知识库中实际与用户提示词相关，需要返回的文本切片总共有7个（下图左侧，已用绿色标出），但由于已经超出了当前设定的最大召回片段数K，因此包含优势5（超长待机）和优势6（拍照清晰）的文本切片被舍弃，没有提供给大模型。

由于 RAG 本身无法判断需要多少个文本切片才能给出“完整”的答案，因此即使最终提供的文本切片有遗漏，随后大模型仍然会基于缺失的文本切片生成不完整的回答。

大量实验结果表明：在诸如“列举...”、“总结...”，“比较一下X、Y...”等场景中，提供更多高质量的文本切片（例如K=20）给大模型，比仅提供前10个或前5个文本切片效果更好。虽然这样做可能会引入噪声信息，但如果文本切片质量较高的话，大模型通常能够有效抵消噪声信息的影响。

您可以在编辑阿里云百炼应用时调整召回片段数，具体操作请参考引用知识库中的知识库配置（可选）。

请注意，召回片段数也并非越大越好。因为有时召回的文本切片在拼装后，其总长度会超出大模型的输入长度限制，导致部分文本切片被截断，反而影响了 RAG 的效果。

因此，推荐您选择智能拼装。这一策略会在不超过大模型最大输入长度的前提下，尽可能多地为您召回相关的文本切片。

比如用户提问：

我是中华人民共和国公民，我想收养一名未成年人，我必须具备哪些条件？

先后使用通义千问2-开源版-7B和通义法睿-Plus大模型，结合包含相关资料的知识库进行测试：

方法一：对输出的内容进行限定

您可以在提示词模板中提供上下文信息、指令以及预期的输出形式，用于指示大模型完成任务。例如，您可以加入以下输出指示要求大模型：

如果所提供的信息不足以回答问题，请明确告知“根据现有信息，我无法回答这个问题”。切勿编造答案。

来减少大模型出现幻觉的几率。

方法二：添加示例

使用少样本提示（Few-Shot Prompting）的方法，将希望大模型模仿的问答示例添加到提示词中，引导大模型正确利用检索到的知识（下方示例使用的是通义千问-Plus）。

# 要求
请从下方文本中提取技术规格，并以 JSON 格式展示。
${documents}

# 要求
请从下方文本中提取技术规格，并以 JSON 格式展示，请严格按照示例给定的字段展示。
${documents}

# 示例
## 输入：星尘S9Pro, 突破性6.9英寸1440 x 3088像素屏下摄像头设计，带来无界视觉享受。512GB存储与16GB RAM的顶级配置，配合6000mAh电池与100W快充技术，让性能与续航并驾齐驱，引领科技潮流。参考售价：5999 - 6499。
## 输出：{ "product":"星尘S9 Pro", "screen_size":"6.9inch", "ram_size": "16GB", "battery":"6000mAh" }

方法三：添加内容分隔标记

检索召回的文本切片如果随意混杂在提示词模板中，不利于大模型理解整个提示词的结构。因此，建议您将提示词和变量${documents}明确分开。

此外，为了保证效果，请确保您的提示词模板中变量${documents}只出现一次（请参考下方左边的正确示例）。

# 角色
你是一名客服人员，专注于分析和解决用户的问题，并通过检索知识库提供准确的解决方案。

# 要求
**直接返回结果**：请根据用户输入的提示词以及知识库中的内容给出直接返回结果，无需
进行推理。
**返回的结果中不要包含具体联系方式**：返回的结果中仅需包含对用户提示词的总结、相
关在职人员的姓名及其负责的内容。
**默认联系人**：如果找不到相关的在职人员，请直接返回“今日值班人：阿里云百炼客服01”。

# 知识库
请记住以下材料，它们可能对回答问题有帮助。
${documents}

# 角色
你是一名客服人员，专注于分析和解决用户的问题，并通过检索知识库提供准确的解决方案。
请利用${documents}中的信息来辅助解答。

# 要求
**直接返回结果**：请根据用户输入的提示词以及知识库中的内容给出直接返回结果，无需
进行推理。
**返回的结果中不要包含具体联系方式**：返回的结果中仅需包含对用户提示词的总结、相
关在职人员的姓名及其负责的内容。
**默认联系人**：如果找不到相关的在职人员，请直接返回“今日值班人：阿里云百炼客服01”。

# 知识库
请记住以下材料，它们可能对回答问题有帮助。
${documents}