基于EAS&RDS PostgreSQL搭建RAG检索增强对话系统

EAS简介

EAS（Elastic Algorithm Service）是PAI的模型在线服务平台，支持将模型部署为在线推理服务和AI-Web应用。EAS提供了弹性扩缩容和蓝绿部署等功能，可以支撑您以较低的资源成本获取高并发且稳定的在线算法模型服务。此外，EAS具备资源组管理和版本控制等功能，并且有完整运维监控体系等能力。更详细的内容介绍，请参见EAS模型服务概述。

RAG简介

随着AI技术的飞速发展，生成式人工智能在文本生成、图像生成等领域展现出了令人瞩目的成就。然而，在广泛应用大语言模型（LLM）的过程中，一些固有局限性逐渐显现：

• 领域知识局限：大语言模型通常基于大规模通用数据集训练而成，难以针对专业垂直领域提供深入和针对性处理。

• 信息更新滞后：由于模型训练所依赖的数据集具有静态特性，大模型无法实时获取和学习最新的信息与知识进展。

• 模型误导性输出：受制于数据偏差、模型内在缺陷等因素，大语言模型可能会出现看似合理实则错误的输出，即所谓的“大模型幻觉”。

为克服这些挑战，并进一步强化大模型的功能性和准确性，检索增强生成技术RAG（Retrieval-Augmented Generation）应运而生。这一技术通过整合外部知识库，能够显著减少大模型虚构的问题，并提升其获取及应用最新知识的能力，从而实现更个性化和精准化的LLM定制。

RDS PostgreSQL简介

阿里云关系型数据库RDS（Relational Database Service）支持PostgreSQL引擎。PostgreSQL的优点主要集中在对SQL规范的完整实现以及丰富多样的数据类型支持，包括JSON数据、IP数据和几何数据等。除了完美支持事务、子查询、多版本控制（MVCC）、数据完整性检查等特性外，RDS PostgreSQL还集成了高可用和备份恢复等重要功能，减轻您的运维压力。更多关于RDS PostgreSQL的高级功能介绍，请参见RDS PostgreSQL。

使用流程

EAS自建了RAG系统化解决方案，提供了灵活可调的参数配置，您可以通过WebUI或者API调用RAG服务，定制自己专属的对话系统。RAG技术架构的核心为检索和生成：

• 在检索方面，EAS支持多种向量检索库，包括开源的Faiss和阿里云的Milvus、Elasticsearch、Hologres、OpenSearch以及RDS PostgreSQL。

• 在生成方面，EAS支持丰富的开源模型，例如通义千问、Llama、Mistral、百川等，同时支持ChatGPT调用。

本方案以RDS PostgreSQL为例，为您介绍如何使用EAS与RDS PostgreSQL构建一个大模型RAG对话系统。具体流程如下：

1. 准备向量检索库RDS PostgreSQL

   首先创建RDS PostgreSQL实例，并准备部署RAG服务关联该实例时依赖的配置项。

2. 部署RAG服务并关联RDS PostgreSQL实例

   在EAS模型在线服务平台部署RAG服务，并关联RDS PostgreSQL实例。

3. 使用RAG对话系统

   您可以在RAG对话系统中连接RDS PostgreSQL，上传企业知识库文件，并进行知识问答。

准备向量检索库RDS PostgreSQL

步骤一：创建RDS PostgreSQL实例和数据库

1. 创建RDS PostgreSQL实例。

   1. 点此打开RDS实例创建页面。

   2. 在购买页面，配置以下关键参数，其他参数配置说明，请参见创建RDS PostgreSQL实例。

      • 引擎：选择PostgreSQL。

      • VPC：选择已创建的专有网络。

      • 高权限账号：在更多配置区域，配置高权限账号。选择立即设置，并配置数据库账号和密码。

   3. 按照控制台操作指引完成支付和开通操作。

2. 创建数据库。

   1. 单击已创建的实例名称，在左侧导航栏单击数据库管理，并单击创建数据库。

   2. 在创建数据库配置面板中，配置数据库（DB）名称，授权账号选择已创建的高权限账号，其他参数配置说明，请参见创建账号和数据库。

   3. 参数配置完成后，单击创建。

步骤二：准备配置项

1. 查询数据库连接地址。

   在RDS PostgreSQL实例详情页面的左侧导航栏，选择数据库连接，并查看数据库内网地址、外网地址，以及相应的端口号。

   • 使用内网地址：RAG服务需要和数据库在同一个VPC下。

   • 使用外网地址：当EAS通过外网地址访问RDS PostgreSQL时，EAS需要具备访问公网的能力。同时，为确保PostgreSQL实例能够接收来自EAS实例的公网请求，您需要为PostgreSQL开通外网地址，并将相关EIP地址或0.0.0.0/0加入白名单。具体操作步骤如下：

     1. 为RDS PostgreSQL开通外网地址。具体操作，请参见开通或关闭外网地址。

     2. 为EAS开通公网访问能力，您需要为后续部署RAG服务时添加的VPC绑定NAT网关和弹性公网IP（EIP）。具体操作，请参见使用公网NAT网关SNAT功能访问互联网。

        说明

        RAG服务可以使用与RDS PostgreSQL相同的VPC，也可以使用其他VPC。

     3. 将0.0.0.0/0或上述弹性公网IP（EIP）地址添加为RDS PostgreSQL实例外网地址白名单。具体操作，请参见设置白名单。

2. 查询高权限账号和密码。

   在RDS PostgreSQL实例详情页面的左侧导航栏，选择账号管理。在该页面查看已创建的高权限账号，相应密码在创建实例时设定，如果忘记可单击重置密码进行修改。

在知识库页签的文件管理Tab页上传知识库文件。上传知识库文件的具体操作方法，请参见RAG知识库管理。

知识库上传完成后，系统会自动按照PAI-RAG格式将文件存储到向量检索库。对于同名知识库文件，除了FAISS外，其他向量检索库将会覆盖原有文件。支持的文件类型为.html、.htm、.txt、.pdf、.pptx、.md、Excel（.xlsx或.xls）、.jsonl、.jpeg、.jpg、.png、.csv或Word（.docx），例如rag_chatbot_test_doc.txt。

在对话页签，选择知识库名称、使用意图（使用更多工具选择查询知识库）进行知识问答。