本文将介绍如何在部署RAG服务时关联RDS PostgreSQL引擎实例,以及对RAG对话系统的基础功能和RDS PostgreSQL的特色功能进行说明。
背景信息
EAS简介
EAS(Elastic Algorithm Service)是PAI的模型在线服务平台,支持将模型部署为在线推理服务和AI-Web应用。EAS提供了弹性扩缩容和蓝绿部署等功能,可以支撑您以较低的资源成本获取高并发且稳定的在线算法模型服务。此外,EAS具备资源组管理和版本控制等功能,并且有完整运维监控体系等能力。更详细的内容介绍,请参见EAS模型服务概述。
RAG简介
随着AI技术的飞速发展,生成式人工智能在文本生成、图像生成等领域展现出了令人瞩目的成就。然而,在广泛应用大语言模型(LLM)的过程中,一些固有局限性逐渐显现:
领域知识局限:大语言模型通常基于大规模通用数据集训练而成,难以针对专业垂直领域提供深入和针对性处理。
信息更新滞后:由于模型训练所依赖的数据集具有静态特性,大模型无法实时获取和学习最新的信息与知识进展。
模型误导性输出:受制于数据偏差、模型内在缺陷等因素,大语言模型可能会出现看似合理实则错误的输出,即所谓的“大模型幻觉”。
为克服这些挑战,并进一步强化大模型的功能性和准确性,检索增强生成技术RAG(Retrieval-Augmented Generation)应运而生。这一技术通过整合外部知识库,能够显著减少大模型虚构的问题,并提升其获取及应用最新知识的能力,从而实现更个性化和精准化的LLM定制。
RDS PostgreSQL简介
阿里云关系型数据库RDS(Relational Database Service)支持PostgreSQL引擎。PostgreSQL的优点主要集中在对SQL规范的完整实现以及丰富多样的数据类型支持,包括JSON数据、IP数据和几何数据等。除了完美支持事务、子查询、多版本控制(MVCC)、数据完整性检查等特性外,RDS PostgreSQL还集成了高可用和备份恢复等重要功能,减轻您的运维压力。更多关于RDS PostgreSQL的高级功能介绍,请参见RDS PostgreSQL。
使用流程
EAS自建了RAG系统化解决方案,提供了灵活可调的参数配置,您可以通过WebUI或者API调用RAG服务,定制自己专属的对话系统。RAG技术架构的核心为检索和生成:
在检索方面,EAS支持多种向量检索库,包括开源的Faiss和阿里云的Milvus、Elasticsearch、Hologres、OpenSearch以及RDS PostgreSQL。
在生成方面,EAS支持丰富的开源模型,例如通义千问、Llama、Mistral、百川等,同时支持ChatGPT调用。
本方案以RDS PostgreSQL为例,为您介绍如何使用EAS与RDS PostgreSQL构建一个大模型RAG对话系统。具体流程如下:
首先创建RDS PostgreSQL实例,并准备部署RAG服务关联该实例时依赖的配置项。
在EAS模型在线服务平台部署RAG服务,并关联RDS PostgreSQL实例。
您可以在RAG对话系统中连接RDS PostgreSQL,上传企业知识库文件,并进行知识问答。
前提条件
已创建专有网络VPC、交换机和安全组。具体操作,请参见搭建IPv4专有网络和创建安全组。
注意事项
本实践受制于LLM服务的服务器资源大小以及默认Token数量限制,能支持的对话长度有限,旨在帮助您体验RAG对话系统的基本检索功能。
准备向量检索库RDS PostgreSQL
步骤一:创建RDS PostgreSQL实例和数据库
创建RDS PostgreSQL实例。
在购买页面,配置以下关键参数,其他参数配置说明,请参见创建RDS PostgreSQL实例。
引擎:选择PostgreSQL。
VPC:选择已创建的专有网络。
高权限账号:在更多配置区域,配置高权限账号。选择立即设置,并配置数据库账号和密码。
按照控制台操作指引完成支付和开通操作。
创建数据库。
单击已创建的实例名称,在左侧导航栏单击数据库管理,并单击创建数据库。
在创建数据库配置面板中,配置数据库(DB)名称,授权账号选择已创建的高权限账号,其他参数配置说明,请参见创建账号和数据库。
参数配置完成后,单击创建。
步骤二:准备配置项
查询数据库连接地址。
在RDS PostgreSQL实例详情页面的左侧导航栏,选择数据库连接,并查看数据库内网地址、外网地址,以及相应的端口号。
使用内网地址:RAG服务需要和数据库在同一个VPC下。
使用外网地址:当EAS通过外网地址访问RDS PostgreSQL时,EAS需要具备访问公网的能力。同时,为确保PostgreSQL实例能够接收来自EAS实例的公网请求,您需要为PostgreSQL开通外网地址,并将相关EIP地址或0.0.0.0/0加入白名单。具体操作步骤如下:
为RDS PostgreSQL开通外网地址。具体操作,请参见开通或关闭外网地址。
为EAS开通公网访问能力,您需要为后续部署RAG服务时添加的VPC绑定NAT网关和弹性公网IP(EIP)。具体操作,请参见使用公网NAT网关SNAT功能访问互联网。
说明RAG服务可以使用与RDS PostgreSQL相同的VPC,也可以使用其他VPC。
将0.0.0.0/0或上述弹性公网IP(EIP)地址添加为RDS PostgreSQL实例外网地址白名单。具体操作,请参见设置白名单。
查询高权限账号和密码。
在RDS PostgreSQL实例详情页面的左侧导航栏,选择账号管理。在该页面查看已创建的高权限账号,相应密码在创建实例时设定,如果忘记可单击重置密码进行修改。
部署RAG服务并关联RDS PostgreSQL实例
登录PAI控制台,选择工作空间,并单击进入EAS。
在模型在线服务(EAS)页面,单击部署服务,然后在场景化模型部署区域,单击大模型RAG对话系统部署。
在部署大模型RAG对话系统页面,配置以下关键参数,其他参数配置说明,请参见步骤一:部署RAG服务。
参数
描述
基本信息
版本选择
选择LLM一体化部署。
RAG版本
选择pai-rag:0.3.4。
模型类别
选择qwen1.5-1.8b。
资源信息
部署资源
系统会根据已选择的模型类别,自动推荐适合的资源规格。更换至其他资源规格,可能会导致模型服务启动失败。
向量检索库设置
版本类型
选择RDS PostgreSQL。
主机地址
配置为RDS PostgreSQL实例的内网地址或外网地址。
端口
配置为RDS PostgreSQL实例的端口号,例如5432。
数据库
请输入已创建的数据库名称。
表名称
请输入新的表名称或已存在的表名称。对于已存在的表,表结构应符合PAI-RAG要求,例如您可以填写之前通过EAS部署RAG服务时自动创建的表名称。
账号
请输入已创建的高权限账号。
密码
请输入高权限账号对应的密码。
OSS地址
请选择当前地域下已创建的OSS存储目录。通过挂载OSS路径实现知识库管理。
专有网络
专有网络(VPC)
当主机地址使用内网地址时,RAG服务需要配置与RDS PostgreSQL实例一致的专有网络。
当主机地址使用外网地址时,RAG服务需要配置专有网络,您需要确保该专有网络具有公网访问能力,详情请参见使用公网NAT网关SNAT功能访问互联网。同时您需要将绑定的弹性公网IP或
0.0.0.0/0
添加为RDS PostgreSQL实例的公网访问白名单,详情请参见设置白名单。
交换机
安全组名称
参数配置完成后,单击部署。
使用RAG对话系统
1、检查向量检索库配置
RAG对话系统的基本使用方法如下,更多详细介绍,请参见大模型RAG对话系统。
单击目标RAG服务名称,然后在页面右上角单击查看Web应用。
检查向量检索库PostgreSQL配置是否正确。
系统已自动配置知识库default,并自动识别应用了部署RAG服务时配置的向量检索库设置。在向量数据库配置区域,检查PostgreSQL配置是否正确,可修改对应配置项为正确配置,然后单击更新知识库。
2、上传企业知识库文件
在知识库页签的文件管理Tab页上传知识库文件。上传知识库文件的具体操作方法,请参见RAG知识库管理。
知识库上传完成后,系统会自动按照PAI-RAG格式将文件存储到向量检索库。对于同名知识库文件,除了FAISS外,其他向量检索库将会覆盖原有文件。支持的文件类型为.html、.htm、.txt、.pdf、.pptx、.md、Excel(.xlsx或.xls)、.jsonl、.jpeg、.jpg、.png、.csv或Word(.docx),例如rag_chatbot_test_doc.txt。
3、进行知识问答
在对话页签,选择知识库名称、使用意图(使用更多工具选择查询知识库)进行知识问答。
RDS PostgreSQL特色功能支持
访问RDS实例列表,切换到实例所在地域,然后单击实例名称,进入实例详情页面。
在左侧导航栏选择数据库管理,然后单击目标数据库操作列下的SQL查询。
输入数据库账号和数据库密码,即您在创建RDS PostgreSQL时设置的高权限账号和密码,然后单击登录。
登录成功后,在已登录数据库实例中查询导入的知识库列表。
相关文档
针对AIGC和LLM的典型前沿场景,EAS提供了简化的部署方式。您可以很方便地一键拉起服务,包括ComfyUI部署、Stable Diffusion WebUI部署、ModelScope模型部署、HuggingFace模型部署、Triton部署以及TFserving部署等。详情请参见EAS场景化部署说明。
RAG服务WebUI界面提供了丰富的推理参数配置选项,以满足多样化需求。此外,RAG服务也支持通过API接口进行调用。具体实现细节以及参数配置说明,请参见大模型RAG对话系统。
大模型RAG对话系统还支持与其他向量检索库进行关联,例如Milvus、OpenSearch或Elasticsearch等。详情请参见基于EAS&Milvus搭建RAG检索增强对话系统、基于EAS&Elasticsearch搭建RAG检索增强对话系统或基于EAS&OpenSearch搭建RAG检索增强对话系统或。