什么是RAG Service
云原生数据仓库 AnalyticDB PostgreSQL 版的RAG Service（ Retrieval-Augmented Generation Service）是一种创新的AI服务，它结合了检索技术和生成技术，为用户提供更为精准、灵活和高质量的RAG全流程体验。RAG Service旨在通过数据处理，语义检索海量数据，辅助生成更加贴合上下文、信息丰富的回答或内容，广泛应用于智能客服、内容创作、知识管理等多个领域。
整体架构
云原生数据仓库 AnalyticDB PostgreSQL 版RAG Service基于先进的混合检索能力，核心包含三大模块：增强数据处理，增强语义检索及增强召回。
增强数据处理模块对多模态数据进行深度预理解，确保高质量的数据切分和向量转换。
增强语义检索模块，利用先进的语义理解技术，实现对用户需求的深入解析，从预处理后的数据中快速准确地召回相关度最高的信息片段。
增强召回模块进一步通过精细排序与过滤算法，提升检索结果的相关性和多样性，为后续的生成步骤提供更加丰富和精准的答案。这一系列精心设计的流程，共同构成了RAG Service的强大内容生成能力，确保生成内容的高质量与高匹配度。
整体工作流程如下：
核心优势与能力
核心优势
增强型生成质量：RAG Service不仅依赖于单独的语言模型生成技术，同时引入检索机制，在生成回复前先从海量数据库中检索相关信息，确保生成的内容更加准确且基于实际数据，从而显著提升回答的质量和可信度。
大规模知识融合：支持接入和整合企业内部知识库、公开网络资源等多源数据，使得生成的内容能够覆盖更广的知识面，满足不同场景下的信息需求，实现知识的高效复用与个性化定制。
灵活的API接口：提供简单易用的API接口，用户无需深入了解复杂的AI技术细节，即可轻松集成到现有系统中，快速实现智能化升级。无论是构建智能对话机器人、自动生成报告还是内容创作等场景，RAG Service都能轻松应对。
持续优化与学习：依托阿里云强大的计算能力和不断优化的算法模型，RAG Service能够持续学习最新的数据和用户反馈内容，自动调整优化策略，以适应不断变化的需求和环境，确保长期的RAG Service质量和用户体验。
核心能力
开放兼容
支持直接读写向量数据、上传已经切分好的文档、直接上传文档的3级接口，方便按需适配。
支持主流多种语言的SDK：Python、Java、Go、Node.js、PHP、C#等。
支持社区流行的RAG框架的内置，如LlamaIndex和Langchain。
文档处理能力
云原生数据仓库 AnalyticDB PostgreSQL 版RAG Service提供了多种格式的文档文本提取和切分能力。其中，文本提取是根据文档类型使用不同的提取器提取出文本列表，并附带Metadata信息，如页码、标题等，目前支持如下文档（文件）类型：
使用OCR提取图片：支持
png、jpg、jpeg和bmp格式。使用OCR提取纯图片或扫描件的PDF，可以将文本上下关联的图片信息提取出来放到Metadata里。
使用PyMuPDF等Python解决方案提取文本类的PDF。
支持提取其它格式文件如
html、markdown、json、csv、docx、pptx、txt等。
文本切分（Text Splitter）是对文本提取后的单个Chunk进一步切分，达成以下目的：
防止token过大，导致Embedding效果不好，可以按照ChunkSize和ChunkOverlap进行切分。
文本有特定的分隔符，可以指定Separators切分。
Embedding能力
文本Embedding模型：支持m3e、text2vec、通义等多种模型，包含512、768、1024、1536等维度。
图片多模Embedding模型：支持clip、通义等多种模型，包含512、640、768、1024、1536等维度。
检索能力
在基本能力上，RAG Service支持混合检索、双路召回和融合查询三种能力。其中混合检索是指同时检索稠密向量和稀疏向量，双路召回指全文检索和向量检索同时召回，融合查询指在条件过滤后再进行向量检索。在检索多路的算法上支持：
RRF：基于倒排的合并算法，这种算法只关注位置排序，不使用分数排序。
Weight：基于比重的合并算法，这种算法只关注调和后的分数，不关注位置。
Cascaded：将全文检索作为Filter，然后再进行向量的topK检索。
在检索增强上，支持以下功能：
精排：先通过向量检索粗召多于topK数量的Chunks，然后通过BGE或LLM重新打分排序。
窗口化检索：为了防止文档在处理阶段被切分得过分细碎，导致缺失了完整的上下文，此算法可以返回检索命中的Chunk的前后的若干条Chunks。
安全能力
数据私有：文档数据存在于您创建的云原生数据仓库 AnalyticDB PostgreSQL 版实例中，可以随时销毁或关闭数据访问。同时支持数据落盘加密、配置SSL访问、配置IP白名单等各种安全手段，以保护数据的私密性。
多租隔离：RAG Service支持使用Namespace（对应数据库的Schema）隔离文档库，方便同一个实例按照多组织架构进行隔离。
健全的认证方式：使用阿里云的RAM鉴权和实例的用户名密码双重认证，提高了数据在访问过程中的安全性。
应用场景
智能客服：通过精准理解用户问题，结合企业知识库快速生成专业、个性化的解答，提升客户满意度。
内容创作：根据预设主题或风格，自动生成文章、新闻、产品描述等多样化内容，提高内容生产效率。
知识管理：自动整理和摘要大量文档资料，生成易于消化的知识点，加速团队知识共享与学习。
教育培训：根据学员需求和课程内容，定制化生成练习题、案例分析等教学材料，增强互动性和个性化教学体验。
专利检索： 面向专利文档进行了定向的文本处理优化器，实现高质量切分和召回，实现极高的相似专利检索服务。