阿里云Elasticsearch(简称ES)提供的AI搜索功能,使用RAG技术对检索增强生成的各个环节进行能力增强,致力于在广泛数据中精准解析数据,并结合用户需求,利用大模型生成高质量内容,为您提供满意的搜索结果。
背景信息
无论是企业内部知识管理,还是面向C端的电商、内容、娱乐等领域,搜索技术的效能都直接影响点击率、转化率等业务指标。搜索的核心在于从海量信息中快速定位用户需求,而AI搜索则在此基础上更进一步,追求信息的精准度与用户满意度。大模型搜索潜力无限,但面临场景效果要求高、模型使用成本高,隐私安全可控性低等问题。
阿里云ES AI搜索功能依托于强大的ES基础,整合多样化模型与混合检索技术,实现了从传统搜索到AI语义搜索的跨越。该功能通过精细的数据预处理、智能向量化、多维度检索召回、以及大模型辅助生成,形成了一个完整且高效的智能语义搜索及RAG场景应用框架。
阿里云ES AI搜索优势
文档解析与切分:利用自研模型识别非结构化数据,提取关键信息,保证内容的完整性和语义连贯性。
高效向量化:采用参数优化的向量模型,在确保效果的同时降低成本,实现向量化过程的高效执行。
RRF混合检索策略:结合文本、稀疏及稠密向量索引,实现多路召回,大幅提升检索精度与效率。
意图理解与重排优化:通过查询分析模型理解用户意图,配合重排模型对结果进行精排序,确保内容的相关性。
综合测评与灵活配置:AI搜索开放平台提供一站式服务,包含多款模型组件,兼容开源生态,助力企业快速搭建定制化搜索系统。
阿里云ES AI搜索方案介绍
本文提供了两种场景化方案的原理介绍。
AI语义搜索
阿里云ES提供的高性能混合检索方案,结合AI搜索开放平台在智能搜索场景提供的优质组件化服务,形成完整的AI语义搜索方案。
该过程包含两个核心流程:
数据写入流程:
运用先进的文档切片模型实施语义层面的精细分割,转化成若干语义切片单元。
借助自主研发的向量化模型,将这些切片转换成稠密与稀疏向量极大地增强了信息的表达能力及检索效率。
向量在ES搜索引擎中被用来构建高效索引,为后续的信息检索任务奠定坚实基础,体现了从复杂数据到结构化知识的有效转化与利用。
数据查询流程:
处理搜索任务时,首先将需要查询的Query信息,通过向量化模型转换为稠密向量和稀疏向量,然后在ES索引中进行混合检索,召回TOP N文档内容。
基于RAG的知识库问答
检索增强生成(Retrieval-Augmented Generation),简称RAG,是一种结合了信息检索技术和生成式大语言模型的人工智能技术,旨在提升模型生成内容的相关性、准确性和多样性。下图展示了RAG全链路搭建方案。
该过程包含两个核心流程:
数据写入流程:
运用文档解析模型,将多种非结构化文档内容转化为结构化数据。
运用先进的文档切片模型,实施语义层面的精细分割,将文档转化成若干语义切片单元。
借助自主研发的向量化模型,将这些切片单元转换成稠密向量与稀疏向量,并写入ES索引中,作为在线问答知识库,为后续的大模型信息检索任务提供额外的信息输入。
数据查询流程:
处理搜索任务时,首先对Query(搜索内容)进行分析,然后在知识库中检索与Query最相关的片段,最后将检索到的信息与Query一起输入到大语言模型(LLM)中,Query作为提示或者上下文引导大模型生成更精确和丰富的回答。