PAI+Hologres基于大模型搭建企业级知识库

背景信息

• Hologres是阿里巴巴自研一站式实时数仓产品，不仅支持海量数据多维分析（OLAP）、高并发低延迟的在线数据服务（Serving），还与达摩院自研高性能向量计算软件库Proxima深度整合，支持高性能、低延时、简单易用的向量计算能力。关于Proxima在Hologres中的应用，请参见Proxima向量计算。

• PAI-EAS是阿里云的模型在线服务平台，支持用户将模型一键部署为在线推理服务或AI-Web应用，可以一键部署LLM推理、AIGC等热门服务应用。PAI-EAS适用于实时推理、近实时异步推理等多种AI推理场景，具备Serverless自动扩缩容和完整运维监控体系能力。详情请参见EAS产品功能。

• LangChain是一个开源框架，可以将大模型、向量数据库、定制语料结合，高效完成专属问答知识库的搭建。Hologres现已被LangChain作为向量数据库集成，详情请参见LangChain-Hologres。

• 计算巢服务是一个开放给服务商和用户的服务管理PaaS平台，为服务商和用户提供了高效、便捷、安全的服务使用体验，服务商能更好地在阿里云上部署、交付和管理服务，用户能集中管理在阿里云上订阅的各类服务商提供的服务。通过计算巢，可以一键完成问答知识库所需的硬件资源拉起与软件资源部署。计算巢服务详情介绍，请参见产品模式。

前提条件

若您使用RAM用户进行知识库搭建，请确认RAM用户已具备相应的权限。需要的权限和授权方式，请参见为用户侧RAM用户（子账号）授权。

创建计算巢服务实例

1. 访问计算巢服务市场页面，选择Hologres+PAI 5分钟一键部署企业级问答知识库，并单击开始部署。

2. 在创建服务实例页面，配置以下参数。

   参数名称		说明
   服务实例名称		计算巢服务实例的名称。
   地域		选择Hologres、PAI-EAS、ECS实例所在的地域。
   付费类型配置	付费类型	支持按量付费与包年包月，您可以按照需求选择。 说明 ECS和Hologres实例支持按量付费和包年包月，PAI-EAS实例只支持按量付费。
   Hologres实例配置	Hologres计算资源核数	选择Hologres计算资源规格。 Hologres存储资源默认为按量付费，推荐您根据业务数据量，购买合适的存储抵扣包。
   PAI-EAS大模型配置	选择大模型	您希望部署的LLM大模型。
   	PAI实例规格	PAI-EAS部署大模型的实例规格。
   PAI-EAS WebUI配置	PAI实例规格	PAI-EAS部署WebUI的实例规格。
   VPC配置	交换机可用区	选择交换机所在的可用区。
   	是否新建VPC	是否开启新建VPC，取值说明： 开启：会自动生成对应的专有网络VPC实例ID和交换机实例ID，在创建计算巢服务实例时，创建对应的VPC信息。 不开启：需手动选择专有网络VPC实例ID和交换机实例ID信息。
   	专有网络VPC实例ID	根据实际情况，选择合适的现有虚拟专有网络的实例ID。
   	交换机实例ID	根据实际情况，选择合适的现有业务网络交换机的实例ID。
   标签和资源组	标签	选择或填写完整的标签键和标签值，为服务资源绑定标签。每个资源最多可绑定20条标签。 若无可选的标签键和标签值，可创建自定义标签。创建自定义标签的详细操作，请参见创建并绑定自定义标签。
   	资源组	选择您的资源要加入的资源组。 资源组对您拥有的云资源从用途、权限、归属等维度上进行分组，实现企业内部多用户、多项目的资源分级管理。更多信息，请参见资源组。

3. 单击下一步：确认订单，在订单确认页面，确认依赖检查信息和授权信息，然后单击立即创建。

   服务实例创建成功之后，在服务实例管理列表查看已创建的服务实例状态。

使用知识库

1. 配置并连接知识库。

   1. 访问服务实例管理页面，单击已部署的实例ID，进入服务实例详情页面。

   2. 在实例信息区域，单击endpoint，进入Hologres+大模型WebUI。

      

   3. 在Hologres+大模型WebUI的设置页签，配置以下参数。

      

      • User：阿里云账号或RAM用户的AccessKey ID。您可以进入AccessKey管理页面获取AccessKey ID。

      • Password：AccessKey ID对应的AccessKey Secret。您可以进入AccessKey管理页面获取AccessKey Secret。

      说明

      Embedding模型、模型在线服务PAI-EAS连接信息与计算巢部署的Hologres实例的VPC Host、Port、Database（默认为：chatbot）信息已配置，无需修改。

   4. 单击连接Hologres。

      在连接信息中返回连接Hologres成功内容，即说明连接成功。

2. 在上传页签，选择您的专属语料数据文件，然后单击上传。本文以语料示例文件为例。

   上传完成后在状态区域，返回成功上传 1 个文件 [ example_data.txt, ] ! 内容，即说明上传成功。

   

3. 在聊天页签，配置问题反馈相关参数。

   参数	说明
   选择聊天模式	向量数据库：使用您在Hologres中上传的语料数据进行向量近似查询问答。 大语言模型：使用原始的预训练大语言模型进行问答。 向量数据库+大语言模型：使用您在Hologres中上传的语料数据进行向量近似查询，然后通过大模型对查询结果进行进一步完善和调整，最终反馈优化后的结果。
   查询最相关的k条语料	返回查询结果的数量，默认为3条。
   选择prompt模板	返回结果的样式，支持通用、URL提取和自定义。 建议使用通用模板。

4. 在提问框中输入您的问题，并单击提交。