大模型RAG对话系统

背景信息

前提条件

• 已创建一个专有网络（VPC）、交换机和安全组。详情请参见创建和管理专有网络和创建安全组。

  说明

  使用Faiss作为向量检索库时，不需要创建VPC、交换机和安全组。

• 当使用微调模型部署服务时，您需要准备OSS Bucket存储空间或NAS文件系统，用来存放微调的模型文件。具体操作，请参见控制台快速入门或创建文件系统。

使用限制

向量检索库和EAS必须在相同地域下。

步骤一：准备向量检索库

RAG支持通过Faiss（Facebook AI Similarity Search）、Elasticsearch、Milvus、Hologres或AnalyticDB PostgreSQL构建向量检索库。您需要获取相关配置参数，以便后续连接向量检索库。

步骤二：部署RAG服务

1. 进入模型在线服务EAS。

   1. 登录PAI控制台。

   2. 在左上角顶部菜单栏选择目标地域。

   3. 在左侧导航栏选择模型部署 > 模型在线服务（EAS），在下拉框中选择目标工作空间后单击进入EAS。

2. 在模型在线服务页面，单击部署服务，在场景化模型部署区域，单击大模型RAG对话系统。

3. 在部署大模型RAG对话系统页面，配置以下关键参数。

   • 基本信息

     参数	描述
     服务名称	自定义服务名称。
     模型来源	支持使用开源公共模型或自持微调模型。
     模型类别	根据您的使用场景，选择模型类型。 使用自持微调模型时，您需配置相应模型的参数量和精度。
     模型配置	使用自持微调模型时，您需配置微调模型的文件路径。支持以下两种配置方法： 说明 确保使用的模型文件格式与HuggingFace Transformers兼容。 按对象存储（OSS）：请选择微调模型文件所在的OSS路径。 按文件存储（NAS）：请选择微调模型文件所在的NAS文件系统和NAS源路径。

   • 资源配置

     参数	描述
     资源配置选择	当使用开源公共模型时，系统会根据选定的模型类别自动推荐适合的实例规格，默认选中。 当使用自持微调模型时，请选择与目标模型相匹配的实例规格，详情请参见如何切换其他的开源大模型。
     推理加速	BladeLLM提供超高性价比的大模型推理加速能力，可帮助您一键享受高并发和低延时的技术优势。目前，部署在A10或GU30系列机型上的Qwen、Llama2、ChatGlm或Baichuan2等系列模型服务，支持启用推理加速功能。支持以下两种加速类型： PAI-Blade自动推理加速 开源框架vllm推理加速

   • 向量检索库设置

     根据您的场景需要，任意选择一种版本类型，作为向量检索库。

     FAISS

     参数	描述
     版本类型	选择FAISS。
     数据库文件夹名称	用户自定义的数据库文件夹名称。例如/code。
     索引文件夹名称	用户自定义的索引文件夹名称。例如faiss_index。

     ElasticSearch

     参数	描述
     版本类型	选择ElasticSearch。
     私网地址/端口	配置为步骤一中获取的私网地址和端口，格式为：http://私网地址:端口。
     索引名称	用户自定义的索引名称。
     账号	配置为步骤一中创建ElasticSearch实例时配置的登录名。
     密码	配置为步骤一中创建ElasticSearch实例时配置的登录密码。

     Milvus

     参数	描述
     版本类型	选择Milvus。
     数据库文件夹名称	用户自定义的Collection名称。
     访问地址	配置为步骤一中查询到的内网地址。
     代理端口	配置为步骤一中查询到的Proxy Port。
     账号	配置为root。
     密码	配置为创建Milvus实例时，您自定义的root用户的密码。
     Collection删除	是否删除已存在的Collection。取值如下： 删除：删除同名的Collection，再创建新的Collection。如果不存在同名Collection，则直接进行创建。 不删除：保留现有的同名Collection，新加入的数据将追加到该Collection中。

     Hologres

     参数	描述
     版本类型	选择Hologres。
     调用信息	配置为步骤一中查询到的Hologres调用信息。
     数据库	配置为步骤一中创建的数据库名称。
     账号	配置为步骤一中创建的自定义用户的账号。
     密码	配置为步骤一中创建的自定义用户的密码。
     数据库表	配置数据库表名称，例如test_table。

     AnalyticDB

     参数	描述
     版本类型	选择AnalyticDB。
     数据库地址	配置为步骤一中获取的数据库连接外网地址。 说明 如果在同一个VPC内连接实例，只需使用内网地址。
     数据库名称	您可以登录数据库后进行查看，如何登录数据库，请参见登录数据库。
     账号	配置为步骤一中创建的数据库账号。
     密码	配置为步骤一中创建的数据库密码。
     数据库文件夹名称	用户自定义的数据库文件夹名称。例如test_db。
     表删除	是否删除已存在的数据库表。取值为： 删除：删除同名的数据库表，再创建新表。如果不存在同名表，则直接进行创建。 不删除：保留现有的同名表，新加入的数据将追加到该表中。

   • 专有网络配置

     参数	描述
     VPC	当选择Hologres、AnalyticDB for PostgreSQL、ElasticSearch或Milvus作为向量检索库时，请确保所配置的专有网络与选定的向量检索库保持一致。 当选择Faiss作为向量检索库时，无需配置专有网络。
     交换机
     安全组名称

4. 单击部署。

   当服务状态变为运行中时，表示服务部署成功。

步骤三：通过WebUI页面进行模型推理验证

您可以先在WebUI页面，参考以下操作步骤对服务进行调试。当您在WebUI页面调试好问答效果后，可以基于PAI提供的API将其应用到您自己的业务系统中，详情请参见步骤四：通过API调用进行模型推理验证。

1、配置RAG对话系统

1. RAG服务部署成功后，单击服务方式列下的查看Web应用，启动WebUI页面。

2. 配置机器学习模型。

   • Embedding Model：支持从五种模型中选择，系统将默认配置最合适的模型。

   • Emebdding Dimension：选择Emebdding Model后，系统会自动进行配置，无需手动操作。

3. 测试向量检索库连接是否正常。

   系统已自动识别并应用了部署服务时配置的向量检索库设置，并且该设置不支持修改。以Hologres为例，您可以单击Connect Hologres，来验证Hologres连接是否正常。

2、上传指定的业务数据文件

3、配置模型推理参数

4、模型推理验证

步骤四：通过API调用进行模型推理验证

1. 获取RAG服务的调用信息。

   1. 单击RAG服务名称，进入服务详情页面。

   2. 在基本信息区域，单击查看调用信息。

   3. 在调用信息对话框的公网地址调用页签，获取服务访问地址和Token。

2. 通过WebUI页面连接向量数据库，并上传业务数据文件。具体操作，请参见1、配置RAG对话系统和2、上传指定的业务数据文件。

3. 通过API调用服务。

   PAI提供了三种调用API的对话方式：chat/retrieval、chat/llm和chat/rag。具体调用方法如下：

   curl 命令

   • 方式一：chat/retrieval

     curl -X 'POST'  '<service_url>chat/retrieval' -H 'Authorization: <service_token>' -H 'accept: application/json' -H 'Content-Type: application/json'  -d '{"question": "什么是人工智能平台PAI?","score_threshold": 900, "vector_topk": 3}'
     # <service_url>替换为步骤1获取的服务访问地址；<service_token>替换为步骤1获取的服务Token。

   • 方式二：chat/llm

     curl -X 'POST'  '<service_url>chat/llm' -H 'Authorization: <service_token>' -H 'accept: application/json'  -H 'Content-Type: application/json'  -d '{"question": "什么是人工智能平台PAI?"}'
     # <service_url>替换为步骤1获取的服务访问地址；<service_token>替换为步骤1获取的服务Token。

     支持添加其他可调推理参数，例如{"question":"什么是人工智能平台PAI?", "topk": 3, "topp": 0.8, "temperature": 0.9}。

   • 方式三：chat/rag

     curl -X 'POST'  '<service_url>chat/rag' -H 'Authorization: <service_token>' -H 'accept: application/json'  -H 'Content-Type: application/json'  -d '{"question": "什么是人工智能平台PAI?","score_threshold": 900, "vector_topk": 3}'
     # <service_url>替换为步骤1获取的服务访问地址；<service_token>替换为步骤1获取的服务Token。

     支持添加其他可调推理参数，例如{"question":"什么是人工智能平台PAI?", "score_threshold": 900, "vector_topk": 3, "topk": 3, "topp": 0.8, "temperature": 0.9}。

   Python脚本

   import requests
   
   EAS_URL = 'http://chatbot-langchain.xx.cn-beijing.pai-eas.aliyuncs.com'
   
   
   def test_post_api_chat():
       url = EAS_URL + '/chat/retrieval'
       # url = EAS_URL + '/chat/llm'
       # url = EAS_URL + '/chat/rag'
       headers = {
           'accept': 'application/json',
           'Content-Type': 'application/json',
           'Authorization': 'xxxxx==',
       }
       data = {
          "question":"什么是人工智能平台PAI?", "score_threshold": 900, "vector_topk": 3
       }
       # /chat/llm和/chat/rag方式支持使用其他可调推理参数。
       """
       data = {
         "question":"什么是人工智能平台PAI?", "topk": 3, "topp": 0.8, "temperature": 0.9
       }
       """
       response = requests.post(url, headers=headers, json=data)
   
       if response.status_code != 200:
           raise ValueError(f'Error post to {url}, code: {response.status_code}')
       ans = response.json()
       return ans['response']
   print(test_post_api_chat())

   其中：EAS_URL配置为RAG服务的访问地址；Authorization配置为RAG服务的Token。