构建多模态RAG

上传知识库文件

支持多种多模态文件格式，包括PDF、Markdown、Word、PPT、PNG以及JPG等。在上传⽂件时，如果已经配置多模态LLM和阿里云OSS存储，系统会自动处理文件中的图片并生成图片Caption。

在RAG服务WebUI页面的知识库页签，切换到文件管理Tab页。单击My files，然后进入default/docs目录。拖拽本地文件或单击右上角的，上传知识库文件。

查看上传状态

切换到上传历史Tab页，然后单击刷新按钮，当文件上传状态为done时，表明上传成功。

WebUI调用

在RAG服务的WebUI页面中，切换至对话页签进行服务推理。

API调用

1. 获取RAG服务访问地址和Token。

   1. 在模型在线服务（EAS）页面，单击目标RAG服务名称。

   2. 在概览页签的基本信息区域，单击查看调用信息，获取服务访问地址和Token。

      说明

      • 使用公网调用地址：调用客户端需支持访问公网。

      • 使用VPC调用地址：调用客户端必须与RAG服务位于同一个专有网络内。

      

2. 在终端中，执行以下代码进行推理。

   调用多模态LLM问答

   curl -X 'POST' <EAS_SERVICE_URL>/v1/chat/completions \
   -H "Content-Type: application/json" \
   -H 'Authorization: <EAS_TOKEN>' \
   -d '{
    "model": "qwen-vl-max",
    "messages": [
      {
        "role": "user",
        "content": [
          {
            "type": "text",
            "text": "图⽚⾥是什么？"
          },
          {
            "type": "image_url",
            "image_url": {
                "url": "https://pai-rag.oss-cn-hangzhou.aliyuncs.com/data/demo/shirts/10.jpg"
   		 }
          }
        ]
      }
    ],
    "stream": true
   }'

   其中关键配置说明如下：

   • <EAS_SERVICE_URL>：替换为RAG服务访问地址，需将末尾的/删除。

   • <EAS_TOKEN>：替换为RAG服务Token。

   • model：配置为多模态LLM模型名称。

   • url：配置为图片URL地址。

   调用多模态LLM知识库问答

   curl -X 'POST' <EAS_SERVICE_URL>/v1/chat/completions \
   -H "Content-Type: application/json" \
   -H 'Authorization: <EAS_TOKEN>' \
   -d '{
     "model": "qwen-vl-max",
     "messages": [
       {
   	  "role": "user",
   	  "content": [
   	    {
   		  "type": "text",
   		  "text": "图⽚⾥是什么？"
   		},
   	    {
   		  "type": "image_url",
   		  "image_url": {
   		    "url": "https://pai-rag.oss-cn-hangzhou.aliyuncs.com/data/demo/shirts/10.jpg"
   		  }
   		}
   	  ]
   	}
     ],
     "stream": true,
     "chat_knowledgebase": true,
     "index_name": "default"
   }'

   其中关键配置说明如下：

   • <EAS_SERVICE_URL>：替换为RAG服务访问地址，需将末尾的/删除。

   • <EAS_TOKEN>：替换为RAG服务Token。

   • model：配置为多模态LLM模型名称。

   • url：配置为图片URL地址。

   • chat_knowledgebase：配置为true，表示查询本地知识库。使用该功能时，需提前上传知识库文件，详情请参见上传多模态文件或Knowledgebase API（知识库管理接口）。

   • index_name：填写上传文档的知识库名称，如何查看，请参见查询知识库列表。