5分钟操作EAS一键部署通义千问模型

使用WebUI进行模型推理

1. 单击目标服务的服务方式 > 查看Web应用，打开WebUI页面。

2. 在WebUI页面，进行模型推理验证。

   

使用在线调试进行模型推理

1. 单击目标服务的操作列下的在线调试，打开在线调试页面。

2. 在请求的body输入框中输入相应的请求json，点击发送请求，在右侧调试信息窗格中查看调试结果。

   说明

   本文模型调试信息格式为list，input字段是输入内容；history字段是历史对话，每个item是长度为2的list，第一个元素是问题，第二个元素是当时的回答。

   1. 开始可以输入没有history的请求：

      {"input": "浙江的省会在哪里？"}

      服务会返回结果，并给出history字段，示例如下。

      Status Code: 200
      Content-Type: application/json
      Date: Mon, 14 Aug 2023 12:01:45 GMT
      Server: envoy
      Vary: Accept-Encoding
      X-Envoy-Upstream-Service-Time: 511
      Body: {"response":"浙江的省会是杭州。","history":[["浙江的省会在哪里？","浙江的省会是杭州。"]]}

   2. 可以将history直接带入下次请求中，实现连续对话。

      {"input": "江苏呢？", "history": [["浙江的省会在哪里？", "浙江的省会是杭州。"]]}

      服务返回结果示例：

      Status Code: 200
      Content-Type: application/json
      Date: Mon, 14 Aug 2023 12:01:23 GMT
      Server: envoy
      Vary: Accept-Encoding
      X-Envoy-Upstream-Service-Time: 522
      Body: {"response":"江苏的省会是南京。","history":[["浙江的省会在哪里？","浙江的省会是杭州。"],["江苏呢？","江苏的省会是南京。"]]}

使用API进行模型推理

您可以选择直接使用API进行调用。

1. 在服务概览页面，单击基本信息区块中查看调用信息，得到调用的公网地址和Token。

   

2. 在终端中，根据上面信息进行调用。

   curl -d '{"input": "江苏呢？", "history": [["浙江的省会在哪里？", "浙江的省会是杭州。"]]}' -H "Authorization: xxx" http://xxxx.com

   得到返回结果，示例如下：

   {"response":"江苏的省会是南京。","history":[["浙江的省会在哪里？","浙江的省会是杭州。"],["江苏呢？","江苏的省会是南京。"]]}

实际使用中，可以根据需求向服务发送HTTP请求，也可以参考PAI提供的SDK进行调试。Python代码调用示例：

import requests
import json

data = {"input": "你是谁？"}
response = requests.post(url='http://qwen-demo.16623xxxxx.cn-hangzhou.pai-eas.aliyuncs.com/',
              headers={"Authorization": "yourtoken"},
              data=json.dumps(data))

print(response.text)

data = {"input": "你能做什么？", "history": json.loads(response.text)["history"]}


response = requests.post(url='http://qwen-demo.16623xxxxx.cn-hangzhou.pai-eas.aliyuncs.com/',
              headers={"Authorization": "yourtoken"},
              data=json.dumps(data))

print(response.text)

使用流式方式进行模型推理

1. 在服务概览页面，单击基本信息区块中查看调用信息，得到调用的公网地址和Token。

   

2. 在终端中，根据上面信息执行以下Python代码发送流式请求。

   #encoding=utf-8
   from websockets.sync.client import connect
   import os
   import platform
   
   def clear_screen():
       if platform.system() == "Windows":
           os.system("cls")
       else:
           os.system("clear")
   
   
   def print_history(history):
       print("欢迎使用 Qwen-7B 模型，输入内容即可进行对话，clear 清空对话历史，stop 终止程序")
       for pair in history:
           print(f"\nUser: {pair[0]}\nQwen-7B: {pair[1]}")
   
   
   def main():
       history, response = [], ''
       clear_screen()
       print_history(history)
       with connect("<service_url>", additional_headers={"Authorization": "<token>"}) as websocket:
   
           while True:
               query = input("\nUser: ")
               if query.strip() == "stop":
                   break
               websocket.send(query)
               while True:
                   msg = websocket.recv()
                   
                   if msg == '<EOS>':
                       break
                   clear_screen()
                   print_history(history)
                   print(f"\nUser: {query}")
                   print("\nQwen-7B: ", end="")
                   print(msg)
                   response = msg
                   
               history.append((query, response))
   
   
   if __name__ == "__main__":
       main()

   其中：

   • <service_url>：需要替换为步骤1中获取的服务访问地址，并将访问地址中前端的http替换为ws。

   • <token>：需要替换为步骤1中获取的服务Token。