使用函数计算部署通义千问大模型实现AI对话

背景信息

通义千问模型接受用户以文本形式的指令（prompt）以及不定轮次的对话历史（history）作为输入，并基于这些信息生成回复作为输出。在这一过程中，文本将被转换为语言模型可以处理的token序列。Token是模型用来表示自然语言文本的基本单位，可以直观地理解为“字”或“词”。对于中文文本来说，1个token通常对应一个汉字；对于英文文本来说，1个token通常对应3至4个字母或1个单词。例如，中文文本“你好，我是通义千问”会被转换成序列['你', '好', '，', '我', '是', '通', '义', '千', '问']，而英文文本"Nice to meet you."则会被转换成['Nice', ' to', ' meet', ' you', '.']。

由于模型调用的计算量与token序列长度相关，输入或输出token数量越多，模型的计算时间越长，我们将根据模型输入和输出的token数量计费。可以从API返回结果的usage字段中了解到您每次调用时使用的token数量。您也可以使用Token计算器或者调用Token计算API来预估文本对应的token数量。

通义千问支持的模型如下：

前提条件

开通DashScope并创建API-KEY

步骤一：创建Web函数

1. 登录函数计算控制台，在左侧导航栏，单击函数。

2. 在顶部菜单栏，选择地域，然后在函数页面，单击创建函数。

3. 在创建函数页面，按需选择创建函数的方式，配置以下配置项，然后单击创建。

   • 创建函数的方式：Web函数。

   • 基本设置：填写函数名称。

   • 函数代码：配置函数的运行环境和代码相关信息。

     • 运行环境：Debian 10。

     • 代码上传方式：使用示例代码。

     • 启动命令：python3 app.py。

     • 监听端口：9000。

   • 高级配置：单实例并发度设置为100，函数角色设置为AliyunFCServerlessDevsRole，其他配置使用默认值。

   • 环境变量：添加变量DASHSCOPE_API_KEY，值为获取到的API-KEY。

步骤二：编写并部署通义千问AI对话代码

函数创建成功后，您可以开始编写使用通义千问的AI对话代码。

1. 在函数详情页面，单击代码页签，在代码编辑器中编写代码。

   以下代码是以Python为例，通过调用通义千问模型对一个用户指令进行响应。

   通过messages调用

   说明

   当前示例代码支持一键部署，您可以直接在函数计算FC中一键部署本代码。start-qwen-api-messages

   import dashscope
   import random
   
   from flask import abort
   from flask import Flask
   from flask import request
   from http import HTTPStatus
   
   app = Flask(__name__)
   
   
   def call_with_messages(content):
       messages = [{'role': 'system', 'content': 'You are a helpful assistant.'},
                   {'role': 'user', 'content': content}]
       response = dashscope.Generation.call(
           dashscope.Generation.Models.qwen_turbo,
           messages=messages,
           # set the random seed, optional, default to 1234 if not set
           seed=random.randint(1, 10000),
           result_format='message',  # set the result to be "message" format.
       )
       if response.status_code == HTTPStatus.OK:
           print(response)
       else:
           print('Request id: %s, Status code: %s, error code: %s, error message: %s' % (
               response.request_id, response.status_code,
               response.code, response.message
           ))
       return response
   
   
   @app.route("/invoke", methods=['POST', 'GET'])
   def index():
       bytes = request.stream.read()
       if bytes:
           payload = str(bytes, encoding='utf-8')
           print("Request Payload: " + payload)
           return call_with_messages(payload)
       else:
           abort(403)
   
         
   if __name__ == "__main__":
       app.run(host="0.0.0.0", port=9000)

   通过prompt调用

   说明

   当前示例代码支持一键部署，您可以直接在函数计算FC中一键部署本代码。start-qwen-api-prompt

   import dashscope
   import random
   
   from flask import abort
   from flask import Flask
   from flask import request
   from http import HTTPStatus
   
   app = Flask(__name__)
   
   
   def call_with_prompt(prompt):
       response = dashscope.Generation.call(
           model=dashscope.Generation.Models.qwen_turbo,
           prompt=prompt
       )
       # The response status_code is HTTPStatus.OK indicate success,
       # otherwise indicate request is failed, you can get error code
       # and message from code and message.
       if response.status_code == HTTPStatus.OK:
           print(response.output)  # The output text
           print(response.usage)  # The usage information
       else:
           print(response.code)  # The error code.
           print(response.message)  # The error message.
       return response
   
   
   @app.route("/invoke", methods=['POST', 'GET'])
   def index():
       bytes = request.stream.read()
       if bytes:
           payload = str(bytes, encoding='utf-8')
           print("Request Payload: " + payload)
           return call_with_prompt(payload)
       else:
           abort(403)
   
      
   if __name__ == "__main__":
       app.run(host="0.0.0.0", port=9000)

2. 使用在线IDE安装DashScope SDK。

   1. 选择IDE的Terminal > New Terminal。

   2. 在Terminal输入pip3 install dashscope -t .安装DashScope SDK。

3. SDK安装完成后，单击部署代码。

步骤三：测试函数

在函数详情页面，单击测试页签，填写好事件名称和事件内容，然后单击测试函数，执行完成后，可以直接查看执行结果。

本文事件内容以"如何做西红柿炖牛腩？”为例，测试函数的返回结果如下：

{
    "code": "",
    "message": "",
    "output": {
        "choices": [
            {
                "finish_reason": "stop",
                "message": {
                    "content": "材料：\n牛腩500克、西红柿2个、大葱1根、生姜3片、大蒜2瓣、八角1颗、香叶2片、干辣椒4个、料酒1勺、生抽1勺、老抽1勺、白糖1小勺、食盐适量、清水适量。\n\n做法：\n1. 牛腩切块，冷水入锅，加入料酒焯水，撇去浮沫后捞出沥水备用。\n2. 热锅凉油，放入大葱、姜片、蒜瓣、八角、香叶和干辣椒煸炒出香味。\n3. 加入西红柿翻炒至软烂出汁。\n4. 放入牛腩块继续翻炒均匀，加入生抽、老抽和白糖调味。\n5. 倒入足够的清水，大火烧开后转中小火慢炖1小时左右，至牛腩熟透且汤汁浓稠。\n6. 最后加入适量的食盐调味即可。",
                    "role": "assistant"
                }
            }
        ],
        "finish_reason": null,
        "text": null
    },
    "request_id": "61dbd6b0-810b-9115-ad26-65e9ba93f84d",
    "status_code": 200,
    "usage": {
        "input_tokens": 15,
        "output_tokens": 212,
        "total_tokens": 227
    }
}

{
    "code": "",
    "message": "",
    "output": {
        "choices": null,
        "finish_reason": "stop",
        "text": "\n\n做西红柿炖牛腩的步骤如下：\n\n所需材料：\n- 牛腩500克\n- 西红柿3个\n- 姜片适量\n- 大葱段适量\n- 料酒适量\n- 生抽适量\n- 红糖适量\n- 八角2颗\n- 桂皮1小块\n- 食盐适量\n- 清水适量\n\n步骤：\n\n1. 牛腩切块，放入开水中焯水，捞出洗净备用。\n\n2. 热锅凉油，加入姜片和大葱段炒香。\n\n3. 加入牛腩翻煎至两面微黄。\n\n4. 加入料酒、生抽、红糖、八角和桂皮继续翻煎。\n\n5. 加入足够的清水，水量要盖过牛腩，大火烧开后撇去浮沫。\n\n6. 改为中小火慢炖1小时左右，直到牛腩变得软烂。\n\n7. 在炖煮过程中可以适当调整味道，如加盐等。\n\n8. 西红柿切成块，放入炖好的牛腩中再煮约10分钟即可。\n\n9. 出锅前可撒上一些葱花点缀。\n\n以上就是做西红柿炖牛腩的详细步骤。希望对你有所帮助！"
    },
    "request_id": "a9a5f430-745d-9f5d-b406-8588978f638b",
    "status_code": 200,
    "usage": {
        "input_tokens": 8,
        "output_tokens": 278,
        "total_tokens": 286
    }
}

测试完成后，如果您暂时不需要使用此应用，请及时删除应用以及关联的其他资源。

相关文档

• 通义千问API详情：API详情。

• HTTP触发器使用限制及调用方式：HTTP触发器概述。