文档

使用函数计算部署通义千问大模型实现AI对话

更新时间:
一键部署

通义千问是阿里云自主研发的大语言模型,能够在用户自然语言输入的基础上,通过自然语言理解和语义分析,在不同领域、任务内为用户提供服务和帮助。本文介绍如何通过函数计算实现基于通义千问的AI对话。

背景信息

通义千问模型接受用户以文本形式的指令(prompt)以及不定轮次的对话历史(history)作为输入,并基于这些信息生成回复作为输出。在这一过程中,文本将被转换为语言模型可以处理的token序列。Token是模型用来表示自然语言文本的基本单位,可以直观地理解为“字”或“词”。对于中文文本来说,1个token通常对应一个汉字;对于英文文本来说,1个token通常对应3至4个字母或1个单词。例如,中文文本“你好,我是通义千问”会被转换成序列['你', '好', ',', '我', '是', '通', '义', '千', '问'],而英文文本"Nice to meet you."则会被转换成['Nice', ' to', ' meet', ' you', '.']。

由于模型调用的计算量与token序列长度相关,输入或输出token数量越多,模型的计算时间越长,我们将根据模型输入和输出的token数量计费。可以从API返回结果的usage字段中了解到您每次调用时使用的token数量。您也可以使用Token计算器或者调用Token计算API来预估文本对应的token数量。

通义千问支持的模型如下:

模型名称

模型简介

模型输入/输出限制

qwen-turbo

通义千问超大规模语言模型,支持中文、英文等不同语言输入。

模型支持8k tokens上下文,为了保证正常的使用和输出,API限定用户输入为6k tokens

qwen-plus

通义千问超大规模语言模型增强版,支持中文、英文等不同语言输入。

模型支持32k tokens上下文,为了保证正常的使用和输出,API限定用户输入为30k tokens

qwen-max

(限时免费开放中)

通义千问千亿级别超大规模语言模型支持中文、英文等不同语言输入。随着模型的升级,qwen-max将滚动更新升级,如果希望使用稳定版本,请使用qwen-max-1201。

模型支持8k tokens上下文,为了保证正常的使用和输出,API限定用户输入为6k tokens

qwen-max-1201

(限时免费开放中)

通义千问千亿级别超大规模语言模型支持中文、英文等不同语言输入。该模型为qwen-max的快照稳定版本,预期维护到下个快照版本发布时间(待定)后一个月。

模型支持8k tokens上下文,为了保证正常的使用和输出,API限定用户输入为6k tokens

qwen-max-longcontext

(限时免费开放中)

通义千问千亿级别超大规模语言模型支持中文、英文等不同语言输入。

模型支持30k tokens上下文,为了保证正常的使用和输出,API限定用户输入为28k tokens

前提条件

开通DashScope并创建API-KEY

步骤一:创建Web函数

  1. 登录函数计算控制台,在左侧导航栏,单击函数

  2. 在顶部菜单栏,选择地域,然后在函数页面,单击创建函数

  3. 创建函数页面,按需选择创建函数的方式,配置以下配置项,然后单击创建

    • 创建函数的方式:Web函数

    • 基本设置:填写函数名称

    • 函数代码:配置函数的运行环境和代码相关信息。

      • 运行环境Debian 10

      • 代码上传方式使用示例代码

      • 启动命令python3 app.py

      • 监听端口:9000。

    • 高级配置单实例并发度设置为100,函数角色设置为AliyunFCServerlessDevsRole,其他配置使用默认值。

    • 环境变量:添加变量DASHSCOPE_API_KEY,值为获取到的API-KEY。

步骤二:编写并部署通义千问AI对话代码

函数创建成功后,您可以开始编写使用通义千问的AI对话代码。

  1. 在函数详情页面,单击代码页签,在代码编辑器中编写代码。

    以下代码是以Python为例,通过调用通义千问模型对一个用户指令进行响应。

    通过messages调用

    说明

    当前示例代码支持一键部署,您可以直接在函数计算FC中一键部署本代码。start-qwen-api-messages

    import dashscope
    import random
    
    from flask import abort
    from flask import Flask
    from flask import request
    from http import HTTPStatus
    
    app = Flask(__name__)
    
    
    def call_with_messages(content):
        messages = [{'role': 'system', 'content': 'You are a helpful assistant.'},
                    {'role': 'user', 'content': content}]
        response = dashscope.Generation.call(
            dashscope.Generation.Models.qwen_turbo,
            messages=messages,
            # set the random seed, optional, default to 1234 if not set
            seed=random.randint(1, 10000),
            result_format='message',  # set the result to be "message" format.
        )
        if response.status_code == HTTPStatus.OK:
            print(response)
        else:
            print('Request id: %s, Status code: %s, error code: %s, error message: %s' % (
                response.request_id, response.status_code,
                response.code, response.message
            ))
        return response
    
    
    @app.route("/invoke", methods=['POST', 'GET'])
    def index():
        bytes = request.stream.read()
        if bytes:
            payload = str(bytes, encoding='utf-8')
            print("Request Payload: " + payload)
            return call_with_messages(payload)
        else:
            abort(403)
    
          
    if __name__ == "__main__":
        app.run(host="0.0.0.0", port=9000)

    通过prompt调用

    说明

    当前示例代码支持一键部署,您可以直接在函数计算FC中一键部署本代码。start-qwen-api-prompt

    import dashscope
    import random
    
    from flask import abort
    from flask import Flask
    from flask import request
    from http import HTTPStatus
    
    app = Flask(__name__)
    
    
    def call_with_prompt(prompt):
        response = dashscope.Generation.call(
            model=dashscope.Generation.Models.qwen_turbo,
            prompt=prompt
        )
        # The response status_code is HTTPStatus.OK indicate success,
        # otherwise indicate request is failed, you can get error code
        # and message from code and message.
        if response.status_code == HTTPStatus.OK:
            print(response.output)  # The output text
            print(response.usage)  # The usage information
        else:
            print(response.code)  # The error code.
            print(response.message)  # The error message.
        return response
    
    
    @app.route("/invoke", methods=['POST', 'GET'])
    def index():
        bytes = request.stream.read()
        if bytes:
            payload = str(bytes, encoding='utf-8')
            print("Request Payload: " + payload)
            return call_with_prompt(payload)
        else:
            abort(403)
    
       
    if __name__ == "__main__":
        app.run(host="0.0.0.0", port=9000)
  2. 使用在线IDE安装DashScope SDK。

    1. 选择IDE的Terminal > New Terminal

    2. 在Terminal输入pip3 install dashscope -t .安装DashScope SDK。

  3. SDK安装完成后,单击部署代码

步骤三:测试函数

在函数详情页面,单击测试页签,填写好事件名称和事件内容,然后单击测试函数,执行完成后,可以直接查看执行结果。

image.png

本文事件内容以"如何做西红柿炖牛腩?”为例,测试函数的返回结果如下:

通过messages调用

{
    "code": "",
    "message": "",
    "output": {
        "choices": [
            {
                "finish_reason": "stop",
                "message": {
                    "content": "材料:\n牛腩500克、西红柿2个、大葱1根、生姜3片、大蒜2瓣、八角1颗、香叶2片、干辣椒4个、料酒1勺、生抽1勺、老抽1勺、白糖1小勺、食盐适量、清水适量。\n\n做法:\n1. 牛腩切块,冷水入锅,加入料酒焯水,撇去浮沫后捞出沥水备用。\n2. 热锅凉油,放入大葱、姜片、蒜瓣、八角、香叶和干辣椒煸炒出香味。\n3. 加入西红柿翻炒至软烂出汁。\n4. 放入牛腩块继续翻炒均匀,加入生抽、老抽和白糖调味。\n5. 倒入足够的清水,大火烧开后转中小火慢炖1小时左右,至牛腩熟透且汤汁浓稠。\n6. 最后加入适量的食盐调味即可。",
                    "role": "assistant"
                }
            }
        ],
        "finish_reason": null,
        "text": null
    },
    "request_id": "61dbd6b0-810b-9115-ad26-65e9ba93f84d",
    "status_code": 200,
    "usage": {
        "input_tokens": 15,
        "output_tokens": 212,
        "total_tokens": 227
    }
}

通过prompt调用

{
    "code": "",
    "message": "",
    "output": {
        "choices": null,
        "finish_reason": "stop",
        "text": "\n\n做西红柿炖牛腩的步骤如下:\n\n所需材料:\n- 牛腩500克\n- 西红柿3个\n- 姜片适量\n- 大葱段适量\n- 料酒适量\n- 生抽适量\n- 红糖适量\n- 八角2颗\n- 桂皮1小块\n- 食盐适量\n- 清水适量\n\n步骤:\n\n1. 牛腩切块,放入开水中焯水,捞出洗净备用。\n\n2. 热锅凉油,加入姜片和大葱段炒香。\n\n3. 加入牛腩翻煎至两面微黄。\n\n4. 加入料酒、生抽、红糖、八角和桂皮继续翻煎。\n\n5. 加入足够的清水,水量要盖过牛腩,大火烧开后撇去浮沫。\n\n6. 改为中小火慢炖1小时左右,直到牛腩变得软烂。\n\n7. 在炖煮过程中可以适当调整味道,如加盐等。\n\n8. 西红柿切成块,放入炖好的牛腩中再煮约10分钟即可。\n\n9. 出锅前可撒上一些葱花点缀。\n\n以上就是做西红柿炖牛腩的详细步骤。希望对你有所帮助!"
    },
    "request_id": "a9a5f430-745d-9f5d-b406-8588978f638b",
    "status_code": 200,
    "usage": {
        "input_tokens": 8,
        "output_tokens": 278,
        "total_tokens": 286
    }
}

测试完成后,如果您暂时不需要使用此应用,请及时删除应用以及关联的其他资源。

相关文档

  • 本页导读
文档反馈