阿里云百炼应用模型网关对接参数协议

更新时间:
复制为 MD 格式

百炼应用模型网关的请求入参

名称

类型

描述

示例值

input

Object

输入内容

-

messages

Array[Object]

对话的内容,数组。

-

role

String

角色,取值:

  • assistant:表示机器人的放音。

  • user:表示客户的说话内容。

assistant

content

String

内容,当roleassistant时表示机器人的放音;当roleuser表示客户的说话内容。

尊敬的阿里云客户您好,这里测试一下开场白,如果开场白有打扰到你,我们对此表示抱歉。

biz_params

Object

自定义业务参数

{"city": "杭州"}

parameters

Object

模型的topk参数。

1

incremental_output

Boolean

在流式输出模式下是否开启增量输出。固定值true

true

flow_stream_mode

String

工作流应用的流式输出模式。固定值 agent_format

agent_format

call_id

String

呼叫的唯一ID,就是发起呼叫时返回的唯一ID。

147417592084^1341********

session_id

String

呼叫的唯一ID,就是发起呼叫时返回的唯一ID。

说明

该字段默认不传。

147417592084^1341********

示例:

{
    "input": {
        "messages": [
            {
                "role": "system",
                "content": "您是一名阿里云的客服助理。你的任务是:播放标准欢迎语。"
            },
            {
              "role": "assistant",
              "content": "尊敬的阿里云客户你好,这里测试一下开场白,如果开场白有打扰到你 我们对此表示抱歉"
            },
            {
              "role": "user",
              "content": "什么事情?"
            }
        ],
        "biz_params": {
            "city": "杭州"
        }
    },
    "debug": {},
    "parameters": {
        "incremental_output": true,
        "flow_stream_mode": "agent_format"
    },
    "call_id": "147417592084^1341********"
}

百炼应用模型网关返回值

名称

类型

描述

示例值

output

Object

调用结果信息

-

text

String

模型生成的回复内容

我是阿里云的客服助理

finish_reason

String

完成原因。取值:

  • stop:表示自然结束(遇预设标记)。

  • user:表示强制中断(如达到最大长度限制或手动停止)。

null

session_id

String

当前对话的唯一标识。

147417592084^1341********

request_id

String

百炼调用的唯一标识符。

说明

该字段默认不传。

1111111-2222-3333-4444-**********

示例

{
    "output": {
        "session_id": "c57cb4cb62a8************",
        "finish_reason": "null",
        "text": "我是阿里云的客服助理"
    },
    "usage": {
        "models": [
            {
                "input_tokens": 158,
                "output_tokens": 7,
                "model_id": "qwen-plus"
            }
        ]
    },
    "request_id": "1111111-2222-3333-4444-555555555555"
}

SSE流式验证大模型网关对接要求

您在使用大模型进行通信引擎网关对接前,也可以使用SSE流式的方式验证通信引擎网关是否符合您大模型的对接要求。

交互方式:HTTP,HTTP需要支持SSE流式输出。

您可通过执行如下curl命令验证是否符合大模型网关对接要求。

说明

在执行命令之前,您需要将命令行中的地址https://**********更换成您的地址,也就是配置里面的模型地址;$AUTH更换成您的授权码,也就是配置界面的授权码;model中的模型更换成您的模型,也就是模型配置里面的基础模型。

输入:

curl -X POST \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-H "x-dashscope-sse: enable" \
-d '{
    "input": {
        "messages": [
            {
              "role": "assistant",
              "content": "这是一个测试开场白"
            },
            {
              "role": "user",
              "content": "什么事?"
            }
        ]
    },
    "debug": {},
    "parameters": {
        "incremental_output": true,
        "flow_stream_mode": "agent_format"
    },
    "call_id": "147417592084^1341********"
}' \
"https://**********"

输出:

data:{"output":{"session_id":"c57cb4cb62a8************","finish_reason":"null","text":"我是阿里云的客服助理"},"usage":{"models":[{"input_tokens":158,"output_tokens":7,"model_id":"qwen-plus"}]},"request_id":"1111111-2222-3333-4444-555555555555"}