百炼应用模型网关的请求入参
名称 | 类型 | 描述 | 示例值 | ||
input | Object | 输入内容 | - | ||
messages | Array[Object] | 对话的内容,数组。 | - | ||
role | String | 角色,取值:
| assistant | ||
content | String | 内容,当role为assistant时表示机器人的放音;当role为user表示客户的说话内容。 | 尊敬的阿里云客户您好,这里测试一下开场白,如果开场白有打扰到你,我们对此表示抱歉。 | ||
biz_params | Object | 自定义业务参数 | {"city": "杭州"} | ||
parameters | Object | 模型的topk参数。 | 1 | ||
incremental_output | Boolean | 在流式输出模式下是否开启增量输出。固定值true | true | ||
flow_stream_mode | String | 工作流应用的流式输出模式。固定值 agent_format | agent_format | ||
call_id | String | 呼叫的唯一ID,就是发起呼叫时返回的唯一ID。 | 147417592084^1341******** | ||
session_id | String | 呼叫的唯一ID,就是发起呼叫时返回的唯一ID。 说明 该字段默认不传。 | 147417592084^1341******** | ||
示例:
{
"input": {
"messages": [
{
"role": "system",
"content": "您是一名阿里云的客服助理。你的任务是:播放标准欢迎语。"
},
{
"role": "assistant",
"content": "尊敬的阿里云客户你好,这里测试一下开场白,如果开场白有打扰到你 我们对此表示抱歉"
},
{
"role": "user",
"content": "什么事情?"
}
],
"biz_params": {
"city": "杭州"
}
},
"debug": {},
"parameters": {
"incremental_output": true,
"flow_stream_mode": "agent_format"
},
"call_id": "147417592084^1341********"
}百炼应用模型网关返回值
名称 | 类型 | 描述 | 示例值 | ||
output | Object | 调用结果信息 | - | ||
text | String | 模型生成的回复内容 | 我是阿里云的客服助理 | ||
finish_reason | String | 完成原因。取值:
| null | ||
session_id | String | 当前对话的唯一标识。 | 147417592084^1341******** | ||
request_id | String | 百炼调用的唯一标识符。 说明 该字段默认不传。 | 1111111-2222-3333-4444-********** | ||
示例
{
"output": {
"session_id": "c57cb4cb62a8************",
"finish_reason": "null",
"text": "我是阿里云的客服助理"
},
"usage": {
"models": [
{
"input_tokens": 158,
"output_tokens": 7,
"model_id": "qwen-plus"
}
]
},
"request_id": "1111111-2222-3333-4444-555555555555"
}SSE流式验证大模型网关对接要求
您在使用大模型进行通信引擎网关对接前,也可以使用SSE流式的方式验证通信引擎网关是否符合您大模型的对接要求。
交互方式:HTTP,HTTP需要支持SSE流式输出。
您可通过执行如下curl命令验证是否符合大模型网关对接要求。
在执行命令之前,您需要将命令行中的地址https://**********更换成您的地址,也就是配置里面的模型地址;$AUTH更换成您的授权码,也就是配置界面的授权码;model中的模型更换成您的模型,也就是模型配置里面的基础模型。
输入:
curl -X POST \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-H "x-dashscope-sse: enable" \
-d '{
"input": {
"messages": [
{
"role": "assistant",
"content": "这是一个测试开场白"
},
{
"role": "user",
"content": "什么事?"
}
]
},
"debug": {},
"parameters": {
"incremental_output": true,
"flow_stream_mode": "agent_format"
},
"call_id": "147417592084^1341********"
}' \
"https://**********"
输出:
data:{"output":{"session_id":"c57cb4cb62a8************","finish_reason":"null","text":"我是阿里云的客服助理"},"usage":{"models":[{"input_tokens":158,"output_tokens":7,"model_id":"qwen-plus"}]},"request_id":"1111111-2222-3333-4444-555555555555"}