自有大模型对接大模型网关的请求参数与返回格式-智能联络中心-阿里云-智能联络中心(AICCS)-阿里云帮助中心

本文为您介绍通信引擎网关对接的标准协议，您在使用自有大模型进行对接通信引擎网关前需要确认符合这个协议才可以接入。

模型的请求入参

名称	类型	描述	示例值
topP	String	模型的topP参数。	0.1
stream	Boolean	是否流式，固定值true。	true
top_k	String	模型的topk参数。	1
temperature	String	模型的温度参数。	0.1
session_id	String	呼叫的唯一ID，就是发起呼叫时返回的唯一ID。	147417592084^1341********
messages	Array[Object]	对话的内容，数组。	-
role	String	角色，取值： assistant：表示机器人的放音。 user：表示客户的说话内容。	assistant
content	String	内容，当role为assistant时表示机器人的放音；当role为user表示客户的说话内容。	尊敬的阿里云客户您好，这里测试一下开场白，如果开场白有打扰到你，我们对此表示抱歉。
model	String	模型版本，如千问的模型版本分为qwen-plus、qwen-turbo、qwen-max。	qwen-plus

示例

{
  "top_p": 0.1,
  "stream": true,
  "top_k": 1,
  "temperature": 0.1,
  "session_id": "147417592084^1341********",
  "messages": [
    {
      "role": "assistant",
      "content": "尊敬的阿里云客户你好，这里测试一下开场白,如果开场白有打扰到你 我们对此表示抱歉"
    },
    {
      "role": "user",
      "content": "什么事情？"
    }
  ],
  "model": "qwen-plus"
}

大模型网关的返回值

名称	类型	示例值	描述
choices	Array[Object]	-	-
delta	Object	-	-
content	String	我是千问	返回内容

示例

{
  "choices": [
    {
      "delta": {
        "content": "我是千问"
      }
    }
  ]
}

SSE流式验证大模型网关对接要求

您在使用大模型进行通信引擎网关对接前，也可以使用SSE流式的方式验证通信引擎网关是否符合您大模型的对接要求。

交互方式：HTTP，HTTP需要支持SSE流式输出。

您可通过执行如下curl命令验证是否符合大模型网关对接要求。

说明

在执行命令之前，您需要将命令行中的地址https://**********更换成您的地址，也就是配置里面的模型地址；$AUTH更换成您的授权码，也就是配置界面的授权码；model中的模型更换成您的模型，也就是模型配置里面的基础模型。

输入：

curl --location "https://**********" \
--header "Authorization: $AUTH" \
--header "Content-Type: application/json" \
--data '{
    "model": "*****",
    "messages": [
        {
            "role": "assistant",
            "content": "这是一个测试开场白"
        },
        {
            "role": "user", 
            "content": "你是谁？"
        }
    ],
    "stream":true
}'

输出：

data: {"choices":[{"delta":{"content":"我是"},"finish_reason":null,"index":0,"logprobs":null}],"object":"chat.completion.chunk","usage":null,"created":173****523,"system_fingerprint":null,"model":"qwen-plus","id":"chatcmpl-********-7ae6-95f2-****-4b26****90c5"}