大模型回答

参数

类型

必填

描述

示例值

messages

List[Dict]

是

包含迄今为止对话的消息列表，

• role为角色，可选system，user，assistant。

  • system：表示系统级消息，只能用于对话历史的第一条（messages[0]）。使用system角色是可选的，如果存在，必须位于列表的最开始。

  • user和assistant：表示用户和模型的对话。这两类角色应交替出现在对话中，模拟实际对话流程。

• content为对话信息， 不得为空。

[

{"role": "system", "content": "你是一个机器人助手"},

{"role": "user", "content": "河南的省会是哪里"},

{"role": "assistant", "content": "郑州"},

{"role": "user", "content": "那里有什么好玩的"}

]

model

String

是

服务ID，支持的服务ID请参见

支持的服务列表。

ops-qwen-turbo

max_tokens

Int

否

聊天完成时生成的最大Token 数。如果已达到该值仍然没有结束，finish_reason值为length，否则值为stop。

1024

temperature

Float

否

temperature值控制了生成文本时对每个候选词的概率分布，用于控制模型回复的随机性和多样性，取值范围： [0, 2)，取值为0时无意义。

较高的temperature值会降低概率分布的峰值，使得更多的低概率词被选择，生成结果更加多样化；较低的temperature值则会增强概率分布的峰值，使得高概率词更容易被选择，生成结果更加确定。

1

top_p

Float

否

生成过程中的核采样方法概率阈值，取值范围为（0,1.0），取值越大，生成的随机性越高；取值越低，生成的确定性越高。

0.8

presence_penalty

Float

否

控制模型生成时整个序列中的重复度，取值范围[-2.0, 2.0]，默认值为0。

提高presence_penalty可以降低模型生成的重复度。

0

frequency_penalty

Float

否

频率惩罚值，取值范围[-2.0, 2.0]，默认值为0。

正值会根据新生成的词汇在文本中目前的频率来进行惩罚，减少模型重复同样话语的可能性。

0

stop

String, List[String]

否

停止词，在模型生成的内容即将包含指定的字符串或token_id时自动停止，生成的内容不包含指定的内容。stop可以为String类型或Array类型。

默认null

stream

Boolean

否

控制是否使用流式输出。当以stream模式输出结果时，接口返回结果为generator，需要通过迭代获取结果，每次输出为当前生成的增量序列。默认值为false。

false

参数

类型

描述

示例值

id

String

系统生成的标识本次调用的ID。

2244F3A8-4201-4F37-BF86-42013B1026D6

object

String

对象类型，固定为chat.completion。

chat.completion

created

Long

Unix当前时间戳，单位s。

1719313883

model

String

调用的模型名。

ops-qwen-turbo

choices.index

Int

模型生成结果的序号，0表示第一个结果。

0

choices.message

Map

模型输出的消息。

{

"role":"assistant",

"content":"这是个示例"

}

choices.finish_reason

String

段式 + 流式

• stop：表示模型返回了完整的输出。

• length：由于生成长度过长导致停止生成内容。如需增加生成内容长度，可通过入参max_tokens的值调整。

• 以 content_filter开头的表示安全过滤的结果。

stop

usage.completion_tokens

Int

模型生成回复转换为Token后的长度。

150

usage.prompt_tokens

Int

用户请求大模型输入的内容转换后的Token数量。

180

usage.total_tokens

Int

总Token用量，usage.prompt_tokens与usage.completion_tokens的总和。

330