本文介绍OpenAI兼容大模型回答服务的API参数配置。
请求参数
参数 | 类型 | 必填 | 描述 | 示例值 |
messages | List[Dict] | 是 | 包含迄今为止对话的消息列表,
| [ {"role": "system", "content": "你是一个机器人助手"}, {"role": "user", "content": "河南的省会是哪里"}, {"role": "assistant", "content": "郑州"}, {"role": "user", "content": "那里有什么好玩的"} ] |
model | String | 是 | 服务ID,支持的服务ID请参见 | ops-qwen-turbo |
max_tokens | Int | 否 | 聊天完成时生成的最大Token 数。如果已达到该值仍然没有结束,finish_reason值为length,否则值为stop。 | 1024 |
temperature | Float | 否 | temperature值控制了生成文本时对每个候选词的概率分布,用于控制模型回复的随机性和多样性,取值范围: [0, 2),取值为0时无意义。 较高的temperature值会降低概率分布的峰值,使得更多的低概率词被选择,生成结果更加多样化;较低的temperature值则会增强概率分布的峰值,使得高概率词更容易被选择,生成结果更加确定。 | 1 |
top_p | Float | 否 | 生成过程中的核采样方法概率阈值,取值范围为(0,1.0),取值越大,生成的随机性越高;取值越低,生成的确定性越高。 | 0.8 |
presence_penalty | Float | 否 | 控制模型生成时整个序列中的重复度,取值范围[-2.0, 2.0],默认值为0。 提高presence_penalty可以降低模型生成的重复度。 | 0 |
frequency_penalty | Float | 否 | 频率惩罚值,取值范围[-2.0, 2.0],默认值为0。 正值会根据新生成的词汇在文本中目前的频率来进行惩罚,减少模型重复同样话语的可能性。 | 0 |
stop | String, List[String] | 否 | 停止词,在模型生成的内容即将包含指定的字符串或token_id时自动停止,生成的内容不包含指定的内容。stop可以为String类型或Array类型。 | 默认null |
stream | Boolean | 否 | 控制是否使用流式输出。当以stream模式输出结果时,接口返回结果为generator,需要通过迭代获取结果,每次输出为当前生成的增量序列。默认值为false。 | false |
返回参数
参数 | 类型 | 描述 | 示例值 |
id | String | 系统生成的标识本次调用的ID。 | 2244F3A8-4201-4F37-BF86-42013B1026D6 |
object | String | 对象类型,固定为chat.completion。 | chat.completion |
created | Long | Unix当前时间戳,单位s。 | 1719313883 |
model | String | 调用的模型名。 | ops-qwen-turbo |
choices.index | Int | 模型生成结果的序号,0表示第一个结果。 | 0 |
choices.message | Map | 模型输出的消息。 | { "role":"assistant", "content":"这是个示例" } |
choices.finish_reason | String | 段式 + 流式
| stop |
usage.completion_tokens | Int | 模型生成回复转换为Token后的长度。 | 150 |
usage.prompt_tokens | Int | 用户请求大模型输入的内容转换后的Token数量。 | 180 |
usage.total_tokens | Int | 总Token用量,usage.prompt_tokens与usage.completion_tokens的总和。 | 330 |
状态码说明
请参见OpenSearch搜索开发工作台状态码说明。