如何调用knowledge-llm大模型对话接口_智能开放搜索 OpenSearch(Open Search)-阿里云帮助中心

大模型对话接口。

前提条件

获取身份鉴权API Key：调用OpenSearch-LLM智能问答版服务时，需要对调用者身份进行鉴权，具体请参见管理API Key。
获取服务调用地址：调用OpenSearch-LLM智能问答版服务时，需要提供服务的调用地址，具体请参见获取服务调用地址。

请求语法

POST {host}/v3/openapi/apps/[app_group_identity]/actions/knowledge-llm

{host}：调用服务的地址，支持通过公网和VPC两种方式调用API服务，可参见获取服务调用地址。
[app_group_identity]：应用名称（需要指定应用名访问，主要针对服务中的应用版本）。需要登录OpenSearch-LLM智能问答版控制台，在实例列表中查看对应实例的应用名称。

请求参数

参数	类型	描述	示例值
question	String	用户问题	what is OpenSearch
type	String	问题类型	text
content	Array	内容	["开放搜索","问天引擎"]
options	Json	选项
stream	Boolean	是否流式返回	false
prompt	String	prompt内容
model	String	可选的LLM模型上海区域： opensearch-qwen opensearch-llama2-13b opensearch-llama2-13b-turbo opensearch-llama2-70b opensearch-llama3-8b qwen-turbo qwen-plus qwen-max	"opensearch-qwen"
csi_level	String	大模型生成的内容是否需要经过绿网处理。 none: 表示不需要绿网处理 loose：不拦截疑似有问题的内容	none

请求体示例：

1、根据文档内容进行总结

{
  "question" : "用户问题",
  "type" : "text",
  "content" : ["候选的内容1","候选内容2"],
  "options" : {
     "stream" : false,  #是否流式返回，默认为false
  },
  "model": "Qwen",
  "csi_level" : "none"  # 大模型生成的内容是否需要经过绿网处理。none: 表示不需要绿网处理；loose：不拦截疑似有问题的内容
}

2、直接指定prompt回答

{
  "prompt": "prompt内容",
  "model": "Qwen",
  "options" : {
    "stream" : false,  #是否流式返回，默认为false
  },
  "csi_level" : "none"  # 大模型生成的内容是否需要经过绿网处理。none: 表示不需要绿网处理；loose：不拦截疑似有问题的内容
}

说明

一旦prompt内容被设置，那么question和content参数将会被忽视，该参数的内容会被直接作为大模型的prompt

返回参数

参数	类型	描述	示例值

参数	类型	描述	示例值
request_id	String	请求ID	abc123-ABC
latency	Float	延迟	10.0
result	Json	结果
data	Array	返回数据集
answer	String	答案	answer text
type	String	答案类型	text
errors	Array	错误信息集
code	String	错误码	1001
message	String	错误信息	APP is not found

响应体示例：

{
  "request_id" : "",
  "latency" : 10.0, #单位s
  "result" : {
    "data": [
      {
        "answer" : "answer text",
        "type" : "text"
        ]
      }
    ]
  },
  "errors" : [
    {
      "code" : "如果有错误，这里填错误码",
      "message" : "如果有错误，这里填错误信息"
    }
  ]
}