文档

KnowledgeLLM-大模型对话接口

更新时间:

大模型对话接口。

请求语法

POST /v3/openapi/apps/[app_group_identity]/actions/knowledge-llm

:app_group_identity表示应用名称。

请求参数

参数名

参数类型

描述

示例值

question

String

用户问题

what is OpenSearch

type

String

问题类型

text

content

Array

内容

["开放搜索","问天引擎"]

options

Json

选项

stream

Boolean

是否流式返回

false

prompt

String

prompt内容

model

String

使用的LLM模型

"Qwen", "opensearch-llama2-13b", "opensearch-llama2-70b"

csi_level

String

大模型生成的内容是否需要经过绿网处理。none: 表示不需要绿网处理;loose:不拦截疑似有问题的内容

none

请求体示例:

1、根据文档内容进行总结

{
  "question" : "用户问题"
  "type" : "text",
  "content" : ["候选的内容1","候选内容2"],
  "options" : {
    "stream" : false,  #是否流式返回,默认为false
  },
  "model": "Qwen",
  "csi_level" : "none"  # 大模型生成的内容是否需要经过绿网处理。none: 表示不需要绿网处理;loose:不拦截疑似有问题的内容
}

2、直接指定prompt回答

{
  "prompt": "prompt内容",
  "model": "Qwen",
  "options" : {
    "stream" : false,  #是否流式返回,默认为false
  },
  "csi_level" : "none"  # 大模型生成的内容是否需要经过绿网处理。none: 表示不需要绿网处理;loose:不拦截疑似有问题的内容
}
说明

一旦prompt内容被设置,那么question和content参数将会被忽视,该参数的内容会被直接作为大模型的prompt

返回参数

参数名

参数类型

描述

示例值

request_id

String

请求ID

abc123-ABC

latency

Float

延迟

10.0

result

Json

结果

data

Array

返回数据集

answer

String

答案

answer text

type

String

答案类型

text

errors

Array

错误信息集

code

String

错误码

1001

message

String

错误信息

APP is not found

响应体示例:

{
  "request_id" : "",
  "latency" : 10.0, #单位s
  "result" : {
    "data": [
      {
        "answer" : "answer text",
        "type" : "text"
        ]
      }
    ]
  },
  "errors" : [
    {
      "code" : "如果有错误,这里填错误码",
      "message" : "如果有错误,这里填错误信息"
    }
  ]
}