文档

API详情

更新时间:

OpenSearch搜索开发工作台支持通过API的方式调用大模型服务,包含基于阿里巴巴自研模型底座微调的RAG专属大模型,可结合文档处理、检索服务等,在RAG场景中广泛应用,提升答案的准确率,降低幻觉率。

服务名称

服务ID(service_id)

服务描述

OpenSearch-通义千问-Turbo

ops-qwen-turbo

以qwen-turbo大规模语言模型为模型底座,进行有监督的模型微调强化检索增强的能力,减少有害性

通义千问-Turbo

qwen-turbo

通义千问超大规模语言模型,支持中文英文等不同语言输入

通义千问-Plus

qwen-plus

通义千问超大规模语言模型的增强版,支持中文英文等不同语言输入

通义千问-Max

qwen-max

即通义千问2.0,通义千问千亿级别超大规模语言模型,支持中文英文等不同语言输入

通义千问-MAX-长文本

qwen-max-longcontext

通义千问千亿级别超大规模语言模型,支持中文、英文等不同语言输入。模型支持30k tokens上下文,API限定用户输入为28k tokens

前提条件

  • 获取身份鉴权信息

    通过API调用OpenSearch搜索开发工作台服务时,需要对调用者身份进行鉴权,如何获取鉴权信息请参见获取API-KEY

  • 获取服务调用地址

    支持通过公网和VPC两种方式调用服务,详情请参见获取服务调用地址

请求说明

公共说明

  • 请求body最大不能超过8MB。

HTTP请求方式

POST

URL

{host}/v3/openapi/workspaces/{workspace_name}/text-generation/{service_id} 

参数说明:

  • host:调用服务的地址,支持通过公网和VPC两种方式调用API服务,可参见获取服务调用地址Api—key两种方式.png

  • workspace_name:工作空间名称,例如default。

  • service_id: 系统内置服务id,例如ops-qwen-turbo。

请求参数

Header参数

API-KEY认证

参数

类型

必填

描述

示例值

Content-Type

String

请求类型:application/json

application/json

Authorization

String

API-Key

Bearer OS-d1**2a

Body参数

参数

类型

必填

描述

示例值

messages

List

用户与模型的对话历史。list中的每个元素形式为{"role":角色, "content": 内容},角色当前可选值:system、user、assistant。

  • system:表示系统级消息,只能用于对话历史的第一条(messages[0])。使用system角色是可选的,如果存在,必须位于列表的最开始。

  • user和assistant:表示用户和模型的对话。它们应交替出现在对话中,模拟实际对话流程。

stream

Boolean

是否流式返回,默认为false。

当为true时,每次输出为当前生成的整个序列,最后一次输出为最终全部生成结果

false

parameters

Map

请求大模型可调整参数。

说明:ops-qwen-turbo的最大tokens限制为4000

返回参数

参数

类型

描述

示例值

result.text

String

本次模型生成的文本。

郑州是一个...

usage.output_tokens

Integer

模型生成内容的Token长度。

100

usage.input_tokens

Integer

用户输入内容的Token长度。

100

usage.total_tokens

Integer

用户输入和模型生成内容的总Token数。

200

请求示例

Mac系统curl示例

curl -XPOST -H"Content-Type: application/json" \http://****-hangzhou.opensearch.aliyuncs.com/v3/openapi/workspaces/workspace01/text-generation/ops-qwen-turbo\
  -H "Authorization: Bearer 您的API-KEY" \
  -d '{
    "messages": [
        {
            "role": "system",
            "content": "你是一个机器人助手"
        },
        {
            "role": "user",
            "content": "河南的省会是哪里"
        },
        {
            "role": "assistant",
            "content": "郑州"
        },
        {
            "role": "user",
            "content": "那里有什么好玩的"
        }
    ],
    "stream": false
}'

windows系统curl示例

curl -XPOST -H"Content-Type: application/json" "***-hangzhou.opensearch.aliyuncs.com/v3/openapi/workspaces/workspace01/text-generation/ops-qwen-turbo" -H "Authorization: Bearer 您的API-KEY"   -d "{\"messages\":[{\"role\":\"system\",\"content\":\"你是一个机器人助手\"},{\"role\":\"user\",\"content\":\"河南的省会是哪里\"},{\"role\":\"assistant\",\"content\":\"郑州\"},{\"role\":\"user\",\"content\":\"那里有什么好玩的\"}],\"stream\":false}"

响应示例

正常响应示例

{
  "request_id": "450fcb80-f796-****-8d69-e1e86d29aa9f",
  "latency": 564.903929,
  "result": {
    "text":"郑州是一个历史文化悠久且现代化的城市,有很多好玩的地方。以下是一些推荐的旅游景点:
    嵩山少林寺:作为少林武术的发源地,嵩山少林寺一直以来都是游客向往的地方。在这里,你可以欣赏到精彩的武术表演,领略少林功夫的魅力。
    黄河游览区:黄河是中华民族的母亲河,而在郑州,你可以乘坐游船观赏黄河的多种风情,感受大河之美。
    郑州动物园:这是一个适合全家游玩的景点,拥有各种珍稀动物,如大熊猫、金丝猴等,让孩子们近距离接触动物,增长见识。
    郑州博物馆:如果你对历史文化感兴趣,那么郑州博物馆是一个不错的选择。这里收藏了大量珍贵的文物,展示了郑州地区的历史变迁和文化传承。
    郑州世纪公园:这是一个大型的城市公园,拥有美丽的湖泊、花园和休闲设施。在这里,你可以进行散步、慢跑等户外活动,享受大自然的宁静与和谐。
    以上只是郑州众多好玩地方的一部分,实际上郑州还有很多其他值得一游的景点。希望你在郑州的旅行能够愉快!"
  }
  "usage": {
      "output_tokens": 6320,
      "input_tokens": 35,
      "total_tokens": 6355,
  }
  
}

异常响应示例

在访问请求出错的情况下,输出的结果中会通过code和message指明出错原因。

{
    "request_id": "45C8C9E5-6BCB-****-80D3-E298F788512B",
    "latency": 0,
    "code": "InvalidParameter",
    "message": "JSON parse error: Unexpected character ..."
}

状态码说明

请参见OpenSearch-搜索开发工作台状态码说明