OpenSearch搜索开发工作台支持通过API的方式调用大模型服务,包含基于阿里巴巴自研模型底座微调的RAG专属大模型,可结合文档处理、检索服务等,在RAG场景中广泛应用,提升答案的准确率,降低幻觉率。
服务名称 | 服务ID(service_id) | 服务描述 |
OpenSearch-通义千问-Turbo | ops-qwen-turbo | 以qwen-turbo大规模语言模型为模型底座,进行有监督的模型微调强化检索增强的能力,减少有害性 |
通义千问-Turbo | qwen-turbo | 通义千问超大规模语言模型,支持中文英文等不同语言输入 |
通义千问-Plus | qwen-plus | 通义千问超大规模语言模型的增强版,支持中文英文等不同语言输入 |
通义千问-Max | qwen-max | 即通义千问2.0,通义千问千亿级别超大规模语言模型,支持中文英文等不同语言输入 |
通义千问-MAX-长文本 | qwen-max-longcontext | 通义千问千亿级别超大规模语言模型,支持中文、英文等不同语言输入。模型支持30k tokens上下文,API限定用户输入为28k tokens |
前提条件
当前API支持2种鉴权方式,您可选择以下任一种方式进行鉴权:
API-KEY鉴权,前提条件:
已开通服务并获得API-KEY:开通服务并创建API-KEY。
AccessKey鉴权,前提条件:
已开通服务并配置环境变量ALIBABA_CLOUD_ACCESS_KEY_ID和ALIBABA_CLOUD_ACCESS_KEY_SECRET:创建AccessKey并配置环境变量。
请求说明
公共说明
请求body最大不能超过8MB。
HTTP请求方式
POST
URL
{host}/v3/openapi/workspaces/{workspace_name}/text-generation/{service_id}
参数说明:
host:调用服务的地址,支持通过公网和VPC两种方式调用API服务,可参考控制台-API-KEY管理页面的API域名,例: http://******.hangzhou.opensearch.aliyuncs.com
workspace_name:工作空间名称,例:default
service_id: 系统内置服务id,例:ops-qwen-turbo
入参描述
Header参数
API-KEY鉴权
参数名称 | 类型 | 必填 | 描述 | 示例值 |
Content-Type | String | 是 | 请求类型:application/json | application/json |
Authorization | String | 是 | API-Key | Bearer OS-d1**2a |
AccessKey鉴权请参考:v3 API 签名机制
Body参数
参数名称 | 参数类型 | 必填 | 示例值 | 位置 | 描述 |
messages | List | 是 | Body | 用户与模型的对话历史。list中的每个元素形式为{"role":角色, "content": 内容},角色当前可选值:system、user、assistant。
| |
stream | Boolean | 否 | false | Body | 是否流式返回,默认为false。 当为true时,每次输出为当前生成的整个序列,最后一次输出为最终全部生成结果 |
parameters | Map | 否 | Body | 请求大模型可调整参数 |
说明:ops-qwen-turbo的最大tokens限制为4000
出参描述
参数名称 | 参数类型 | 描述 | 示例值 |
result.text | String | 本次模型生成的文本 | 郑州是一个... |
usage.output_tokens | Integer | 模型生成内容的长度(token) | 100 |
usage.input_tokens | Integer | 用户输入内容的长度(token) | 100 |
usage.total_tokens | Integer | 用户输入和模型生成内容的总token数 | 200 |
请求示例
curl示例
curl -XPOST -H"Content-Type: application/json" \http://****.hangzhou.opensearch.aliyuncs.com/v3/openapi/workspaces/rag0509/text-generation/ops-qwen-turbo\
-H "Authorization: Bearer 你的API-KEY" \
-d '{
"messages": [
{
"role": "system",
"content": "你是一个机器人助手"
},
{
"role": "user",
"content": "河南的省会是哪里"
},
{
"role": "assistant",
"content": "郑州"
},
{
"role": "user",
"content": "那里有什么好玩的"
}
],
"stream": false
}'
windows系统下curl示例
curl -XPOST -H"Content-Type: application/json" "http://rag0509-t5s.platform-pre-hangzhou.opensearch.aliyuncs.com/v3/openapi/workspaces/rag0509/text-generation/ops-qwen-turbo" -H "Authorization: Bearer OS-3y38r16znmky03zr" -d "{\"messages\":[{\"role\":\"system\",\"content\":\"你是一个机器人助手\"},{\"role\":\"user\",\"content\":\"河南的省会是哪里\"},{\"role\":\"assistant\",\"content\":\"郑州\"},{\"role\":\"user\",\"content\":\"那里有什么好玩的\"}],\"stream\":false}"
响应示例
正常响应示例
{
"request_id": "450fcb80-f796-46c1-8d69-e1e86d29aa9f",
"latency": 564.903929,
"result": {
"text":"郑州是一个历史文化悠久且现代化的城市,有很多好玩的地方。以下是一些推荐的旅游景点:
嵩山少林寺:作为少林武术的发源地,嵩山少林寺一直以来都是游客向往的地方。在这里,你可以欣赏到精彩的武术表演,领略少林功夫的魅力。
黄河游览区:黄河是中华民族的母亲河,而在郑州,你可以乘坐游船观赏黄河的多种风情,感受大河之美。
郑州动物园:这是一个适合全家游玩的景点,拥有各种珍稀动物,如大熊猫、金丝猴等,让孩子们近距离接触动物,增长见识。
郑州博物馆:如果你对历史文化感兴趣,那么郑州博物馆是一个不错的选择。这里收藏了大量珍贵的文物,展示了郑州地区的历史变迁和文化传承。
郑州世纪公园:这是一个大型的城市公园,拥有美丽的湖泊、花园和休闲设施。在这里,你可以进行散步、慢跑等户外活动,享受大自然的宁静与和谐。
以上只是郑州众多好玩地方的一部分,实际上郑州还有很多其他值得一游的景点。希望你在郑州的旅行能够愉快!"
}
"usage": {
"output_tokens": 6320,
"input_tokens": 35,
"total_tokens": 6355,
}
}
异常响应示例
在访问请求出错的情况下,输出的结果中会通过 code 和 message 指明出错原因。
{
"request_id": "45C8C9E5-6BCB-43DD-80D3-E298F788512B",
"latency": 0,
"code": "InvalidParameter",
"message": "JSON parse error: Unexpected character ..."
}
状态码说明
更多状态码说明,请参考:状态码说明。
- 本页导读 (0)