模型管理

更新时间:2025-02-27 10:16:56

OpenSearch-LLM智能问答版不仅内置了高性能的大语言模型(LLM),还支持用户从阿里云的“大模型服务平台百炼”中增加新的外部LLM。用户可以根据自身的业务需求,灵活选择和集成最合适的大语言模型,从而提高系统的多样性和适应性。本文介绍如何查看LLM列表和新增外部LLM。本文介绍如何查看LLM列表。

模型列表

选择模型管理->LLM可以查看LLM列表,包括模型名称模型类型(内置LLM/外部LLM/定制LLM创建时间等信息。您还可以进行问答测试等操作。

模型名称

模型类型

模型简介

模型名称

模型类型

模型简介

opensearch-qwen

内置LLM

基于Qwen-14b,使用检索增强训练数据微调后的模型。

opensearch-qwen-plus

内置LLM

基于Qwen-72b,使用检索增强训练数据微调后的模型,在相同问题上的效果更加稳定。

deepseek-r1

内置LLM

deepseek-r1模型,在数学推理等问题上表现更佳。

deepseek-r1-distill-qwen-7b

内置LLM

灵积模型服务中的deepseek-r1-distill-qwen-7b模型。

deepseek-r1-distill-qwen-14b

内置LLM

灵积模型服务中的deepseek-r1-distill-qwen-14b模型。

opensearch-llama2-13b

内置LLM

基于llama2-13b,使用检索增强训练数据微调后的模型。

opensearch-llama2-13b-turbo

内置LLM

基于llama2-13b,使用检索增强训练数据微调后的升级版模型。

opensearch-llama2-70b

内置LLM

基于llama2-70b,使用检索增强训练数据微调后的模型。

opensearch-llama3-8b

内置LLM

基于llama3-8b,使用检索增强训练数据微调后的模型。

qwen-turbo

内置LLM

灵积模型服务中的qwen-turbo模型。

qwen-plus

内置LLM

灵积模型服务中的qwen-plus模型。

qwen-max

内置LLM

灵积模型服务中的qwen-max模型。

qwen2-72b-instruct

内置LLM

灵积模型服务中的qwen2-72b-instruct模型。

qwq-32b-preview

内置LLM

灵积模型服务中的qwq-32b-preview模型。

说明
  • 内置LLM仅支持问答测试操作。

  • 外部LLM支持详情、问答测试、编辑、删除操作。

  • 定制LLM支持详情、问答测试、训练模型、删除操作。(仅专业版实例支持定制LLM)

新增外部LLM

选择模型管理->LLM,单击新增外部LLM按钮进入参数配置界面,按要求填入外部LLM名称模型来源以及模型参数信息后,单击确认即可新增外部LLM。

参数说明

  • 外部LLM名称:必填,长度为1-30个字符,以字母开头,可以包含大小写字母,数字和下划线,且不能和其它名称重复。

  • 模型来源:必填,默认为百炼。

  • model_name:必填,百炼平台中的模型名称,如:qwen-long。要获取model_name请登录阿里云百炼控制台,单击模型广场->查看详情->Model可以查看模型名称。

    说明

    目前仅支持新增文本大模型。

  • Authorization:必填,用户访问模型时需要的API-KEY等鉴权信息,要获取百炼平台API-KEY请参考:获取API Key

  • X-DashScope-WorkSpace:本次调用需要使用的workspace。需要注意的是,对于子账号API-KEY调用,此参数为必选项,子账号必须归属于某个workspace才能调用;对于主账号API-KEY此项为可选项,添加则使用对应的workspace身份,不添加则使用主账号身份。要获取Workspace ID请参考:如何使用业务空间

  • max_prompt_token:最大token数,默认为5120,可以根据您选择的模型进行设置。如qwen-long支持最长1000tokens(约1500万字或1.5万页文档)的超长上下文对话。

创建定制LLM

专业版OpenSearch-LLM智能问答版实例还支持用户创建定制LLM,具体操作步骤请参考:定制LLM

  • 本页导读 (1)
  • 模型列表
  • 新增外部LLM
  • 参数说明
  • 创建定制LLM
AI助理

点击开启售前

在线咨询服务

你好,我是AI助理

可以解答问题、推荐解决方案等