文档

LLM管理

更新时间:

OpenSearch-LLM智能问答版不仅内置了高性能的大语言模型(LLM),还支持用户从阿里云的“大模型服务平台百炼”中增加新的外部LLM。用户可以根据自身的业务需求,灵活选择和集成最合适的大语言模型,从而提高系统的多样性和适应性。本文介绍如何查看LLM列表和新增外部LLM。本文介绍如何查看LLM列表。

模型列表

选择模型管理->LLM可以查看LLM列表,包括模型名称模型类型(内置LLM/外部LLM/定制LLM创建时间等信息。您还可以进行问答测试等操作。

说明
  • 内置LLM仅支持问答测试操作。

  • 外部LLM支持详情、问答测试、编辑、删除操作。

  • 定制LLM支持详情、问答测试、训练模型、删除操作。(仅专业版实例支持定制LLM)

新增外部LLM

选择模型管理->LLM,单击新增外部LLM按钮进入参数配置界面,按要求填入外部LLM名称模型来源以及模型参数信息后,单击确认即可新增外部LLM。

参数说明

  • 外部LLM名称:必填,长度为1-30个字符,以字母开头,可以包含大小写字母,数字和下划线,且不能和其它名称重复。

  • 模型来源:必填,默认为百炼。

  • model_name:必填,百炼平台中的模型名称,如:qwen-long。要获取model_name请登录阿里云百炼控制台,单击模型广场->查看详情->Model可以查看模型名称。

    说明

    目前仅支持新增文本大模型。

  • Authorization:必填,用户访问模型时需要的API-KEY等鉴权信息,要获取百炼平台API-KEY请参考:获取API-KEY

  • X-DashScope-WorkSpace:本次调用需要使用的workspace。需要注意的是,对于子账号API-KEY调用,此参数为必选项,子账号必须归属于某个workspace才能调用;对于主账号API-KEY此项为可选项,添加则使用对应的workspace身份,不添加则使用主账号身份。要获取Workspace ID请参考:如何使用业务空间

  • max_prompt_token:最大token数,默认为5120,可以根据您选择的模型进行设置。如qwen-long支持最长1000万tokens(约1500万字或1.5万页文档)的超长上下文对话。

创建定制LLM

专业版OpenSearch-LLM智能问答版实例还支持用户创建定制LLM,具体操作步骤请参考:定制LLM