定制LLM

为了更好地满足用户的搜索问答体验,OpenSearch-LLM智能问答版推出了定制LLM的功能,用户可以对预训练的通用LLM进行微调来适应实际的业务场景需求。本文介绍如何创建和训练定制LLM。

创建定制LLM

说明

专业版OpenSearch-LLM智能问答版实例支持定制LLM功能。

  1. 选择模型管理->LLM,单击创建定制LLM按钮进入参数配置界面。

  2. 按要求填入模型名称基础模型以及已有问答对信息。

    • 模型名称:长度为1-30个字符,以字母开头,可以包含大小写字母、数字和下划线,且不能和其它模型名称相同。

    • 基础模型:目前仅支持opensearch-llama2-13b。

    • 已有问答对:支持格式为xlsx格式的文件,单个文件大小不能超过128MB,文件名只支持字母、数字、下划线、中划线。相关内容格式可下载样例数据进行参考。

      格式示例:

      query

      answer

      OpenSearch是什么

      OpenSearch是基于阿里巴巴自主研发的大规模分布式搜索引擎搭建的一站式智能搜索业务开发平台。

      智能问答版的典型场景有什么

      OpenSearch LLM智能问答版适用于企业内部知识库、智能客服、电商、内容社区等多种场景。

    • 计费方式:详情请参考LLM智能问答版标准版计费概述

    说明

    数量限制:定制LLM数量上限与实例GPU数量一致,可以在实例详情界面进行查看,单个实例可租用的GPU数量上限为10。

  3. 单击确定按钮即可创建定制LLM。模型创建完毕后可单击训练模型按钮直接开始训练或者完成按钮回到模型管理界面。

    定制LLM.png

训练定制LLM

  1. 定制LLM创建完毕后,在模型管理界面单击详情可查看模型的基本信息配置信息以及训练历史。此时模型状态为模型不可用,最新版本状态为待训练。单击配置可以对已有问答对进行修改。

    基本信息.png

  2. 返回模型管理界面单击训练模型按钮,然后单击确定按钮就可以开始模型训练。

    开始训练.png

  3. 单击详情按钮查看模型状态,此时模型状态为模型不可用,最新版本状态为训练中。

  4. 模型训练完成后单击效果测试按钮,可测试模型训练效果。