大量实践表明,FewShot方法在提升大模型的推理效果和性能方面具有显著的助益。Prompt样例库功能作为百炼的FewShot能力,通过录入用户输入(Query)和期望的模型回复(Answer)作为样例信息源,在模型调用时根据用户输入,检索召回相关样例信息,以此作为输出参考,从而提高大模型的回答准确性,适用于客服及问答等场景。
效果展示
创建Prompt样例库,输入图示样例信息,展示在智能体应用中引入后的效果。
为保证模型输出效果,可以在Prompt中添加文字“请严格按照下述内容进行回答”。
效果对比如下:
无专属Prompt样例库的应用 在没有专属Prompt样例库时,大模型无法准确回答“DASHSCOPE_API_KEY”的问题。 | 有专属Prompt样例库的应用 引入专属Prompt样例库后,大模型就能准确回答“DASHSCOPE_API_KEY”方面的问题。 |
创建与引用Prompt样例库
步骤一:创建Prompt样例库
登录阿里云百炼大模型服务平台。
在百炼的
页面,单击创建样例库。输入样例库名称,导入方式支持手动输入和批量导入两种。
选择手动输入
单击新增样例组,进入编辑样例页。
在编辑样例页输入样例信息(用户输入和模型输出),在右上角可单击新增样例或丰富样例增加相似样例,在操作中对不需要的样例可单击删除,完成样例编辑后单击保存。
每个样例组最多包含3个样例,样例信息中文字输入框最多可输入500字。
可继续单击新增样例组增加样例组信息,完成后在样例库页单击确定保存当前样例库。
每个样例库最多支持100个样例组。
选择批量导入
点击或拖拽上传文件,导入已创建好的自定义样例信息的文件,单击保存。
支持上传20MB以内的Excel相应格式的文件,并且需满足模板表结构条件。文件中每行对应一个样例组,单样例库最多支持100个样例组。每个样例组最多包含3个样例,其中,每个样例包括query+answer。
导入完成后,在样例库页单击确定保存当前样例库。
步骤二:引用Prompt样例库
接下来您便可以在中将创建好的Prompt样例库与您位于相同的业务空间里的智能体应用关联,以便为您的大模型应用补充私有样例和提供最新信息。应用支持同时选择并检索多个Prompt样例库库(最多5个,采用多路召回策略)。
目前尚不支持设置检索顺序。
多路召回策略:如果应用关联了A1、A2和A3三个Prompt样例库,系统会从这些库中检索与原始输入相关的样例,然后通过Rank模型重排序,选出最相关的前K条加入到大模型的输入Token中用于其回答时参考。
在中选择智能体应用。
打开Prompt样例库开关,单击选择样例库。
添加已创建的样例库。
可选:单击召回配置可配置召回片段数,发布应用。
最多支持选择5个样例库。支持配置最多的召回片段数为10个,默认为5。
测试样例库:
控制台操作:输入Query后执行,单击执行完成右侧的箭头图标,显示样例库插件执行成功。
API调用:调用示例可参考单轮对话,调用时还需要添加
has_thoughts
参数设置为true,在thoughts
字段中查看召回的过程信息。
管理与维护Prompt样例库
Prompt样例优化页通过样例库结构管理,每个样例库最多支持100个样例组,每个样例组最多包含3个样例,每个Prompt样例包括用户输入(Query)和模型输出(Answer)。
通过创建Prompt样例库过程得到如图所示页面,可对样例库、样例组和样例分别进行增加、删除和修改操作。
您可以单击下方标题栏以选择展开或折叠面板内容: