Prompt样例优化

大量实践表明,FewShot方法在提升大模型的推理效果和性能方面具有显著的助益。Prompt样例库功能作为百炼的FewShot能力,通过录入用户输入(Query)和期望的模型回复(Answer)作为样例信息源,在模型调用时根据用户输入,检索召回相关样例信息,以此作为输出参考,从而提高大模型的回答准确性,适用于客服及问答等场景。

效果展示

创建Prompt样例库,输入图示样例信息,展示在智能体应用中引入后的效果。

image

为保证模型输出效果,可以在Prompt中添加文字“请严格按照下述内容进行回答”。

image

效果对比如下:

无专属Prompt样例库的应用

在没有专属Prompt样例库时,大模型无法准确回答“DASHSCOPE_API_KEY”的问题。

image

有专属Prompt样例库的应用

引入专属Prompt样例库后,大模型就能准确回答“DASHSCOPE_API_KEY”方面的问题。

image

创建与引用Prompt样例

步骤一:创建Prompt样例库

  1. 登录阿里云百炼大模型服务平台

  2. 在百炼的应用组件 > Prompt工程 > Prompt样例优化页面,单击创建样例库

    image

  3. 输入样例库名称,导入方式支持手动输入批量导入两种。

    • 选择手动输入

      1. 单击新增样例组,进入编辑样例页。

        image

      2. 在编辑样例页输入样例信息(用户输入和模型输出),在右上角可单击新增样例丰富样例增加相似样例,在操作中对不需要的样例可单击删除,完成样例编辑后单击保存

        image

        每个样例组最多包含3个样例,样例信息中文字输入框最多可输入500字。
      3. 可继续单击新增样例组增加样例组信息,完成后在样例库页单击确定保存当前样例库。

        image

        每个样例库最多支持100个样例组。
    • 选择批量导入

      1. 点击或拖拽上传文件,导入已创建好的自定义样例信息的文件,单击保存

        image

        支持上传20MB以内的Excel相应格式的文件,并且需满足模板表结构条件。文件中每行对应一个样例组,单样例库最多支持100个样例组。每个样例组最多包含3个样例,其中,每个样例包括query+answer。
      2. 导入完成后,在样例库页单击确定保存当前样例库。

        image

步骤二:引用Prompt样例库

接下来您便可以在中将创建好的Prompt样例库与您位于相同的业务空间里的智能体应用关联,以便为您的大模型应用补充私有样例和提供最新信息。应用支持同时选择并检索多个Prompt样例库库(最多5个,采用多路召回策略)。

说明

目前尚不支持设置检索顺序

多路召回策略:如果应用关联了A1、A2A3三个Prompt样例库,系统会从这些库中检索与原始输入相关的样例,然后通过Rank模型重排序,选出最相关的前K条加入到大模型的输入Token中用于其回答时参考。
  1. 在中选择智能体应用。

  2. 打开Prompt样例库开关,单击选择样例库

  3. 添加已创建的样例库。

  4. 可选:单击召回配置可配置召回片段数,发布应用。

    image

    最多支持选择5个样例库。支持配置最多的召回片段数为10个,默认为5。
  5. 测试样例库:

    • 控制台操作:输入Query后执行,单击执行完成右侧的箭头图标,显示样例库插件执行成功。image

    • API调用:调用示例可参考单轮对话,调用时还需要添加has_thoughts参数设置为true,在thoughts字段中查看召回的过程信息。

管理与维护Prompt样例库

Prompt样例优化页通过样例库结构管理,每个样例库最多支持100个样例组,每个样例组最多包含3个样例,每个Prompt样例包括用户输入(Query)和模型输出(Answer)。

通过创建Prompt样例库过程得到如图所示页面,可对样例库、样例组和样例分别进行增加、删除和修改操作。

image

您可以单击下方标题栏以选择展开或折叠面板内容:

样例库的增删改操作

image

  • 增加:可单击样例库管理类目中右侧的图标增加样例库。

  • 删除:鼠标悬浮在需要删除的样例库上,单击删除图标删除样例库。

    请注意正在被应用调用的样例库不支持删除操作。

    image

  • 修改:鼠标悬浮在需要重命名的样例库上,单击修改图标对样例库重命名。

样例组的增删改操作

选择需要编辑的样例库,在当前样例库页面操作:

  • 增加:单击右上角的导入数据丰富样例组增加样例组。导入数据支持单个添加批量上传两种方式。

    • 单个添加:在新增样例页输入样例信息(用户输入模型输出),单击保存image

    • 批量上传点击或拖拽上传文件,支持批量导入您本地文件中的样例信息,单击保存

      image

      支持上传20MB以内的Excel相应格式的文件,并且需满足模板表结构条件。文件中每行对应一个样例组,单样例库最多支持100个样例组。每个样例组最多包含3个样例,其中,每个样例包括query+answer。
  • 删除:

    • 可对单样例组进行删除操作。

      image

    • 可单击批量管理选择多个样例组进行批量删除操作。

      image

  • 修改:可对单样例组内容进行编辑操作。

    image

样例的增删改操作

选择单样例库,在当前样例库中选择单样例组,单击编辑进入编辑样例页操作:

  • 增加:可单击丰富样例新增样例增加相似样例,并保存页面。

  • 删除:对需要删除的单样例可单击删除,并保存页面。

  • 修改:对需要修改的单样例修改用户输入模型输出内容,并保存页面。

image

常见问题

样例库、样例组和样例的关系?

包含关系。样例库包含样例组,样例组包含样例。

每个样例库最多支持100个样例组,每个样例组最多包含3个样例,每个样例包括用户输入(Query)和模型输出(Answer)。

Prompt样例通过样例库类目进行管理,可以增加多个不同标题内容的样例库进行应用配置。

每个样例库内包含着一到一百个有一定差异的样例组。

每个样例组内包含着一到三条相似内容的样例。