尽管已经在众多任务中展现了卓越的性能,大模型仍然存在一些局限性,例如无法获取最新信息、容易出现幻觉、难以精确计算等。为了解决这些问题,您可以将插件集成到大模型应用中来拓展大模型能力,执行更复杂的任务。百炼提供了一系列官方插件,例如夸克搜索、计算器、Python代码解释器等,您也可以根据特定需求创建自定义插件。
工作原理
开启插件功能后,大模型将根据输入的内容、插件名称以及插件描述来判断是否调用插件。
如果需要调用插件,大模型会选择合适的插件,应用内部完成插件调用后,会将插件返回结果和用户内容合并后再次输入到大模型,由大模型生成最终结果并输出。
如果无需调用插件,大模型将直接生成结果并输出。
支持的模型
模型 | 模型标识符 |
通义千问-Turbo | qwen-turbo |
通义千问-Plus | qwen-plus |
通义千问-Max | qwen-max |
通义千问2-开源版-57B | qwen2-57b-a14b-instruct |
通义千问2-开源版-72B | qwen2-72b-instruct |
通义千问2开源版暂不兼容图片生成插件。最新的兼容性状态,请以控制台实际执行结果为准。
模型详情请参见模型列表。
插件分类
官方插件
官方插件名称 | 说明 | 计费方案 |
使大模型可以执行Python代码片段,例如数学计算、数据分析与可视化、数据处理。 | 免费 | |
使大模型可以进行复杂的数学计算,例如计算“12313x13232”。 | 免费 | |
使大模型可以基于文本生成图片,例如“请画一只在笑的小狗”。 | 限时免费,需申请开通 | |
使大模型可以搜索实时信息,查找公开的网络知识和信息,例如“杭州今天天气如何”。 | 限时免费,需申请开通 | |
使大模型可以根据网站链接地址生成二维码,例如“请给百炼简介文档生成二维码:https://help.aliyun.com/zh/model-studio/getting-started/what-is-model-studio”。 | 限时免费 | |
使大模型可以在GitHub中搜索相关项目列表,例如“GitHub搜索:通义千问”。 | 限时免费 |
自定义插件
除了官方插件外,百炼还支持用户引入自定义插件,具体操作请参见创建自定义插件。
通过控制台使用插件
首先请确保您已经创建了一个大模型应用,具体操作请参见0代码构建私有知识问答应用。然后在我的应用页面单击目标大模型应用的管理按钮进入管理界面。
单击选择插件,便可以在官方插件栏或者自定义插件栏中选择一个或多个插件。
说明可添加的插件数量上限为10个。
添加完成后在对话框中输入对应的任务,大模型就可以调用插件来进行回答。接下来向您展示官方插件的使用效果,模型均选择qwen-plus。
Python代码解释器
示例输入 | 无插件时输出 | 有插件时输出 |
| 大模型应用无法执行Python代码,只会针对代码进行语言描述。 | 大模型应用具备了执行Python代码的能力,能够对数据进行可视化分析。 |
Python代码解释器插件不支持对外访问网络以及上传本地文件,可用依赖:json5~=0.9.6、jupyter_client~=8.1.0、ipykernel~=6.25.0、seaborn、sympy、pydantic~=1.10.8、pillow~=9.4.0、fastapi~=0.101.1、dynaconf~=3.2.1、oss2~=2.18.1、matplotlib、starlette~=0.27.0、uvicorn~=0.23.2、requests~=2.31.0、scipy、html2text、matplotlib、pandas、pdf2image、pdfminer-six、pillow、pypdf、python-pptx、seaborn、sympy、wordcloud。
计算器
示例输入 | 无插件时输出 | 有插件时输出 |
12313x13232 | 大模型应用无法准确计算复杂数学问题,会出现计算错误的情况。正确结果应为162,925,616。 | 大模型应用具备了良好的计算能力,能够生成准确的计算结果。 |
图片生成
示例输入 | 无插件时输出 | 有插件时输出 |
请画一只在笑的小狗。 | 大模型应用无法直接绘制图片或图形,只能通过文字来描述画面。 | 大模型应用具备了直接绘制图片的能力,能够按指令生成小狗图片。 |
夸克搜索
示例输入 | 无插件时输出 | 有插件时输出 |
杭州今天天气如何? | 大模型应用无法获取实时信息,不能回答与实时天气有关的问题。 | 大模型应用具备了联网搜索,获取实时信息的能力,能够回答与实时天气有关的问题。 |
夸克搜索插件目前支持检索出网页标题、关键词和摘要,但不支持直接访问网页详情。
生成二维码
示例输入 | 无插件时输出 | 有插件时输出 |
请给百炼简介文档生成二维码:https://help.aliyun.com/zh/model-studio/getting-started/what-is-model-studio | 大模型应用无法直接生成二维码,而是提供了将链接转化为二维码的操作指南。 | 大模型应用具备了生成二维码的能力,能够根据百炼简介文档的URL链接生成对应二维码。 |
GitHub搜索
示例输入 | 无插件时输出 | 有插件时输出 |
GitHub搜索:通义千问 | 大模型应用无法直接查询GitHub,而是给出了查询GitHub的操作指南。 | 大模型应用具备了查询GitHub项目的能力,能够给出与通义千问有关的项目列表。 |
GitHub搜索插件目前支持检索出项目标题、链接和摘要,不支持访问项目详情。
组合使用插件
百炼支持在同一个任务中调用多个插件,下面是一个参考示例,您可以根据实际需求来选择插件。
插件 | 示例输入 | 应用输出 |
夸克搜索+图片生成+生成二维码 | 请根据杭州今天的天气画一幅画并将画的地址生成二维码。 | 扫描二维码可以下载图片: |
通过Assistant API使用插件
百炼提供了Assistant API方便开发者快速通过代码构建大模型应用,关于如何使用Assistant API调用插件,请参见Assistant API文档。