插件概述

尽管已经在众多任务中展现了卓越的性能,大模型仍然存在一些局限性,例如无法获取最新信息、容易出现幻觉、难以精确计算等。为了解决这些问题,您可以将插件集成到大模型应用中来拓展大模型能力,执行更复杂的任务。百炼提供了一系列官方插件,例如夸克搜索、计算器、Python代码解释器等,您可以根据特定需求创建自定义插件。

工作原理

开启插件功能后,大模型将根据输入的内容插件名称以及插件描述来判断是否调用插件。

  • 如果需要调用插件,大模型会选择合适的插件,应用内部完成插件调用后,会将插件返回结果和用户内容合并后再次输入到大模型,由大模型生成最终结果并输出。

  • 如果无需调用插件,大模型将直接生成结果并输出。

支持的模型

模型

模型标识符

通义千问-Turbo

qwen-turbo

通义千问-Plus

qwen-plus

通义千问-Max

qwen-max

通义千问2-开源版-57B

qwen2-57b-a14b-instruct

通义千问2-开源版-72B

qwen2-72b-instruct

说明

通义千问2开源版暂不兼容图片生成插件。最新的兼容性状态,请以控制台实际执行结果为准。

模型详情请参见模型列表

插件分类

官方插件

官方插件名称

说明

计费方案

Python代码解释器

使大模型可以执行Python代码片段,例如数学计算、数据分析与可视化、数据处理。

免费

计算器

使大模型可以进行复杂的数学计算,例如计算“12313x13232”。

免费

图片生成

使大模型可以基于文本生成图片,例如“请画一只在笑的小狗”。

限时免费,需申请开通

夸克搜索

使大模型可以搜索实时信息,查找公开的网络知识和信息,例如“杭州今天天气如何”。

限时免费,需申请开通

生成二维码

使大模型可以根据网站链接地址生成二维码,例如“请给百炼简介文档生成二维码:https://help.aliyun.com/zh/model-studio/getting-started/what-is-model-studio”。

限时免费

GitHub搜索

使大模型可以在GitHub中搜索相关项目列表,例如“GitHub搜索:通义千问”。

限时免费

自定义插件

除了官方插件外,百炼还支持用户引入自定义插件,具体操作请参见创建自定义插件

通过控制台使用插件

  1. 首先请确保您已经创建了一个大模型应用,具体操作请参见0代码构建私有知识问答应用。然后在我的应用页面单击目标大模型应用的管理按钮进入管理界面。

    image

  2. 单击选择插件,便可以在官方插件栏或者自定义插件栏中选择一个或多个插件。image

    说明

    可添加的插件数量上限为10个。

  3. 添加完成后在对话框中输入对应的任务,大模型就可以调用插件来进行回答。接下来向您展示官方插件的使用效果,模型均选择qwen-plus

Python代码解释器

示例输入

无插件时输出

有插件时输出

import matplotlib.pyplot as plt
import numpy as np

x = np.linspace(-2, 2, 100)
y1 = np.sqrt(1 + x**2)
y2 = -np.sqrt(1 + x**2)

plt.plot(x, y1, label='y = sqrt(1 + x^2)')
plt.plot(x, y2, label='y = -sqrt(1 + x^2)')
plt.xlabel('x')
plt.ylabel('y')
plt.title('Hyperbola')
plt.legend()
plt.show()

大模型应用无法执行Python代码,只会针对代码进行语言描述。

大模型应用具备了执行Python代码的能力,能够对数据进行可视化分析。

python不插.jpeg

python插.jpeg

Python代码解释器插件不支持对外访问网络以及上传本地文件,可用依赖:json5~=0.9.6、jupyter_client~=8.1.0、ipykernel~=6.25.0、seaborn、sympy、pydantic~=1.10.8、pillow~=9.4.0、fastapi~=0.101.1、dynaconf~=3.2.1、oss2~=2.18.1、matplotlib、starlette~=0.27.0、uvicorn~=0.23.2、requests~=2.31.0、scipy、html2text、matplotlib、pandas、pdf2image、pdfminer-six、pillow、pypdf、python-pptx、seaborn、sympy、wordcloud。

计算器

示例输入

无插件时输出

有插件时输出

12313x13232

大模型应用无法准确计算复杂数学问题,会出现计算错误的情况。正确结果应为162,925,616。

大模型应用具备了良好的计算能力,能够生成准确的计算结果。

计算器错.jpeg

计算器插.jpeg

图片生成

示例输入

无插件时输出

有插件时输出

请画一只在笑的小狗。

大模型应用无法直接绘制图片或图形,只能通过文字来描述画面。

大模型应用具备了直接绘制图片的能力,能够按指令生成小狗图片。

图文.jpeg

图文插.jpeg

夸克搜索

示例输入

无插件时输出

有插件时输出

杭州今天天气如何?

大模型应用无法获取实时信息,不能回答与实时天气有关的问题。

大模型应用具备了联网搜索,获取实时信息的能力,能够回答与实时天气有关的问题。

天气.jpeg

夸克搜索.png

夸克搜索插件目前支持检索出网页标题、关键词和摘要,但不支持直接访问网页详情。

生成二维码

示例输入

无插件时输出

有插件时输出

请给百炼简介文档生成二维码:https://help.aliyun.com/zh/model-studio/getting-started/what-is-model-studio

大模型应用无法直接生成二维码,而是提供了将链接转化为二维码的操作指南。

大模型应用具备了生成二维码的能力,能够根据百炼简介文档的URL链接生成对应二维码。

URL.jpeg

二维码.jpeg

GitHub搜索

示例输入

无插件时输出

有插件时输出

GitHub搜索:通义千问

大模型应用无法直接查询GitHub,而是给出了查询GitHub的操作指南。

大模型应用具备了查询GitHub项目的能力,能够给出与通义千问有关的项目列表。

github插.jpeg

GitHub.jpeg

GitHub搜索插件目前支持检索出项目标题、链接和摘要,不支持访问项目详情。

组合使用插件

百炼支持在同一个任务中调用多个插件,下面是一个参考示例,您可以根据实际需求来选择插件。

插件

示例输入

应用输出

夸克搜索+图片生成+生成二维码

请根据杭州今天的天气画一幅画并将画的地址生成二维码。

三插件.png

扫描二维码可以下载图片:

35efefdb-753e-4594-a96d-b33d0aa1bee3-1.png

通过Assistant API使用插件

百炼提供了Assistant API方便开发者快速通过代码构建大模型应用,关于如何使用Assistant API调用插件,请参见Assistant API文档