PAI ArtLab 设计智能体使用说明

设计智能体(Design Agent)是PAI-ArtLab推出的Agent能力,通过自然语言指令即可轻松完成高质量的图像生成、视频制作及精细化图片编辑,极大降低创意实现门槛,释放自然语言的创造力,重新定义AIGC设计工作流。

设计智能体具备以下特点:

  • 支持AI生成图片/视频:深度融合通义万相、Qwen-Image等顶尖模型,一句话生成图像、视频与图片编辑,随时提出修改意见、调整细节

  • 支持联网搜索:内置联网搜索能力,获取互联网实时信息,激发创意,让创意永不枯竭

  • 支持自定义工具:无缝集成ComfyUI,支持将复杂的ComfyUI工作流封装为Agent工具,满足专业级创作需求,扩展无限可能

  • 企业级安全:专属计算资源,数据不出域,安全无忧

本文介绍如何配置设计智能体,以及如何使用智能体进行创作。

配置设计智能体

创建企业/用户专属的设计智能体依赖多个阿里云产品组件,包括阿里云百炼、PAI-LangStudio等,需要按照以下步骤完成智能体创建的前置依赖配置。

前置依赖

  1. 配置PAI工作空间默认存储

进入人工智能平台PAI控制台,在【工作空间详情-存储路径配置】中,将工作空间默认存储配置成ArtLabOSS bucket。注意PAI的工作空间要选择与ArtLab使用时相同的工作空间。

image.png

ArtLabOSS bucket获取方式:点击Artlab右上角头像,可以看到存储所用的OSS bucket

image.png

  1. 配置百炼大模型服务连接

PAI控制台菜单的【AI资产管理-连接-模型服务】中,新建连接

image.png

连接类型选择百炼大模型服务,填写api_key(api key可在百炼控制台获取,推荐在百炼的默认业务空间下直接创建api key)

image.png

  1. (可选)配置搜索连接

PAI控制台菜单的【AI资产管理-连接-搜索服务】中,新建连接。如果在ArtLab设计智能体中不使用联网搜索能力,则无需配置搜索连接。

image.png

  1. 配置专有网络

配置专有网络VPC、交换机、安全组,且需要为VPC开通公网访问能力。请参考场景一:让EAS服务访问公网

创建设计智能体

ArtLab【开发者中心-专属智能体】页面,点击创建智能体。

  • 资源配置:选择一个CPU资源即可。该资源用来运行Agent

  • PAI连接-百炼大模型服务:选择在前置依赖中配置好的百炼大模型服务连接。该连接用来调用百炼大模型进行Agent中的请求意图识别、任务规划等

  • PAI连接-搜索服务:选择在前置依赖中配置好的搜索连接。该连接用来实现Agent的联网搜索能力(如果不需要联网搜索可不配置)

  • 基础工具:Agent内置了图像编辑、文生视频、图生视频等工具能力,按需配置,可多选

  • ArtLab应用工具:此处可选择引入ArtLab应用广场中支持的工具,以及在我的应用中发布为智能体工具的应用。Agent支持通过配置自定义工具的方式,来实现更具自由度的各类生图任务。需要先选择一个运行中的ComfyUI专享版服务,用来在Agent调用该工具时执行ComfyUI工作流。(如何配置自定义工具请参考为智能体配置自定义工具

  • 专有网络配置:选择支持访问公网的专有网络、交换机、安全组

image.png

创建好的智能体会在列表中展示,支持操作如下:

  • 点击服务名称:打开PAI-EAS控制台查看Agent服务详情

  • 打开:直接打开Agent使用界面

  • 停止:停止Agent服务(Agent为独占资源模式,服务不支持自动关机,需手动停止或删除,否则会持续计费)

  • 更新:可编辑并更新Agent服务配置

  • 删除:删除Agent。Agent删除后,之前通过Agent生成的图片不会跟随删除,图片会保留在您的对象存储OSS

image.png

使用设计智能体

ArtLab左侧菜单【智能体】模块,您可以查看当前工作空间下所有的智能体,也可查看智能体可用状态。一个工作空间下可以创建多个智能体(每个智能体可以有不同配置,例如配置不同工具)

image.png

进入某个智能体后,下方为输入需求框,支持上传图片,进行图生图/图片编辑等操作

智能体回复中,生成的图片支持下载、应用该图片到下轮对话

界面右上角支持创建新会话、查看历史会话/删除历史会话

image.png

上传的图片或引用的图片支持使用画笔进行涂抹,可结合输入的需求实现图片编辑等任务(例如:将图片中涂抹的区域替换成其他内容)。

image.png

为智能体配置自定义工具

ArtLab支持将ComfyUI工作流发布成自定义应用(我的应用),并支持将我的应用发布成一个智能体工具,从而被设计智能体调用。步骤如下:

  1. 发布自定义应用

将一个ComfyUI工作流发布成自定义应用(我的应用),请参考

创建应用

  1. 将我的应用发布为智能体工具

在我的应用中,点击发布为智能体应用,填写工具描述(决定在Agent使用时何时会调用该工具)、工具返回、工具参数(Agent调用时在需求描述中需要提供的参数)

image.png

image.png

  1. Agent配置中添加该工具

在创建智能体/更新智能体的配置中,在ArtLab应用工具选项中关联该工具