PAI ArtLab ComfyUI

本文介绍ComfyUI工具使用说明。

点击登录PAI ArtLab控制台

前提条件

操作步骤

本文以使用ComfyUI(共享版)生成一张风格迁移图片,并基于该图片生成视频为例进行说明。

  1. 登录PAI ArtLab,鼠标悬停右上角image,选择华东2(上海)区域。

  2. 工具箱页面,单击ComfyUI(共享版)卡片,启动工具。

  3. 生成风格迁移图。

    1. 工作流示例文件拖入ComfyUI界面中。

    2. 上传风格图①区域上传一张风格素材示例图,在上传风格图②区域上传一张建筑示例图,然后单击执行,等待图片生成。

  4. 生成视频。

    1. 在工作流页面,单击image浏览示例模板。

      image

    2. 选择ComfyUI-WanVideoWrapper > wanvideo_480p_I2V_example_01

      image

    3. 配置如下相关参数。

      节点

      配置说明

      #22 WanVideoWrapper

      WanVideo Model Loader

      model选择WanVideo/Wan2_1-I2V-14B-480P_fp8_e4m3fn.safetensors

      #16 WanVideoWrapper

      WanVideo TextEncode

      This iconic building is completely covered by beautiful pink flowers, lush green leaves, intricate vines, spring garden aesthetics, as well as falling petals and fluttering butterflies. Surrealism, rich details, warm sunshine, 8K resolution, realistic natural and architectural scenes, advanced aesthetics, surrealism, high quality, and ultra clarity.

      #21 WanVideoWrapper

      WanVideo VAE Loader

      model_name选择WanVideo_1_VAE_bf16.safetensors

      #18

      加载图像

      单击upload上传已生成的风格迁移图。

    4. 单击执行,等待视频生成。

相关操作

使用第三方模型和安装自定义节点(ComfyUI插件)

  1. 确认部署的ComfyUI版本为专享版,ComfyUI共享版不支持使用第三方模型和安装自定义节点。

  2. 进入工作流挂载的OSS存储目录。单击右上角image图标,单击存储的Bucket链接。

    image

    OSS路径下可以看到如下目录结构。

    image

    其中:

    • custom_nodes:该目录用来存储节点文件。

      • 示例:一般安装三方平台节点,是需要将该节点库的文件包,从三方平台下载下来,再上传至custom_nodes路径下。比如安装一个节点,需要下载这个节点库也就是一个叫做ComfyUI_FlashVSR-main的文件夹,将这个文件夹上传至custom_nodes路径下即可。imageimageimage

    • models:该目录用来存放模型文件。

      • 示例1:安装一个节点库时,节点库依赖的模型:

        • 如上所述,一般节点库也会涉及到不同的模型,要想让节点顺利运行,依赖的模型也需要对应下载并且上传。如下图所示。那就将对应模型,分别上传至models路径下的FlashVSR路径跟vae路径。如下图中的模型文件, 全部模型按路径上传到models/FlashVSRmodels/vae即可。image

      • 示例2:运行一个工作流时,提示缺少模型:

        • 比如如下报错, 由于平台默认无法连接公网,需要用户将模型添加到models目录, 将depth_anything_v2_vits_fp16.safetensors模型添加到OSSmodels/depthanything/目录即可。image

        • 如果OSS中没有找到对应路径,自行创建即可。

  3. 加载新模型或节点。

    在挂载的存储空间上传模型之后,单击PaiCustom > 加载新模型。如找不到模型,单击重启进程,重启成功后,刷新浏览器页面。

    上传节点文件之后,直接单击重启进程。重启成功后,刷新浏览器页面。

    image

    如果还是找不到新模型或节点,请尝试在左侧菜单栏单击开发者中心,找到对应的ComfyUI服务,停止服务并再次启动

    image

  4. 上传模型或节点文件。您可直接通过控制台上传文件到OSS。对于大文件,请参见如何上传大文件到OSS?

导出工作流的API版或原版文件

ComfyUI(共享版)新版页面

单击工作流 > 导出(API)则导出的是API版本工作流文件,单击导出则为原版工作流文件。

image

ComfyUI(共享版)旧版页面

单击保存(API格式)则导出的是API版本工作流文件,单击保存则为原版工作流文件。

image

ComfyUI(专享版)页面

单击Export(API)则导出的是API版本工作流文件,单击Export则为原版工作流文件。

image

切换ComfyUI新版和旧版

  • 从旧版切换至新版:

    image

  • 从新版切换至旧版:

    image

ComfyUI API集成验证

详情请参见PAI ArtLab 开发者中心使用说明