PAI ArtLab ComfyUI

更新时间:
复制 MD 格式

本文介绍ComfyUI工具使用说明。

点击登录PAI ArtLab控制台

前提条件

操作步骤

本文以使用ComfyUI(共享版)生成一张风格迁移图片,并基于该图片生成视频为例进行说明。

  1. 登录PAI ArtLab,鼠标悬停右上角image,选择华东2(上海)区域。

  2. 工具箱页面,单击ComfyUI(共享版)卡片,启动工具。

  3. 生成风格迁移图。

    1. 工作流示例文件拖入ComfyUI界面中。

    2. 上传风格图①区域上传一张风格素材示例图,在上传风格图②区域上传一张建筑示例图,然后单击执行,等待图片生成。

  4. 生成视频。

    1. 在工作流页面,单击image浏览示例模板。

    2. 选择ComfyUI-WanVideoWrapper > wanvideo_480p_I2V_example_01

    3. 配置如下相关参数。

      节点

      配置说明

      #22 WanVideoWrapper

      WanVideo Model Loader

      model选择WanVideo/Wan2_1-I2V-14B-480P_fp8_e4m3fn.safetensors

      #16 WanVideoWrapper

      WanVideo TextEncode

      This iconic building is completely covered by beautiful pink flowers, lush green leaves, intricate vines, spring garden aesthetics, as well as falling petals and fluttering butterflies. Surrealism, rich details, warm sunshine, 8K resolution, realistic natural and architectural scenes, advanced aesthetics, surrealism, high quality, and ultra clarity.

      #21 WanVideoWrapper

      WanVideo VAE Loader

      model_name选择WanVideo_1_VAE_bf16.safetensors

      #18

      加载图像

      单击upload上传已生成的风格迁移图。

    4. 单击执行,等待视频生成。

相关操作

使用第三方模型和安装自定义节点(ComfyUI插件)

  1. 确认部署的ComfyUI版本为专享版,ComfyUI共享版不支持使用第三方模型和安装自定义节点。

  2. 进入工作流挂载的OSS存储目录。单击右上角image图标,单击存储的Bucket链接。

    OSS路径下可以看到如下目录结构。

    该目录包含custom_nodes/input/models/output/temp/unet/子目录。

    其中:

    • custom_nodes:该目录用来存储节点文件。

      • 示例:一般安装三方平台节点,是需要将该节点库的文件包,从三方平台下载下来,再上传至custom_nodes路径下。比如安装一个节点,需要下载这个节点库也就是一个叫做ComfyUI_FlashVSR-main的文件夹,将这个文件夹上传至custom_nodes路径下即可。例如在GitHub代码仓库页面,单击Code > Download ZIP下载节点库压缩包。解压后可看到包含源代码和配置文件的节点文件夹。

    • models:该目录用来存放模型文件。

      • 示例1:安装一个节点库时,节点库依赖的模型:

        • 如上所述,一般节点库也会涉及到不同的模型,要想让节点顺利运行,依赖的模型也需要对应下载并且上传。那就将对应模型,分别上传至models路径下的FlashVSR路径跟vae路径。以上模型文件, 全部模型按路径上传到models/FlashVSRmodels/vae即可。

          ComfyUI/models/FlashVSR
          ├── LQ_proj_in.ckpt                                          # v1.1 or v1.0
          ├── TDecoder.ckpt
          ├── diffusion_pytorch_model_streaming_dmd.safetensors         # v1.1 or v1.0
          ├── posi_prompt.pth
          ComfyUI/models/vae
          ├── Wan2.1_VAE.pth                                           # or safetensors
          ├── lightvae2_1.pth                                          # 32.2M or taev2_1.pth, lighttaev2_1.pth
          ├── Wan2.1_VAE_upscale2x_imageonly_real_v1_diff.safetensors   # rename from diffusion_p
      • 示例2:运行一个工作流时,提示缺少模型:

        • 比如如下报错, 由于平台默认无法连接公网,需要用户将模型添加到models目录, 将depth_anything_v2_vits_fp16.safetensors模型添加到OSSmodels/depthanything/目录即可。错误提示中显示缺失模型的节点名称(如DownloadAndLoadDepthAnythingV2Model)及完整文件路径。

        • 如果OSS中没有找到对应路径,自行创建即可。

  3. 加载新模型或节点。

    在挂载的存储空间上传模型之后,单击PaiCustom > 加载新模型。如找不到模型,单击重启进程,重启成功后,刷新浏览器页面。

    上传节点文件之后,直接单击重启进程。重启成功后,刷新浏览器页面。

    如果还是找不到新模型或节点,请尝试在左侧菜单栏单击开发者中心,找到对应的ComfyUI服务,停止服务并再次启动

  4. 上传模型或节点文件。您可直接通过控制台上传文件到OSS。对于大文件,请参见如何上传大文件到OSS?

导出工作流的API版或原版文件

ComfyUI(共享版)新版

单击工作流 > 导出(API)则导出的是API版本工作流文件,单击导出则为原版工作流文件。

ComfyUI(共享版)旧版

单击保存(API格式)则导出的是API版本工作流文件,单击保存则为原版工作流文件。

ComfyUI(专享版)

单击Export(API)则导出的是API版本工作流文件,单击Export则为原版工作流文件。

切换ComfyUI新版和旧版

  • 从旧版切换至新版:

    打开设置对话框,在左侧选择Comfy分类,在右侧区域设置区域的下拉列表中选择新版即可。

  • 从新版切换至旧版:

    操作方式与上述步骤相同,在设置对话框的区域设置区域中将下拉列表选择为旧版即可。

ComfyUI API集成验证

详情请参见PAI ArtLab 开发者中心使用说明