安装并使用ComfyUI+DeepGPU

加速性能对比

与未配置ComfyUI+DeepGPU加速节点的场景相比，在GPU实例上（推荐单卡gn8is实例）配置ComfyUI+DeepGPU加速节点后，针对bf16和fp8两种精度的flux1-dev模型来说，其加速性能提升约30%。部分模型的文生图加速性能对比如下：

前提条件

• 已创建GPU实例，且GPU实例需满足以下要求：

  • 操作系统仅为Ubuntu 20.04和Ubuntu 22.04。

  • 已安装NVIDIA Driver、CUDA且满足相应的版本要求。

    说明

    创建GPU实例时，建议在选择镜像后，同时选中安装GPU驱动选项，并依次选择的CUDA版本、Driver版本以及cuDNN版本。

  • 实例已分配固定公网IP地址或绑定弹性公网IP（EIP）。如您不清楚如何开通公网，请参见开通公网。

• 已配置安全组规则。

  远程连接实例所需的22端口在创建安全组时默认为开启状态，启动ComfyUI服务器时需指定端口（例如7860）用于访问其图形化界面。您需要提前确认安全组的入方向已开放22、7860端口，如果未开放，请手动配置安全组规则。

安装ComfyUI+DeepGPU加速组件

ComfyUI属于开源项目，请您自行安装，然后按照本文操作安装DeepGPU加速组件。如需了解ComfyUI上集成的DeepGPU类型节点及相关工作流，请参见节点和工作流介绍。

1. 自行准备ComfyUI。

   说明

   ComfyUI属于开源项目，请您自行安装。如需了解ComfyUI上相关的节点和工作流示例，请参见节点和工作流介绍。

   如果在ComfyUI上加载原生LoRA模型（即使用LoraLoaderModelOnly加载LoRA模型），且使用deepgpu-torch加速该模型时，须修改ComfyUI源代码中的一行代码。

   • ComfyUI为v0.3.6及以下版本

     将ComfyUI/comfy/sd.py中的如下代码行，添加一个参数weight_inplace_update=True），修改为新目标代码。

     

     新目标代码如下：

     return comfy.model_patcher.ModelPatcher(model, load_device=load_device, offload_device=offload_device, weight_inplace_update=True)

   • ComfyUI为v0.3.7及以上版本

     将ComfyUI/comfy/sd.py中的如下代码行，添加一个参数weight_inplace_update=True，修改为新目标代码。

     

     新目标代码如下：

     model_patcher = comfy.model_patcher.ModelPatcher(model, load_device=load_device, offload_device=model_management.unet_offload_device(), weight_inplace_update=True)

2. 安装DeepGPU加速组件。

   1. 通过Workbench远程连接GPU实例。

   2. 查看python版本，确认是否适配deepgpu-torch加速组件依赖要求。

      deepgpu-torch加速组件依赖于python 3.10环境，需提前确认python版本是否满足依赖条件。

      Ubuntu 22.04

      执行python3 -V查看Python版本（如下图所示），Ubuntu 22.04系统默认已安装Python 3.10.12版本，满足deepgpu-torch加速组件依赖要求。

      

      Ubuntu 20.04

      执行python3 -V查看Python版本（如下图所示），Ubuntu 20.04系统默认已安装Python 3.8.10版本，不满足deepgpu-torch加速组件依赖要求。

      

      您可以通过安装 Miniconda 来搭建一个基于Python 3.10的独立环境，或者自行选择其他方法创建基于Python 3.10的环境。

      1. 执行以下命令，下载Miniconda安装脚本。

         wget https://repo.anaconda.com/miniconda/Miniconda3-py310_24.1.2-0-Linux-x86_64.sh

      2. 执行以下命令，安装Miniconda并激活Miniconda环境。

         bash ./Miniconda3-py310_24.1.2-0-Linux-x86_64.sh -b -p /workspace/miniconda
         source /workspace/miniconda/bin/activate

      3. 再次执行python3 -V查看Python版本。

         

         说明

         重新进入系统时，您需要执行source /workspace/miniconda/bin/activate命令切换到虚拟的Python 3.10环境。

   3. 执行以下命令，安装torch。

      deepgpu-torch加速组件依赖于torch 2.5.x+cu124（即torch 2.5.x默认安装的CUDA版本）环境。本示例以安装torch 2.5.0版本为例，如需安装其他版本，请替换相应的torch版本。

      pip install torch==2.5.0

      执行python3 -c "import torch; print(torch.__version__)"确认torch 2.5.0+cu124已安装。

      

   4. 执行以下命令，安装deepgpu-torch。

      apt-get install which curl iputils-ping -y
      pip install deepgpu-torch==0.0.15+torch2.5.0cu124 -f https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/deepgpu/deepytorch/index.html

      执行pip list | grep deepgpu-torch，查看已安装的deepgpu-torch版本信息。

      

   5. 执行以下命令，下载并安装DeepGPU加速组件的插件（用于适配ComfyUI）。

      将DeepGPU加速组件的插件下载后，解压到ComfyUI/custom_nodes/目录下。

      cd ComfyUI/custom_nodes/
      wget https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/deepgpu/comfyui/flux/20250102/ComfyUI-deepgpu.tar.gz
      tar zxf ComfyUI-deepgpu.tar.gz
      cd ../..
      
      pip install deepgpu-comfyui==1.0.8 -f https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/deepgpu/comfyui/index.html

      执行pip list | grep deepgpu-comfyui命令，查看DeepGPU加速组件的插件已安装。

      

使用ComfyUI+DeepGPU加速文生图

本示例以Ubuntu 22.04系统的gn7ix实例上安装DeepGPU加速版为例，展示使用ComfyUI+DeepGPU测试FLUX模型的文生图加速效果。

1. 安装基础环境（torch、ComfyUI相关依赖和deepgpu加速组件）。

   1. 通过Workbench远程连接GPU实例。

   2. 执行python3 -V命令，确保python版本为3.10版本。

      Ubuntu 22.04系统默认已安装Python 3.10.12版本，满足deepgpu-torch加速组件依赖要求。如果您使用的是Ubuntu 20.04系统的GPU实例，请继续搭建一个基于Python 3.10的独立环境。更多信息，请参见Ubuntu 20.04。

   3. 执行以下命令，安装torch。

      # 以安装torch 2.5.0版本为例，如需安装其他版本，请替换相应的torch版本。
      pip install torch==2.5.0 torchvision==0.20.0 torchaudio==2.5.0

      执行python3 -c "import torch; print(torch.__version__)" 查看已安装的torch版本。

      

   4. 执行以下命令，安装ComfyUI相关依赖。

      pip install PyYAML safetensors numpy Pillow einops psutil transformers scipy torchsde aiohttp comfyui-frontend-package==1.11.8 kornia spandrel av

   5. 执行以下命令，安装deepgpu加速组件。

      apt-get install which curl iputils-ping -y
      pip install deepgpu-torch==0.0.15+torch2.5.0cu124 -f https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/deepgpu/deepytorch/index.html
      pip install deepgpu-comfyui==1.0.8 -f https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/deepgpu/comfyui/index.html

      执行pip list | grep deepgpu-torch或pip list | grep deepgpu-comfyui查看安装的deepgpu加速组件版本。

      

2. 执行以下命令，下载ComfyUI源代码。

   本示例仅以下载ComfyUI源代码为例，您可以自行下载定制化后的ComfyUI代码。

   Ubuntu 22.04

   git clone -b v0.3.26 https://github.com/comfyanonymous/ComfyUI
   sed -i "s|comfy.model_patcher.ModelPatcher(model, load_device=load_device, offload_device=model_management.unet_offload_device())|comfy.model_patcher.ModelPatcher(model, load_device=load_device, offload_device=model_management.unet_offload_device(), weight_inplace_update=True)|g" ComfyUI/comfy/sd.py

   Ubuntu 20.04

   apt install git
   git clone -b v0.3.26 https://github.com/comfyanonymous/ComfyUI
   sed -i "s|comfy.model_patcher.ModelPatcher(model, load_device=load_device, offload_device=model_management.unet_offload_device())|comfy.model_patcher.ModelPatcher(model, load_device=load_device, offload_device=model_management.unet_offload_device(), weight_inplace_update=True)|g" ComfyUI/comfy/sd.py

3. 执行以下命令，下载DeepGPU加速组件的插件。

   cd ComfyUI/custom_nodes/
   wget https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/deepgpu/comfyui/flux/20250102/ComfyUI-deepgpu.tar.gz
   tar zxf ComfyUI-deepgpu.tar.gz
   ls
   cd ../..

4. 执行以下命令，下载FLUX模型。

   本示例仅以下载官网FLUX模型为例，您可以自行下载已训练的模型。

   cd ComfyUI
   wget -P models/unet https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/deepgpu/comfyui/flux/models/flux1-dev.safetensors
   wget -P models/clip https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/deepgpu/comfyui/flux/models/t5xxl_fp16.safetensors
   wget -P models/clip https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/deepgpu/comfyui/flux/models/clip_l.safetensors
   wget -P models/vae https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/deepgpu/comfyui/flux/models/ae.safetensors

   说明

   下载模型可能需要大约一定时间，请您耐心等待。

5. 执行以下命令，启动ComfyUI服务。

   python3 main.py --listen 0.0.0.0 --port 7860

6. 在浏览器中输入http://IP:7860，访问ComfyUI服务。

   IP为所在GPU服务的公网出口IP。

7. 在ComfyUI界面，选择工作流 > 打开，选择示例工作流中提供的json文件，然后单击执行。

   重要

   如果先测试了配置DeepGPU加速节点场景，再测试未配置DeepGPU加速节点场景，则每次切换配置时您都需要重启ComfyUI服务。

   • 未启用deepgpu加速功能：即JSON文件选择flux-dev基础版本（workflow_flux.json），工作流执行效果展示：

     

   • 启用deepgpu加速功能：即JSON文件选择flux-dev DeepyTorch加速版本（workflow_flux_deepytorch.json），工作流执行效果展示：

     

   执行完成后，在GPU远程连接页面查看文生图执行时间，即查看Prompt executed in字段后的时间（如下图）。您可以看到，相比未配置ComfyUI+DeepGPU加速节点的情况，在GPU实例上配置ComfyUI+DeepGPU加速节点后，其文生图加速性能显著提升，更多性能比较，请参见加速性能对比。

   

节点和工作流介绍