基于函数计算构建ComfyUI+SD/FLUX文生图服务

1. DeepGPU安装

使用DeepGPU加速ComfyUI + SD/FLUX的推理前，需要安装依赖包：

• torch2.5安装

  RUN pip install torch==2.5.0

• deepgpu-torch安装

  DeepGPU的torch模型加速包，支持FLUX.1、VAE等模型加速。

  # ubuntu
  RUN apt-get update
  RUN apt-get install which curl iputils-ping -y
  # centos
  # RUN yum install which curl iputils -y
  
  #先安装torch，deepgpu-torch依赖python3.10、torch2.5.x+cu124（如需其他版本，请联系我们）
  RUN pip install deepgpu-torch==0.0.15+torch2.5.0cu124 -f https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/deepgpu/deepytorch/index.html

  把插件下载后，解压到custom_nodes/目录下

  RUN wget https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/deepgpu/comfyui/flux/20250102/ComfyUI-deepgpu.tar.gz
  RUN tar zxf ComfyUI-deepgpu.tar.gz  -C  /app/ComfyUI/custom_nodes
  
  RUN pip install deepgpu-comfyui==1.0.8 -f https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/deepgpu/comfyui/index.html

2.ComfyUI源码修改（重要）

1. 依赖的版本

   x-flux-comfyui更新到github最新版；

2. 原生LoRA支持

   如果有ComfyUI原⽣LoRA模型使⽤LoraLoaderModelOnly加载LoRA模型，并且在使⽤deepgpu-torch加速的情况下，必须修改ComfyUI源码里的⼀行代码。

   • 如果ComfyUI是v0.3.6版本以下

     代码地址：

     https://github.com/comfyanonymous/ComfyUI/blob/v0.3.6/comfy/sd.py#L779

     

     在这⼀⾏添加⼀个参数weight_inplace_update=True。

     return comfy.model_patcher.ModelPatcher(model, load_device=load_device, off
     load_device=offload_device, weight_inplace_update=True)

   • 如果ComfyUI是v0.3.7版本以上

     代码地址：https://github.com/comfyanonymous/ComfyUI/blob/v0.3.7/comfy/sd.py#L785

     

     在这⼀⾏添加⼀个参数weight_inplace_update=True。

     model_patcher = comfy.model_patcher.ModelPatcher(model, load_device=load_de
     vice, offload_device=model_management.unet_offload_device(), weight_inplace
     _update=True)

3. 以下提供一个安装DeepGPU的示例镜像。

   # Dockerfile
   FROM python:3.10
   
   # 安装系统依赖
   RUN apt-get update && apt-get install -y \
       git \
       wget \
       && rm -rf /var/lib/apt/lists/*
   
   WORKDIR /app
   
   # 克隆ComfyUI仓库
   RUN  git  clone  https://github.com/comfyanonymous/ComfyUI.git
   
   WORKDIR /app/ComfyUI
   
   #设置python 依赖包加速
   RUN pip config set global.index-url https://mirrors.cloud.aliyuncs.com/pypi/simple
   RUN pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
   RUN pip config set install.trusted-host mirrors.cloud.aliyuncs.com
   
   # 安装PyTorch（默认NVIDIA CUDA版本，可根据需要修改）
   RUN pip install torch==2.5.0+cu124 torchvision==0.20.0+cu124 torchaudio==2.5.0 --index-url https://download.pytorch.org/whl/cu124
   
   # 安装项目依赖
   RUN pip install -r requirements.txt
   
   # ubuntu
   RUN apt-get update
   RUN apt-get install which curl iputils-ping -y
   # centos
   # RUN yum install which curl iputils -y
   
   #先安装torch，deepgpu-torch依赖python3.10、torch2.5.x+cu124（如需其他版本，请联系DeepGPU team）
   RUN pip install deepgpu-torch==0.0.15+torch2.5.0cu124 -f https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/deepgpu/deepytorch/index.html
   
   #把插件下载后，解压到custom_nodes/目录下
   RUN wget https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/deepgpu/comfyui/flux/20250102/ComfyUI-deepgpu.tar.gz
   RUN tar zxf ComfyUI-deepgpu.tar.gz  -C  /app/ComfyUI/custom_nodes
   
   RUN pip install deepgpu-comfyui==1.0.8 -f https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/deepgpu/comfyui/index.html
   
   # 暴露服务端口
   EXPOSE 8188
   
   # 启动命令
   CMD ["python", "main.py"]

3. 环境变量配置

在阿里云函数计算中使用DeepGPU时，需要配置特定的环境变量DEEPGPU_PUB_LS=true和DEEPGPU_ENABLE_FLUX_LORA=true。

4. （可选）配置GPU闲置模式

通过配置预留实例，您可以有效降低实例冷启动导致的请求延迟问题。同时，您可以配置预留实例的弹性伸缩规则如定时伸缩和水位伸缩，提高实例使用率，解决资源浪费问题。

5. DeepGPU ComfyUI插件使用方法

插件中包含4种DeepGPU类型的节点，可以在ComfyUI界面搜索框中通过输入DeepyTorch找到：

• Apply DeepyTorch to disffusion model

• Apply DeepyTorch to vae model

• DeepTorch Sampler to replace XlabsSampler

使用指南

插入位置：针对flux将Apply DeepyTorch to disffusion model节点插入到Load Diffusion Model、或者Load Flux LoRA、或者Apply Flux IPAdapter节点后面，针对其他模型则插入到Load Checkpoint、或者LoraLoaderModelOnly节点后面。以导入为例，如下图所示。

Sampler替换：DeepTorch Sampler to replace XlabsSampler节点针对flux用于替换XLabsSampler节点。