ComfyUI 工作流搭建-纹理融合

实验室资源方式简介

进入实操前，请确保阿里云账号满足以下条件：

• 个人账号资源

  • 使用您个人的云资源进行操作，资源归属于个人。

  • 平台仅提供手册参考，不会对资源做任何操作。

• 确保已完成云工开物300元代金券领取。

• 已通过实名认证且账户余额≥0元。

• 本实验，预计产生费用：约0.012元（以仅用SDWebUI（共享版）生成一张512*512最简单的图（393kb，1.66sec）为例估算）

如果您调整了资源规格、使用时长，或执行了本方案以外的操作，可能导致费用发生变化，请以控制台显示的实际价格和最终账单为准。

平台开通及授权

在开始实验之前，请先点击右侧屏幕的“进入实操”再进行后续操作

第一步：本次实验需要您通过领取阿里云云工开物学生专属300元抵扣券兑换本次实操的云资源，如未领取请先点击领取。（若已领取请跳过）

第二步：进入并开通PAI ArtLab并授权

• 点击访问PAI ArtLab平台

• 初次进入平台，依次点击两步，完成PAI ArtLab平台开通与授权

  

• 完成PAI ArtLab平台开通与授权，进入到首页

  

实验步骤

• 一、拉起SD共享版服务

  在工具箱页面，选择ComfyUI（共享版）工具（初次拉起需要一些时间请耐心等待）

  

• 二、清除默认工作流

  先选择清除默认的工作流，然后开始搭建关于纹理融合的工作流。

  

• 三、使用comfyUI的“批量图片”节点合并图片

  首先，选择要合并的图像，将它们输入到“图像组合批次”节点。这将创建一个批处理，然后该批处理将输入到应用IPAdapter（高级）中，按顺序处理每个图像。再创建IPAdapter模型加载器和CLIP视觉加载器连入应用IPAdapter（高级）中。

  • 具体节点操作：

    • 1、右击界面空白处——新建节点——图像——加载图像（按住Alt键拖拉进行复制）

    • 2、新建节点——图像——图像组合批次

    • 3、新建节点——应用IPAdapter——应用IPAdapter（高级）

    • 4、新建节点——应用IPAdapter——加载器——IPAdapter模型加载器

    • 5、新建节点——加载器——CLIP视觉加载器

      

  • 模型下载地址：

    • IPAdapter模型加载器

    • CLIP视觉加载器：model.safetensors——系统网页自带

  • IPAdapter节点提供了几种嵌入组合方式：

    

    • 联结：

      此技术将每个图像的嵌入连接起来，保留并混合它们的属性，形成一个综合集合。此方法非常适合包含各种图像特征，尽管它可能会增加处理信息的复杂性。

    • 相加：

      通过将嵌入添加在一起，这种方法放大了图像的共同特征，促进了合并图像的统一主题或特征。

    • 相减：

      相反，减去嵌入可以突出每幅图像的独特品质，提供一种探索和强调对比的独特方式。

    • 平均：

      此方法将每幅图像的特征均匀融合，确保没有一张图像主导结果。它非常适合实现所有图像的均衡和均匀呈现。

    • 规格化平均：

      此选项根据批次中的相对重要性缩放每幅图像的影响力，从而对最终图像进行详细调整，确保其符合需要的视觉。

• 四、使用comfyUI的K采样器生成符合提示词和条件的高质量图像

  • 模型/提示词/尺寸：

    • 1、右击新建节点—加载器—checkpoint加载器

    • 2、右击新建节点—条件—CLIP文本编码

      • 正向提示词：

        The pattern blends seamlessly with the pattern, intricate details, creation again, high resolution

      • 负向提示词：

        people, intricate patterns, moise, sharp transitions

    • 3、右击新建节点—Latent—Stable Cascade —空Latent

      

  • Checkpoint模型下载地址

  • K采样器/图像生成：

    • 1、右击新建节点—采样—K采样器

    • 2、右击新建节点—Latent—VAE解码

    • 3、右击新建节点—图像—保存图像

      

  • K采样器选项：

    • 运行后操作：

      运行后操作指在采样完成后，对生成的图像进行的额外处理，如增强、锐化或滤波，以进一步提升图像质量或达到特定效果。

    • 步数：

      决定了模型生成图像时的迭代次数，步数越多，图像生成的细节和质量通常越高，但也会增加处理时间。

    • CFG：

      调节了提示词对生成图像的影响强度。较高的 CFG 值会使图像更加符合提示词的描述，但过高的值可能导致图像失真或不自然

    • 采样器：

      采样器决定了生成图像的算法或方法。不同的采样器（如 Euler, LMS, DPM++ 等）会采用不同的采样策略，影响图像生成的风格、速度和质量。

    • 调度器：

      调度器管理噪声的添加和去除顺序，控制生成过程中噪声的变化模式。它影响生成过程的平滑度和稳定性，不同的调度器会导致生成速度和图像质量的不同。

    • 降噪：

      降噪控制生成过程中噪声的去除程度。较低的降噪值保留更多原始图像的细节，而较高的降噪值会使生成的图像更接近提示词描述，但可能会丢失一些细节。

• 五、整体工作流

  整体纹理融合工作流节点连接

  

• 六、纹理融合生成示例

  

  

  

  

• 七、保存工作流

  

清理资源

• 如果无需继续使用工具，您可以按照以下操作步骤停止或删除工具。

  • 在PAI ArtLab控制台中，关闭ComfyUI（共享版）页签，EAS模型服务将会停止，不会继续收费。

    

• 前往PAI ArtLab控制台

• 在页面左上方，选择模型所在地域，本实验EAS实例所在地域为华东2（上海）

• 在左侧导航栏单击工作空间列表，在工作空间列表页面中单击默认工作空间名称，进入对应工作空间内。

• 在工作空间页面的左侧导航栏中单击模型在线服务（EAS）。在模型在线服务（EAS）页面，找到目标服务。单击其右侧操作列下的删除

  • 

• 如果需要继续使用Stable Diffusion（共享版），请随时关注账号扣费情况，避免模型会因欠费而被自动停止。

场景简介

• 用ComfyUI探索无限创意，打造独特纹理融合效果！从零开始从新建节点创建纹理融合工作流；掌握ComfyUI的纹理融合工具，探索不同混合模式；使用节点选项优化你的作品，确保每一个细节都完美呈现。

• 在本实验场景中，将使用阿里云一站式 AIGC 设计平台 PAI ArtLab，云端一键启动 Stable Diffusion WebUI（共享版）工具，零代码无需部署即可体验 Stable Diffusion 文生图模型。本实验依赖两款云产品，分别是对象存储 OSS 和模型在线服务 PAI-EAS，对象存储 OSS 支持模型、图像、文本等文件的存储、预览及下载等能力。模型在线服务 PAI-EAS 支持利用云上 GPU 进行模型在线推理生图。

• 本实验场景无需深奥的AI背景知识，只需启动生图工具，依据实验教程文档，在生图工具界面输入图像生成的提示词，即可轻松完成本实验获取AI生成图像，感受AIGC的魅力。

• 在使用平台工具过程中，如有任何疑问和建议，您可以加入钉钉群（群号：88010006410）反馈，并获取技术支持。

背景知识

1. 智能设计（PAI ArtLab）

   • PAI ArtLab是由阿里云人工智能平台PAI联合阿里云智能设计部共同打造的平台产品，面向设计场景，旨在为设计师提供自动化设计工具的一站式AIGC设计平台。平台打通了数据集管理与模型训练、AI绘图与在线推理的全场景链路，集成了主流的文生图类型的AIGC大模型工具及文生图模型开箱即用。设计师无需编程功底也可利用AI技术进行批量自动化图片生产，有效降低文生图大模型的使用学习成本和技术门槛，为设计想象力和设计生产力加速。帮助您在设计、艺术、创意行业快速应用AIGC能力。

2. PAI ArtLab平台依赖以下两款云产品：

   1. 对象存储OSS：模型、图像、文本等文件的存储、预览及下载会消耗此产品资源；

   2. 模型在线服务PAI-EAS：利用云上GPU进行模型在线推理会消耗此产品资源;

      (在您使用平台、用代金券进行资源抵扣及付费购买的过程中，会感知到以上2款阿里云产

      品。

关闭实验

• 在完成实验后，点击 结束实操

  

• 点击 取消 回到实验页面，点击 确定 跳转实验评分

  

• 请为本次实验评分，并给出您的建议，点击 确认，结束本次实验