PAI ArtLab Stable Diffusion WebUI

本文介绍Stable Diffusion WebUI工具使用说明。

点击登录PAI ArtLab控制台

前提条件

操作步骤

本文以使用Stable Diffusion(共享版)的文生图功能生成图片,并基于该图片继续生成新的图片为例进行说明。

步骤一:文生图

  1. 登录PAI ArtLab,鼠标悬停右上角image,选择华东2(上海)区域。

  2. 工具箱页面,单击Stable Diffusion(共享版)卡片,启动工具。

  3. Stable Diffusion 模型选择目标Checkpoint模型。

  4. 文生图 > Generation页签,配置以下参数。

    参数

    说明

    提示词区域

    • 正向提示词(夏天):Green, Spring, Bamboo Forest, River:1.2, Flowing Water, Nature, Poetic Atmosphere, Green Theme, jade, light green, Masterpiece:1.2, Best Picture Quality, High Definition, Original, Extremely Good Wallpaper, Perfect Light, Extremely Good CG:1.2, Best Picture Quality, Magical Light Effect, super rich, super detailed, 32k, Abstract, 3D<lora:shuimo:0.5> <lora:green:0.1> <lora:guofeng:0.8>

    • 反向提示词:lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry

    迭代步数(Steps)

    设置为30

    采样方法(Sampler)

    选择DPM++2M Karras

    宽度

    设置为512

    高度

    设置为768

    随机数种子(Seed)

    以下取值任选其一即可:

    -1、994414790、2897581471、4112712676460787179。

  5. 文生图 > Generation > ControlNet > ControlNet Unit 0页签,配置以下参数。

    参数

    说明

    单张图片

    上传示例图片,并勾选启用完美像素模式允许预览

    控制类型

    选择Lineart(线稿)

    预处理器

    选择lineart_coarse

    模型

    选择control_v11p_sd15_lineart[3ead383e]

    控制权重

    设置为0.8

  6. 单击image预览图片预处理效果。

    image

  7. 单击生成

    在不改变参数的情况下,您可以使用不同提示词和模型的搭配组合,生成不同风格的图片。

步骤二:图生图

  1. 可通过以下两种方式将文生图的结果发送到图生图,发送的图会包含之前生成这张图的所有信息。

    • 方式一:在文生图页签,将总批次数设置为4,单击生成,挑选生成效果满意的图片,单击image发送至图生图。

      image

    • 方式二:在PNG图片信息页签,上传生成的图片,单击发送到图生图

      image

  2. 图生图 > Generation > ControlNet > ControlNet Unit 0页签,配置以下参数。

    参数

    说明

    单张图片

    上传已生成的图片,并勾选启用完美像素模式允许预览Upload independent control image

    控制类型

    选择Tile(分块)

    预处理器模型保持默认即可。

    控制权重

    设置为0.8

  3. 图生图 > Generation > 脚本 > ControlNet Unit 0页签,配置以下参数。

    参数

    说明

    脚本

    选择Ultimate SD upscale

    Target size type

    选择Scale from image size

    放大算法

    选择4x-UltraSharp

  4. 单击生成

相关操作

安装Stable Diffusion WebUI(插件)

Stable Diffusion WebUI专享版支持安装节点。具体操作,请参见如何上传本地模型插件到PAI ArtLab平台

添加模型广场的模型

详情请参见使用模型广场的模型

附录:PAI ArtLabStable Diffusion WebUI工具和开源的Stable Diffusion WebUI区别

PAI ArtLabStable Diffusion基于模型推理服务EAS,提供开源Stable Diffusion项目的云端快速部署及使用。

为适应云端部署及企业用户的特定需求,相较于开源项目建议的PC单机部署方式,PAI团队在确保兼容性的前提下,针对云服务和企业用户需求进行了二次开发,推出PAI Stable Diffusion WebUI解决方案,具体功能如下:

  • 敏捷部署

    • 获取阿里云账号后,5分钟内即可完成部署,获取WebUI访问链接,体验媲美本地部署。

    • 预置常用插件,热门开源模型下载加速。

    • 云上提供丰富GPU资源,包括A10、GU60、GU100等规格,显存覆盖24 GB、48 GB、80 GB96 GB等,便于执行不同复杂度任务。

  • 企业级功能

    • 实现前后端解耦,支持多用户多GPU卡集群调度,如10个用户共享3GPU。

    • 支持阿里云子账号鉴权,确保模型与输出隔离,共享访问入口与GPU资源。

    • 账单系统支持工作室、集群级别拆分,便于财务管理。

  • 深度优化与插件生态系统

    • 集成PAI-blade,显著加速图像生成,比原版快2~3倍,对比xformer优化提升20%-60%,且对模型生成效果无损。

    • 提供filebrowser插件,便于模型与图片的云端传输。

    • 提供自研modelzoo插件,支持开源模型下载加速,实现模型维度的Prompt、图片结果和参数管理。

    • 企业用户使用时,支持插件集中管理与用户个性化配置。