如何使用SDWebUI_人工智能平台 PAI(PAI)-阿里云帮助中心

本文为您介绍如何使用SDWebUI。

背景信息

Stable Diffusion是由Stability AI开发的图像AI大模型，能够根据文本指令生成全新图像，也能够根据文本指令修改现有图像。Stable Diffusion WebUI是由AUTOMATIC1111为该模型开发设计的可视化浏览器界面操作平台，用户即使不具备编程知识或高级技术，也能通过直观的前端交互轻松使用模型功能。

通过WebUI，您可以享受到直观的操作体验，WebUI不仅赋予用户直观方便的操作体验，还能通过装载不同的插件和模型以满足定制化需求，从而创造出更为可控的视觉作品。

WebUI页面介绍

登录PAI ArtLab，选择Stable Diffusion（共享版），进入WebUI。

序号	区域
①	模型切换区域
②	功能区域（包括文生图、图生图等）
③	参数区域
④	生图区域

模型切换区域

将下载的模型上传至OSS对应目录中，然后刷新WebUI页面更新模型。推荐模型下载地址：C站。

说明

如果无法访问，您可能需要设置代理后再尝试重新访问。

文生图

通用prompt结构

常见的通用范式：前缀（画质词+画风词+镜头效果+光照效果） + 主体（人物&对象+姿势+服装+道具） + 场景（环境+细节）

使用半角括号()可以提高权重，将想要强调的提示词括起来，在提示词后面增加冒号和权重值，例如（beautiful:1.3）。权重取值范围推荐（0.4~1.6），权重过低容易被忽略，权重过高容易过拟合导致图片畸形；也可以直接使用半角括号()来叠加权重，每增加一层相当于提高1.1倍权重，例如：(((cute)))
权重计算公式：
(PromptA:权重)：用于提高或降低该提示词的权重比例，注：数值大于1提高，小于1降低。(PromptB)：PromptB的权重为1.1=(PromptA:1.1) {PromptC}：PromptC的权重为1.05=(PromptB:1.05) [PromptD]：PromptD的权重减弱0.952=(PromptC:0.952) ((PromptE)=(PromptE:1.1*1.1) {{PromptF}}=(PromptF:1.05*1.05) [[PromptG]]=(PromptG:0.952*0.952)
使用<>可以调取LoRA和超网络模型，输入格式为：<lora:filename:multiplier>，<hypernet:filename:multiplier>
提示词混合调度：
[promptA:promptB:factor]，factor表示从promptA切换到promptB步骤的百分比，范围为0~1。例如a girl holding an [apple :peach:0.9]和a girl holding an [apple :peach:0.2]，使用相同的Seed值，通过调整factor数值，在生成高度相似的图片的同时，对图片进行微调，实现更换图像中的某一个元素的功能。

常见提示词描述

正向提示词（希望在图片中出现）		负向提示词（不希望在图片中出现）
prompt	描述	negative prompt	描述
HDR,UHD,8K,4K	可以提高图片的质量	mutated hands and fingers	变异的手和手指
best quality	丰富图片的细节	deformed	畸形的
masterpiece	杰作	bad anatomy	解剖不良
Highly detailed	增加图片细节	disfigured	毁容
Studio lighting	添加演播室灯光，可以给图片增加纹理	poorly drawn face	脸部画得不好
ultra-fine painting	超精细绘画	mutated	变异的
sharp focus	聚焦清晰	extra limb	多余的肢体
physically-based rendering	基于物理渲染	ugly	丑陋
extreme detail description	刻画细节	poorly drawn hands	手部画得很差
Vivid Colors	增加图片色彩	missing limb	missing limb
(EOS R8, 50mm, F1.2, 8K, RAW photo:1.2)	专业摄影描述	floating limbs	漂浮的四肢
Boken	虚化模糊背景，突出主体。	disconnected limbs	肢体不连贯
Sketch	素描	malformed hands	畸形的手
Painting	绘画	变异的	脱离焦点
-	-	long neck	长颈
-	-	long body	身体长

效果展示

简单prompt：在对应区域输入正向提示词和反向提示词，提示词越多，AI绘图结果会更加精准。
复杂prompt：
- 正向prompt：8k portrait of beautiful cyborg with brown hair, intricate, elegant, highly detailed, majestic, digital photography, art by artgerm and ruan jia and greg rutkowski surreal painting gold butterfly filigree, broken glass, (masterpiece, sidelighting, finely detailed beautiful eyes: 1.2), hdr
- 负向prompt：canvas frame, cartoon, 3d, ((disfigured)), ((bad art)), ((deformed)),((extra limbs)),((close up)),((b&w)), wierd colors, blurry, (((duplicate))), ((morbid)), ((mutilated)), [out of frame], extra fingers, mutated hands, ((poorly drawn hands)), ((poorly drawn face)), (((mutation))), (((deformed))), ((ugly)), blurry, ((bad anatomy)), (((bad proportions))), ((extra limbs)), cloned face, (((disfigured))), out of frame, ugly, extra limbs, (bad anatomy), gross proportions, (malformed limbs), ((missing arms)), ((missing legs)), (((extra arms))), (((extra legs))), mutated hands, (fused fingers), (too many fingers), (((long neck))), Photoshop, video game, ugly, tiling, poorly drawn hands, poorly drawn feet, poorly drawn face, out of frame, mutation, mutated, extra limbs, extra legs, extra arms, disfigured, deformed, cross-eye, body out of frame, blurry, bad art, bad anatomy, 3d render
- prompt来源：请参见C站。
  说明
  如果无法访问，您可能需要设置代理后再尝试重新访问。
- prompt：越靠前的词权重越大，根据自己的需求调整词语的顺序，例如：主体（Subject）、绘画介质（Medium）、绘画风格（Style）、艺术家名（Artist）、网站（Website）、清晰度（Resolution）、细节描述（Additional details）、颜色（Color）、光影效果（Lighting）。在实际编写的指令中，不需要包含以上所有分组里的关键词，根据自己的需求来设定关键词和顺序即可。除基础模型外，已经训练好的模型一般会有隐藏设置，自动触发一些固定风格，或舍弃部分prompt，根据实际情况而定。

参数介绍

①采样方法（Sampler）
扩散去噪算法的采样模式，不同的采样方法会有不同的效果，根据实际使用情况选择合适的采样方法。其中，Euler a（常用）、DPM++ 2S a、DPM++ 2S a Karras整体构图较为相似；Euler 、DPM++ 2m、DPM++ 2M Karras整体构图比较相似；DDIM的构图风格比较不同。
②迭代步数（Steps）
生成图片的迭代次数是决定AI优化效果的关键因素，每一次迭代都意味着AI系统将有更多机会对比Prompt与当前生成图像，并据此进行精细化调整。提高迭代步数会消耗更多的时间和计算资源，但并不能保证结果会更好。
在实际应用中，随着迭代步数的增加，生成的图像通常会呈现出更丰富的细节，与采样模式息息相关。以Euler a为例，大约在30~40步，生成的图片细节趋于稳定状态，进一步增加迭代步数不会增加新的细节。
③高分辨率修复（Hires. fix）
可以影响图片的分辨率。使用两个步骤的过程进行生成，以较小的分辨率创建图像，然后在不改变构图的情况下改进其中的细节。勾选后需要设置高分迭代步数、重绘幅度等参数。
高清修复方式，请参见PAI ArtLab高清修复的三种方式。
④宽度&高度：图片的尺寸和分辨率，对显存的消耗较大，分辨率越大细节越多，不建议设置过大，默认512x512即可。
⑤总批次数
不同批次生成的图片细节不同，数值越大，需要计算的时间越久。
⑥单批数量
每批同时生成的图片数量，对显存消耗较大。
⑦提示词引导系数（CFG Scale）
数值越大，越接近Prompt词；参数值越小，AI生成的自由创作空间越大。
⑧随机数种子（Seed）
参数值为-1表示每一次生成都是随机；若为其他任意数值（可为负数和小数），seed值一致，其他参数一致，模型一致，GPU一致，可以生成相同图片。
⑨从提示词或上次生成的图片中读取生成参数。
⑩清空提示词内容。

图生图

图生图技术可依据提示词描述的特点，将一张图片转化为具有新特点的另一张图片，例如将真人照片转为动漫形象，或自动为画作线稿上色。同时，该功能支持参数调整，并具备局部重绘功能，用户能在指定区域进行重绘而不影响其他部分，也可利用涂鸦画笔对原图进行修改后再次生成。

生成的图片不仅能作为新的图生图输入以进行循环创作或局部再编辑，还可用于其它附加功能。此外，系统能够根据输入图片自动生成关键词，通过CLIP与DeepBooru两种AI模型实现反推，其中CLIP适用于写实风格图片，DeepBooru则适用于动漫图片。

具体操作步骤如下。

图生图（单击查看详情）

单击选框上传图片。图片比例需要跟设定好的长宽一致，例如，512*512的图片需要上传1:1的图片。

使用反推提示词CLIP/DeepBooru，或自己填写补充Prompt和Negative Prompt，单击生成，即可生成一张基于已上传图片的新图片。

涂鸦（单击查看详情）

上传普通图片
在已上传的图片上进行涂鸦，可以配合修改部分Prompt，再次生成的图片就会包含涂鸦部分。

上传线稿草稿
自主上色，配合Prompt可以生成不同风格的图。
Sketch可以提高我们创作图像的效率和创造力，它使得不具备精湛绘画技能的用户也能轻松驾驭，只需凭借自身的想象力，即可将各种创意点子流畅转化为高质量的视觉图像。

局部重绘（单击查看详情）

在原图上添加一个蒙版（将需要修改的部位涂黑），对蒙版或者非蒙版区域进行重绘操作。

重绘蒙版内容
在Prompt中加上想要修改成的内容，单击生成即可。例如，下图在原来的Prompt中增加了wears sweater。
重绘非蒙版内容
在Prompt中加上想要修改成的内容，单击生成即可完成。例如，下图在原来的Prompt中增加了classroom。

涂鸦重绘（单击查看详情）

在局部绘制的基础上增加了调色板，让绘制过程参考蒙版颜色。

上传重绘蒙版（单击查看详情）

上传在外部工具（如Photoshop）中制作的蒙版进行遮罩操作，适用于对遮罩区域精细化程度有较高要求的用户。为实现这一效果，请将您预先制作完成的精细蒙版文件上传至下图的下半部分。

批量处理（Batch）（单击查看详情）

批量处理图生图指定目录下的图片，需要建立三个文件夹：原图文件夹、输出图片的文件夹和放置蒙版的文件夹。

在原图文件夹中放置需要修改的图片，在输出图片文件夹中存放AI生成后输出的图片。
如需使用蒙版进行重绘，可以设置蒙版文件夹路径。如果不设置，会以全图的方式进行重绘。
可以通过将蒙版图和原图设置为相同的名称实现对应关系。例如，原图名称为ali_sd.png，对应的蒙版名称也为ali_sd.png。
如果原图没有对应的蒙版，会使用蒙版文件夹中的第一张图片作为蒙版进行重绘，所以可以将第一张蒙版设置成全白图，就可以进行全图绘制。如果不需要全图绘制，可以将使用最多的蒙版放在第一张的位置。

具体参数说明如下。

图生图/涂鸦参数说明（单击查看详情）

CLIP反向推导提示词（Interrogate CLIP）和DeepBooru反向推导提示词。
- 根据上传的图片反向推导提示词。
- CLIP是自然语言的方式描述，像人类说话一样。
- DeepBooru是以标签的方式，例如，"beautiful woman, river, afternoon..."。
- 相比CLIP来说，DeepBooru的表述会更详细。
缩放模式（Resize mode）：根据不同的缩放模式会得到不同的转换效果。

拉伸（just resize）：简单的缩放图像大小，转换后的图像可能会出现拉伸或压缩的情况，可能导致部分细节丢失或变形。
裁剪（crop and resize）：对原图进行裁剪后再进行缩放，可以减少图像失真的现象，同时能够保留更多的细节信息。但由于裁剪操作会删减部分图像内容，因此在合成后的图像中可能会出现一些细节丢失的情况。

填充（resize and fill）：先缩放再填充图像，填充方式多种多样，可以使用颜色或模式填充。这种方式能保留整个图像的比例和细节，但填充内容可能会影响视觉效果。
可以使用扩展绘画【outpainting mk2】的脚本。（适当调整重绘幅度）

直接缩放（放大潜变量）：这种模式只在前向传播时进行大小变换，因为缩小输入有优势，所以速度更快、稳定性更好，但不能准确地恢复原图的细节。

重绘幅度（Denoising）：重绘幅度是控制图像降噪程度的重要参数，它通过控制像素在扩散过程中的平均漂移量来影响输出图像的平滑程度。当重绘幅度较高时，像素平均漂移较大，导致输出图像更加平滑，但会降低图像细节；当重绘幅度较低时，像素平均漂移较小，可以保留更多原图细节。过高或过低的重绘幅度会导致输出图像出现不理想的效果，需要进行适当的调整。
下面是根据原图调整重绘幅度的结果。

局部重绘参数说明（单击查看详情）

蒙版边缘模糊度
Mask blur是一种图像处理技术，用于模糊化缺失区域周围的像素，以减少边缘效应，使图像处理更加自然。值越大，边缘越透明。
以下示例是蒙版模糊值0、20、40、60的对比图
蒙版模式（Mask Mode）
蒙版区域内容处理

填充：用于填充图像中需要修复的部分，以达到图像修复的目的，常用于删除图像中的不必要内容。（原图此处有一些树干）
原图：用于使用原图像的内容来填充需要修复的部分，常用于修复图像中的缺陷，如划痕、裂缝、污渍等。（将树干换成了花朵）
潜空间噪声：用于在需要填充的部分中添加随机噪声，以创造出一种艺术效果。它通常用于在图像的特定区域进行艺术处理，以增强图像的审美效果。
- 重绘幅度低：
- 重绘幅度高：
空白潜空间：用于添加空白像素以保持图像的原始外观，通常用于在图像的特定区域留白或添加边框，以保持图像的整体美感。
- 重绘幅度低：
- 重绘幅度高：
全图（重绘幅度0、0.6在填充和原图下的对比）
- 填充
  - 重绘幅度0
  - 重绘幅度0.6
- 原图
  - 重绘幅度0
  - 重绘幅度0.6
仅蒙版（重绘幅度0、0.6在填充和原图下的对比）
- 填充
  - 重绘0
  - 重绘0.6
- 原图
  - 重绘0
  - 重绘0.6
仅蒙版区域下边缘预留像素：选择仅蒙版时才涉及调整的参数。全图不受影响。在人脸修复时，原图比较稳定，潜变量噪声比较有艺术效果。

涂鸦重绘参数说明（单击查看详情）

蒙版透明度

以下示例是蒙版透明度0、30、60、90的对比图。范围0~100，值越大，蒙版对保留的轮廓更明显，也会影响重绘强度。

图片信息

上传由Stable Difussion生成的图片，可以查看到生成图片的prompt和参数。

经测试，将原图截图或使用其他APP转发后保存的图片，无法识别图片信息。

ControlNet插件

说明

本产品不同版本Stable Diffusion WebUI及ComfyUI，上架了TheMisto.ai开发的MistoLine-SDXL-ControlNet。

参数介绍

参数	说明
启用	勾选后启用CnotrolNet。
低显存优化	4 GB显存以下可勾选。
预处理器	不同选项具有不同的预处理效果，每一个预处理器有对应的模型，二者搭配使用。
模型	与预处理器中的模型搭配使用。需要手动下载并上传至对应OSS目录中。
控制权重	表示生成图片时，受CnotrolNet生成图片影响的权重占比。在图生图的过程中，低重绘强度配高权重，可以锁定图片的细节，更改滤镜和画风；高重绘强度配低权重，可以修改图片的细节。
引导介入时机	数值为0~1，意为百分比，表示ControlNet在第几步介入绘画。0表示从第一步就开始介入，1表示从最后一步开始介入。数值越大，CnotrolNet对生成图片的影响就越小。例如：设置采样迭代步数为20，引导介入时机为0.3，表示从第6（20*0.3）步开始介入。
引导终止时机	数值为0~1，意为百分比，表示CnotrolNet在第几步退出绘画。
控制类型	Canny（硬边缘）：可以认为是线稿，能够检测图片的轮廓、动作、衣服褶皱、表情等细节线条。但生成图片比较固定，容易被其他背景影响。不适合背景比较复杂以及和主体有较多相交的图片。通常与control_sd15_canny模型组合使用。 Depth（深度）：生成输入图片的深度估计，可以控制图像内物体的空间定位，浅色区域表示距离用户较近，深色区域表示距离用户较远，但在识别图片细节上有差异。但大图像会丢失图像内部细节（面部表情等），通常与control_sd15_depth模型组合使用。 NormalMap：法线贴图。法线图完全来源于图像，而不是在3D建模软件中构建的，主要使用红、绿、蓝三种颜色，通过不同的角度来精确定位物体的粗糙程度和光滑程度，可以保留图像较多的细节，处理图片复杂的细节和轮廓，以及处理图片的远近和距离，适合人物建模。通常与control_sd15_normal组合使用。 OpenPose（姿态）：根据图像人物形象生成基本的骨架，骨架图有较多关节点，可以稳定地生成相同主题的图片。通常与control_sd15_openpose模型组合使用。 MLSD（直线）：主要检测直线，可以检测出独特的刚性轮廓，主要应用于建筑等物体，不适合处理非刚性和弯曲轮廓的物体。通常与control_sd15_mlsd模型搭配使用。 Scribble/Sketch：涂鸦/草图。可以从简单的黑白线条画和草图生成图像，也可以直接上传素描图像。如果图片是由白色背景和黑色线条组成，需要勾选反色模式。通常与control_sd15_scribble模型搭配使用。 Segmentation：语义分割。将上传的图片按照一定的区域进行划分方便ArtLab识别对象类型。通常与control_sd15_seg模型组合使用。

ControlNet生图效果展示

三视图（单击查看详情）

推荐模型：Checkpoint、LoRA
Prompt设置
- 正向Prompt：JinxLol,mature female,1girl, solo,looking at viewer, navel, gloves, fingerless gloves, character name, midriff, bare shoulders, looking at viewer, gun, crop top, belt,outdoors
- 负向Prompt：(low quality, worst quality:1.3), (lowres), blurry,text,watermark,signature,artist name,letterboxed, female pubic hair,realism
参数设置
采样方法（Sampler）选择DPM++2M Karras，其他参数使用默认值或根据实际需求进行微调。
ControlNet参数设置
上传一张不同视角的线稿，控制类型选择Canny（硬边缘），其他参数使用默认值或根据实际需求进行微调。
效果图展示

户外建筑物（单击查看详情）

推荐模型：：Checkpoint、LoRA
Prompt设置
- 正向Prompt：XSWB,architecture,autumn,bench, blue_sky, building,cloudy_sky, day, fence,forest, garden, grass, house, mountain, nature, no_humans, outdoors, palm_tree, path, pavement, plant, road, scenery, sky,tree, water,wooden_fence,triangular top,masterpiece,ultra-fine painting,sharp focus,HDR,UHD,8K,4K <lora:xsarchitectural3aerial_xsarchitectural3:0.9>
- 负向Prompt：soft line,Distorted, fuzzy
参数设置
采样方法（Sampler）选择Eular a，其他参数使用默认值或根据实际需求进行微调。
ControlNet参数
上传一张建筑物线稿，控制类型选择MLSD（直线），其他参数使用默认值或根据实际需求进行微调。
效果图展示

室内装修（单击查看详情）

推荐模型：
基础模型v1-5-pruned-emaonly.safetensors、LoRA
Prompt设置
正向Prompt：Interior advanced Design<lora:xsarchitectural9advanced_xsarchitectural:1>
参数设置
采样方法（Sampler）选择Eular a，其他参数使用默认值或根据实际需求进行微调。
ControlNet参数
上传一张室内毛坯房图片，控制类型选择MLSD（直线），单批数量为4，一次出4张图，其他参数使用默认值或根据实际需求进行微调。
效果图展示

生成二次元头像（单击查看详情）

推荐模型：Checkpoint、LoRA

Prompt设置
- 正向Prompt：best quality, masterpiece, (realistic:1.2), 1 girl, brown hair, brown eyes,Front, detailed face, beautiful eyes <lora:hanfu_v29 Lora:1>
- 负向Prompt：(low quality, worst quality:1.4),nsfw
参数设置
采样方法（Sampler）选择Eular a，其他参数使用默认值或根据实际需求进行微调。
ControlNet参数
上传一张人脸图像，控制类型选择Canny（硬边缘），其他参数使用默认值或根据实际需求进行微调。
效果图展示：

更换真人服饰（单击查看详情）

推荐模型：C站
Prompt设置
- 正向Prompt：close up of a european woman, ginger hair, winter forest, natural skin texture, 24mm, 4k textures, soft cinematic light, RAW photo, photorealism, photorealistic, intricate, elegant, highly detailed, sharp focus, ((((cinematic look)))), soothing tones, insane details, intricate details, hyperdetailed, low contrast, soft cinematic light, dim colors, exposure blend, hdr, faded
- 负向Prompt：(deformed, distorted, disfigured:1.3), poorly drawn, bad anatomy, wrong anatomy, extra limb, missing limb, floating limbs, (mutated hands and fingers:1.4), disconnected limbs, mutation, mutated, ugly, disgusting, blurry, amputation,nsfw
参数设置
采样方法（Sampler）选择Eular a，其他参数使用默认值或根据实际需求进行微调。
ControlNet参数
上传一张人物图，控制类型选择OpenPose（姿态），其他参数使用默认值或根据实际需求进行微调。
效果图展示：

更改发色（单击查看详情）

Prompt设置
可增加以下标签：black hair
参数设置
通过图生图局部重绘功能更改图片发色，手动绘制蒙版，重绘幅度设定为0.6，其他参数保持默认。
效果图展示：

背景重绘（单击查看详情）

Prompt设置
可增加以下标签，并通过括号来增加权重：green trees,((beach)),((sea)),((blue sky)),black hair
参数设置
手绘蒙版，根据蒙版范围修改蒙版模式、重绘幅度等参数。
效果图展示