文档

SDWebUI使用方法与实践案例

更新时间:

本文为您介绍如何使用SDWebUI。

WebUI页面介绍

image

序号

区域

模型切换区域

功能区域

参数区域

生图区域

模型切换区域

将下载的模型上传至OSS对应目录中,然后刷新WebUI页面,更新模型。推荐模型下载地址:C站

image

功能区域

文生图

prompt语法总结

  • 通用prompt技巧

    常见的通用范式: 前缀(画质词+画风词+镜头效果+光照效果) + 主体(人物&对象+姿势+服装+道具) + 场景(环境+细节)

    • 使用半角括号()可以提高权重,将想要强调的提示词括起来,在提示词后面增加冒号和权重值,例如(beautiful:1.3)。权重取值范围推荐(0.4~1.6),权重过低容易被忽略,权重过高容易过拟合导致图片畸形;也可以直接使用半角括号()来叠加权重,每增加一层相当于提高1.1倍权重,例如:(((cute)))

    • 权重计算公式:

      (PromptA:权重):用于提高或降低该提示词的权重比例,注:数值大于1提高,小于1降低。(PromptB):PromptB的权重为1.1=(PromptA:1.1) {PromptC}:PromptC的权重为1.05=(PromptB:1.05) [PromptD]:PromptD的权重减弱0.952=(PromptC:0.952) ((PromptE)=(PromptE:1.1*1.1) {{PromptF}}=(PromptF:1.05*1.05) [[PromptG]]=(PromptG:0.952*0.952)

    • 使用<>可以调取Lora和超网络模型,输入格式为:<lora:filename:multiplier>,<hypernet:filename:multiplier>

  • 常见提示词描述

    正向提示词

    负向提示词

    prompt

    描述

    negative prompt

    描述

    HDR,UHD,8K,4K

    可以提高图片的质量

    mutated hands and fingers

    变异的手和手指

    best quality

    丰富图片的细节

    deformed

    畸形的

    masterpiece

    杰作

    bad anatomy

    解剖不良

    Highly detailed

    增加图片细节

    disfigured

    毁容

    Studio lighting

    添加演播室灯光,可以给图片增加纹理。

    poorly drawn face

    脸部画得不好

    ultra-fine painting

    超精细绘画

    mutated

    变异的

    sharp focus

    聚焦清晰

    extra limb

    多余的肢体

    physically-based rendering

    基于物理渲染

    ugly

    丑陋

    extreme detail description

    刻画细节

    poorly drawn hands

    手部画得很差

    Vivid Colors

    增加图片色彩

    missing limb

    missing limb

    (EOS R8, 50mm, F1.2, 8K, RAW photo:1.2)

    专业摄影描述

    floating limbs

    漂浮的四肢

    Boken

    虚化模糊背景,突出主体。

    disconnected limbs

    肢体不连贯

    Sketch

    素描

    malformed hands

    畸形的手

    Painting

    绘画

    变异的

    脱离焦点

    -

    -

    long neck

    长颈

    -

    -

    long body

    身体长

文生图效果展示

  • 简单prompt:在对应区域输入正向描述(希望在图片中出现)和负向描述(不希望在图片中出现),提示词越多,AI绘图结果会更加精准。

    image

    image

  • 复杂prompt:

    • 正向prompt:8k portrait of beautiful cyborg with brown hair, intricate, elegant, highly detailed, majestic, digital photography, art by artgerm and ruan jia and greg rutkowski surreal painting gold butterfly filigree, broken glass, (masterpiece, sidelighting, finely detailed beautiful eyes: 1.2), hdr

    • 负向prompt:canvas frame, cartoon, 3d, ((disfigured)), ((bad art)), ((deformed)),((extra limbs)),((close up)),((b&w)), wierd colors, blurry, (((duplicate))), ((morbid)), ((mutilated)), [out of frame], extra fingers, mutated hands, ((poorly drawn hands)), ((poorly drawn face)), (((mutation))), (((deformed))), ((ugly)), blurry, ((bad anatomy)), (((bad proportions))), ((extra limbs)), cloned face, (((disfigured))), out of frame, ugly, extra limbs, (bad anatomy), gross proportions, (malformed limbs), ((missing arms)), ((missing legs)), (((extra arms))), (((extra legs))), mutated hands, (fused fingers), (too many fingers), (((long neck))), Photoshop, video game, ugly, tiling, poorly drawn hands, poorly drawn feet, poorly drawn face, out of frame, mutation, mutated, extra limbs, extra legs, extra arms, disfigured, deformed, cross-eye, body out of frame, blurry, bad art, bad anatomy, 3d render

    • prompt来源:请参见C站

    • prompt:越靠前的词权重越大,根据自己的需求调整词语的顺序,例如:主体(Subject)、绘画介质(Medium)、绘画风格(Style)、艺术家名(Artist)、网站(Website)、清晰度(Resolution)、细节描述(Additional details)、颜色(Color)、光影效果(Lighting)。在实际编写的指令中,不需要包含以上所有分组里的关键词,根据自己的需求来设定关键词和顺序即可。除基础模型外,已经训练好的模型一般会有隐藏设置,自动触发一些固定风格,或舍弃部分prompt,根据实际情况而定。

      image

图生图

图生图技术可依据提示词描述的特点,将一张图片转化为具有新特点的另一张图片,如将真人照片转为动漫形象,或自动为画作线稿上色。同时,该功能支持参数调整,并具备局部重绘功能,用户能在指定区域进行重绘而不影响其他部分,也可利用涂鸦画笔对原图进行修改后再次生成。

生成的图片不仅能作为新的图生图输入以进行循环创作或局部再编辑,还可用于其它附加功能。此外,系统能够根据输入图片自动生成关键词,通过CLIP与DeepBooru两种AI模型实现反推,其中CLIP适用于写实风格图片,DeepBooru则适用于动漫图片。

具体操作步骤如下。

图生图(单击查看详情)

  1. 单击选框上传图片。图片比例需要跟设定好的长宽一致,例如,512*512的图片需要上传1:1的图片。

  1. 使用反推提示词CLIP/DeepBooru,或自己填写补充Prompt和Negative Prompt, 单击生成,即可生成一张基于已上传图片的新图片。

    image

涂鸦(单击查看详情)

  • 上传普通图片

    在已上传的图片上进行涂鸦,可以配合修改部分Prompt,再次生成的图片就会包含涂鸦部分。

    image

  • 上传线稿草稿

    自主上色,配合Prompt可以生成不同风格的图。

    image

    Sketch可以提高我们创作图像的效率和创造力,它使得不具备精湛绘画技能的用户也能轻松驾驭,只需凭借自身的想象力,即可将各种创意点子流畅转化为高质量的视觉图像。

局部重绘(单击查看详情)

在原图上添加一个蒙版(将需要修改的部位涂黑),对蒙版或者非蒙版区域进行重绘操作。

  • 重绘蒙版内容

    在Prompt中加上想要修改成的内容,单击生成即可。例如,下图在原来的Prompt中增加了wears sweater。

    image

  • 重绘非蒙版内容

    在Prompt中加上想要修改成的内容,单击生成即可完成。例如,下图在原来的Prompt中增加了classroom。

    image

涂鸦重绘(单击查看详情)

在局部绘制的基础上增加了调色板,让绘制过程参考蒙版颜色。

image

上传重绘蒙版(单击查看详情)

上传在外部工具(如Photoshop)中制作的蒙版进行遮罩操作,适用于对遮罩区域精细化程度有较高要求的用户。为实现这一效果,请将您预先制作完成的精细蒙版文件上传至下图的下半部分。

image

批量处理(Batch)(单击查看详情)

批量处理图生图指定目录下的图片,需要建立三个文件夹:原图文件夹输出图片的文件夹放置蒙版的文件夹

  1. 原图文件夹中放置需要修改的图片,在输出图片文件夹中存放AI生成后输出的图片。

  2. 如需使用蒙版进行重绘,可以设置蒙版文件夹路径。如果不设置,会以全图的方式进行重绘。

  3. 可以通过将蒙版图和原图设置为相同的名称实现对应关系。例如,原图名称为ali_sd.png,对应的蒙版名称也为ali_sd.png。

  4. 如果原图没有对应的蒙版,会使用蒙版文件夹中的第一张图片作为蒙版进行重绘,所以可以将第一张蒙版设置成全白图,就可以进行全图绘制。如果不需要全图绘制,可以将使用最多的蒙版放在第一张的位置。

    image

具体参数说明如下。

图生图/涂鸦(单击查看详情)

  • CLIP反向推导提示词(Interrogate CLIP)和DeepBooru反向推导提示词。

  • 根据上传的图片反向推导提示词。

  • CLIP是自然语言的方式描述,像人类说话一样。

  • DeepBooru是以标签的方式,例如,"beautiful woman, river, afternoon..."。

  • 相比CLIP来说,DeepBooru的表述会更详细。

  • 缩放模式(Resize mode):根据不同的缩放模式会得到不同的转换效果。

  • 拉伸(just resize):简单的缩放图像大小,转换后的图像可能会出现拉伸或压缩的情况,可能导致部分细节丢失或变形。

    image.png

  • 裁剪(crop and resize):对原图进行裁剪后再进行缩放,可以减少图像失真的现象,同时能够保留更多的细节信息。但由于裁剪操作会删减部分图像内容,因此在合成后的图像中可能会出现一些细节丢失的情况。

    image.pngimage.png

  • 填充(resize and fill):先缩放再填充图像,填充方式多种多样,可以使用颜色或模式填充。这种方式能保留整个图像的比例和细节,但填充内容可能会影响视觉效果。

    image.png

    可以使用扩展绘画【outpainting mk2】的脚本。(适当调整重绘幅度)

    image

    image.png

  • 直接缩放(放大潜变量):这种模式只在前向传播时进行大小变换,因为缩小输入有优势,所以速度更快、稳定性更好,但不能准确地恢复原图的细节。

    image.png

  • 重绘幅度(Denoising):重绘幅度是控制图像降噪程度的重要参数,它通过控制像素在扩散过程中的平均漂移量来影响输出图像的平滑程度。当重绘幅度较高时,像素平均漂移较大,导致输出图像更加平滑,但会降低图像细节;当重绘幅度较低时,像素平均漂移较小,可以保留更多原图细节。过高或过低的重绘幅度会导致输出图像出现不理想的效果,需要进行适当的调整。

    下面是根据原图调整重绘幅度的结果。

    image.png

局部重绘(单击查看详情)

  • 蒙版边缘模糊度

    Mask blur是一种图像处理技术,用于模糊化缺失区域周围的像素,以减少边缘效应,使图像处理更加自然。值越大,边缘越透明。

    以下示例是蒙版模糊值0、20、40、60的对比图

    image.pngimage.pngimage.pngimage.png

  • 蒙版模式(Mask Mode)

    image.png

  • 蒙版区域内容处理

  • 填充:用于填充图像中需要修复的部分,以达到图像修复的目的,常用于删除图像中的不必要内容。(原图此处有一些树干)

    image

  • 原图:用于使用原图像的内容来填充需要修复的部分,常用于修复图像中的缺陷,如划痕、裂缝、污渍等。(将树干换成了花朵)

    image

  • 潜空间噪声:用于在需要填充的部分中添加随机噪声,以创造出一种艺术效果。它通常用于在图像的特定区域进行艺术处理,以增强图像的审美效果。

    • 重绘幅度低:

    image

    • 重绘幅度高:

      image

  • 空白潜空间:用于添加空白像素以保持图像的原始外观,通常用于在图像的特定区域留白或添加边框,以保持图像的整体美感。

    • 重绘幅度低:

      image

    • 重绘幅度高:

      image

  • 全图(重绘幅度0、0.6在填充和原图下的对比)

    • 填充

      • 重绘幅度0

        image

      • 重绘幅度0.6

        image

    • 原图

      • 重绘幅度0

        image

      • 重绘幅度0.6

        image

  • 仅蒙版(重绘幅度0、0.6在填充和原图下的对比)

    • 填充

      • 重绘0

        image

      • 重绘0.6

        image

    • 原图

      • 重绘0

        image

      • 重绘0.6

        image

  • 仅蒙版区域下边缘预留像素:选择仅蒙版时才涉及调整的参数。全图不受影响。在人脸修复时,原图比较稳定,潜变量噪声比较有艺术效果。

涂鸦重绘(单击查看详情)

蒙版透明度

image.png

以下示例是蒙版透明度0、30、60、90的对比图。范围0~100,值越大,蒙版对保留的轮廓更明显,也会影响重绘强度。

image.pngimage.pngimage.pngimage.png

图片信息

上传由Stable Difussion生成的图片,可以查看到生成图片的prompt和参数。

image

经测试,将原图截图或使用其他APP转发后保存的图片,无法识别图片信息。

image

参数区域

image

参数

说明

推荐值

采样方法

(sampling method)

扩散去噪算法的采样模式,不同的采样方法会有不同的效果,根据实际使用情况选择合适的采样方法。

其中,euler adpm++ 2s adpm++ 2s a karras整体构图较为相似;eulerdpm++ 2mdpm++ 2m karras整体构图比较相似;DDIM的构图风格比较不同。

常用Euler a。

采样迭代步数

(sampling steps)

生成图片的迭代次数是决定AI优化效果的关键因素,每一次迭代都意味着AI系统将有更多机会对比Prompt与当前生成图像,并据此进行精细化调整。

提高迭代步数会消耗更多的时间和计算资源,但并不能保证结果会更好。

在实际应用中,随着迭代步数的增大,生成的图像通常会呈现出更丰富的细节,与采样模式息息相关。以Euler a为例,大约在30~40步,生成的图片细节趋于稳定状态,进一步增加迭代步数不会增加新的细节。

webui默认数为20步,LMS、DPM fast和PLMS三种采样方法需要更高的迭代步数(30-50步),可根据实际模型出图的效果进行调整。

面部修复

优化面部图像可勾选。

远景画面时勾选,可以优化图片面部细节,近景画面时不宜勾选,会出现图片过拟合现象。

平铺图

(Tiling)

生成一个可以平铺的图像。

会影响正常出图和降低显存消耗,当前不建议勾选

高分辨率修复

(Hires. fix)

可以影响图片的分辨率。

使用两个步骤的过程进行生成,以较小的分辨率创建图像,然后在不改变构图的情况下改进其中的细节。勾选后需要设置高分迭代部署、重绘幅度等参数。

勾选后可以增加图片细节,也可能会影响出图结果。

宽度&高度

图片的尺寸和分辨率,对显存的消耗较大,分辨率越大细节越多,不建议设置过大。

默认512x512即可。

总批次数

不同批次生成的图片细节不同,数值越大,需要计算的时间越久。

默认1即可。

单批数量

每批同时生成的图片数量,对显存消耗较大。

根据自己的需求选择一次出几张图,推荐1~4张。

提示词引导系数

(CFG Scale)

数值越大,越接近Prompt词,参数值越小,AI生成的自由创作空间越大。

默认7即可,适当留有AI自由创作空间。

随机数种子

(seed)

参数值为-1表示每一次生成都是随机;若为其他任意数值(可为负数和小数),seed值一致,其他参数一致,模型一致,GPU一致,可以生成相同图片。

默认-1

image

参数

说明

从提示词或上次生成的图片中读取生成参数。

清空提示词内容。

显示/隐藏扩展模型。可以查看其他附加模型:Embedding,Hypernetwork,ckpt,Lora等。

将所选预设样式插入到提示词之后。

将当前提示词储存为预设样式。

模型介绍

请参见模型介绍

ControlNet插件

参数介绍

image

参数

说明

启用

勾选后启用CnotrolNet。

低显存优化

4 GB显存以下可勾选。

预处理器

不同选项具有不同的预处理效果,每一个预处理器有对应的模型,二者搭配使用。

模型

与预处理器中的模型搭配使用。需要手动下载并上传至对应OSS目录中。

控制权重

表示生成图片时,受CnotrolNet生成图片影响的权重占比。在图生图的过程中,低重绘强度配高权重,可以锁定图片的细节,更改滤镜和画风;高重绘强度配低权重,可以修改图片的细节。

引导介入时机

数值为0~1,意为百分比,表示ControlNet在第几步介入绘画。0表示从第一步就开始介入,1表示从最后一步开始介入。数值越大,CnotrolNet对生成图片的影响就越小。

例如:设置采样迭代步数为20,引导介入时机为0.3,表示从第6(20*0.3)步开始介入。

引导终止时机

数值为0~1,意为百分比,表示CnotrolNet在第几步退出绘画。

控制类型

  • Canny(硬边缘):可以认为是线稿,能够检测图片的轮廓、动作、衣服褶皱、表情等细节线条。但生成图片比较固定,容易被其他背景影响。不适合背景比较复杂以及和主体有较多相交的图片。通常与control_sd15_canny模型组合使用。

  • Depth(深度):生成输入图片的深度估计,可以控制图像内物体的空间定位,浅色区域表示距离用户较近,深色区域表示距离用户较远,但在识别图片细节上有差异。但大图像会丢失图像内部细节(面部表情等),通常与control_sd15_depth模型组合使用。

  • NormalMap:法线贴图。法线图完全来源于图像,而不是在3D建模软件中构建的,主要使用红、绿、蓝三种颜色,通过不同的角度来精确定位物体的粗糙程度和光滑程度,可以保留图像较多的细节,处理图片复杂的细节和轮廓,以及处理图片的远近和距离,适合人物建模。通常与control_sd15_normal组合使用。

  • OpenPose(姿态):根据图像人物形象生成基本的骨架,骨架图有较多关节点,可以稳定地生成相同主题的图片。通常与control_sd15_openpose模型组合使用。

  • MLSD(直线):主要检测直线,可以检测出独特的刚性轮廓,主要应用于建筑等物体,不适合处理非刚性和弯曲轮廓的物体。通常与control_sd15_mlsd模型搭配使用。

  • Scribble/Sketch:涂鸦/草图。可以从简单的黑白线条画和草图生成图像,也可以直接上传素描图像。如果图片是由白色背景和黑色线条组成,需要勾选反色模式。通常与control_sd15_scribble模型搭配使用。

  • Segmentation:语义分割。将上传的图片按照一定的区域进行划分方便ArtLab识别对象类型。通常与control_sd15_seg模型组合使用。

ControlNet生图效果展示

三视图(单击查看详情)

  • 推荐模型CheckpointLoRA

  • Prompt设置

    • 正向Prompt:JinxLol,mature female,1girl, solo,looking at viewer, navel, gloves, fingerless gloves, character name, midriff, bare shoulders, looking at viewer, gun, crop top, belt,outdoors

    • 负向Prompt:(low quality, worst quality:1.3), (lowres), blurry,text,watermark,signature,artist name,letterboxed, female pubic hair,realism

  • 参数设置

    采样方法(Sampler)选择DPM++2M Karras,其他参数使用默认值或根据实际需求进行微调。

  • ControlNet参数设置

    上传一张不同视角的线稿,控制类型选择Canny(硬边缘),其他参数使用默认值或根据实际需求进行微调。

  • 效果图展示

    1682578796063-dc37f288-bb24-4c7c-9fe0-8c4138cd6cc8

    image

户外建筑物(单击查看详情)

  • 推荐模型::CheckpointLoRA

  • Prompt设置

    • 正向Prompt:XSWB,architecture,autumn,bench, blue_sky, building,cloudy_sky, day, fence,forest, garden, grass, house, mountain, nature, no_humans, outdoors, palm_tree, path, pavement, plant, road, scenery, sky,tree, water,wooden_fence,triangular top,masterpiece,ultra-fine painting,sharp focus,HDR,UHD,8K,4K <lora:xsarchitectural3aerial_xsarchitectural3:0.9>

    • 负向Prompt:soft line,Distorted, fuzzy

  • 参数设置

    采样方法(Sampler)选择Eular a,其他参数使用默认值或根据实际需求进行微调。

  • ControlNet参数

    上传一张建筑物线稿,控制类型选择MLSD(直线),其他参数使用默认值或根据实际需求进行微调。

  • 效果图展示

    image

室内装修(单击查看详情)

  • 推荐模型

    基础模型v1-5-pruned-emaonly.safetensors、LoRA

  • Prompt设置

    正向Prompt:Interior advanced Design<lora:xsarchitectural9advanced_xsarchitectural:1>

  • 参数设置

    采样方法(Sampler)选择Eular a,其他参数使用默认值或根据实际需求进行微调。

  • ControlNet参数

    上传一张室内毛坯房图片,控制类型选择MLSD(直线)单批数量为4,一次出4张图,其他参数使用默认值或根据实际需求进行微调。

  • 效果图展示

    image.png

生成二次元头像(单击查看详情)

  • Prompt设置

    • 正向Prompt:best quality, masterpiece, (realistic:1.2), 1 girl, brown hair, brown eyes,Front, detailed face, beautiful eyes <lora:hanfu_v29 Lora:1>

    • 负向Prompt:(low quality, worst quality:1.4),nsfw

  • 参数设置

    采样方法(Sampler)选择Eular a,其他参数使用默认值或根据实际需求进行微调。

  • ControlNet参数

    上传一张人脸图像,控制类型选择Canny(硬边缘),其他参数使用默认值或根据实际需求进行微调。

  • 效果图展示

    image

    image

更换真人服饰(单击查看详情)

  • 推荐模型C站

  • Prompt设置

    • 正向Prompt:close up of a european woman, ginger hair, winter forest, natural skin texture, 24mm, 4k textures, soft cinematic light, RAW photo, photorealism, photorealistic, intricate, elegant, highly detailed, sharp focus, ((((cinematic look)))), soothing tones, insane details, intricate details, hyperdetailed, low contrast, soft cinematic light, dim colors, exposure blend, hdr, faded

    • 负向Prompt:(deformed, distorted, disfigured:1.3), poorly drawn, bad anatomy, wrong anatomy, extra limb, missing limb, floating limbs, (mutated hands and fingers:1.4), disconnected limbs, mutation, mutated, ugly, disgusting, blurry, amputation,nsfw

  • 参数设置

    采样方法(Sampler)选择Eular a,其他参数使用默认值或根据实际需求进行微调。

  • ControlNet参数

    上传一张人物图,控制类型选择OpenPose(姿态),其他参数使用默认值或根据实际需求进行微调。

  • 效果图展示

    image

    image

更改发色(单击查看详情)

  • Prompt设置

    可增加以下标签:black hair

  • 参数设置

    通过图生图局部重绘功能更改图片发色,手动绘制蒙版,重绘幅度设定为0.6,其他参数保持默认。

  • 效果图展示

    image.pngimage.png

背景重绘(单击查看详情)

  • Prompt设置

    可增加以下标签,并通过括号来增加权重:green trees,((beach)),((sea)),((blue sky)),black hair

  • 参数设置

    手绘蒙版,根据蒙版范围修改蒙版模式、重绘幅度等参数。

  • 效果图展示

    image.pngimage.png

  • 本页导读 (1)
文档反馈