本文为您介绍如何使用SDWebUI。
背景信息
Stable Diffusion是由Stability AI开发的图像AI大模型,能够根据文本指令生成全新图像,也能够根据文本指令修改现有图像。Stable Diffusion WebUI是由AUTOMATIC1111为该模型开发设计的可视化浏览器界面操作平台,用户即使不具备编程知识或高级技术,也能通过直观的前端交互轻松使用模型功能。
通过WebUI,您可以享受到直观的操作体验,WebUI不仅赋予用户直观方便的操作体验,还能通过装载不同的插件和模型以满足定制化需求,从而创造出更为可控的视觉作品。
WebUI页面介绍
登录PAI ArtLab,选择Stable Diffusion(共享版),进入WebUI。
序号 | 区域 |
① | |
② | |
③ | 参数区域 |
④ | 生图区域 |
模型切换区域
将下载的模型上传至OSS对应目录中,然后刷新WebUI页面更新模型。推荐模型下载地址:C站。
如果无法访问,您可能需要设置代理后再尝试重新访问。
文生图
通用prompt结构
常见的通用范式: 前缀(画质词+画风词+镜头效果+光照效果) + 主体(人物&对象+姿势+服装+道具) + 场景(环境+细节)
使用半角括号
()
可以提高权重,将想要强调的提示词括起来,在提示词后面增加冒号和权重值,例如(beautiful:1.3)。权重取值范围推荐(0.4~1.6),权重过低容易被忽略,权重过高容易过拟合导致图片畸形;也可以直接使用半角括号()
来叠加权重,每增加一层相当于提高1.1倍权重,例如:(((cute)))权重计算公式:
(PromptA:权重):用于提高或降低该提示词的权重比例,注:数值大于1提高,小于1降低。(PromptB):PromptB的权重为1.1=(PromptA:1.1) {PromptC}:PromptC的权重为1.05=(PromptB:1.05) [PromptD]:PromptD的权重减弱0.952=(PromptC:0.952) ((PromptE)=(PromptE:1.1*1.1) {{PromptF}}=(PromptF:1.05*1.05) [[PromptG]]=(PromptG:0.952*0.952)
使用
<>
可以调取LoRA和超网络模型,输入格式为:<lora:filename:multiplier>
,<hypernet:filename:multiplier>
提示词混合调度:
[promptA:promptB:factor],factor表示从promptA切换到promptB步骤的百分比,范围为0~1。例如
a girl holding an [apple :peach:0.9]
和a girl holding an [apple :peach:0.2]
,使用相同的Seed值,通过调整factor数值,在生成高度相似的图片的同时,对图片进行微调,实现更换图像中的某一个元素的功能。常见提示词描述
正向提示词(希望在图片中出现)
负向提示词(不希望在图片中出现)
prompt
描述
negative prompt
描述
HDR,UHD,8K,4K
可以提高图片的质量
mutated hands and fingers
变异的手和手指
best quality
丰富图片的细节
deformed
畸形的
masterpiece
杰作
bad anatomy
解剖不良
Highly detailed
增加图片细节
disfigured
毁容
Studio lighting
添加演播室灯光,可以给图片增加纹理
poorly drawn face
脸部画得不好
ultra-fine painting
超精细绘画
mutated
变异的
sharp focus
聚焦清晰
extra limb
多余的肢体
physically-based rendering
基于物理渲染
ugly
丑陋
extreme detail description
刻画细节
poorly drawn hands
手部画得很差
Vivid Colors
增加图片色彩
missing limb
missing limb
(EOS R8, 50mm, F1.2, 8K, RAW photo:1.2)
专业摄影描述
floating limbs
漂浮的四肢
Boken
虚化模糊背景,突出主体。
disconnected limbs
肢体不连贯
Sketch
素描
malformed hands
畸形的手
Painting
绘画
变异的
脱离焦点
-
-
long neck
长颈
-
-
long body
身体长
效果展示
简单prompt:在对应区域输入正向提示词和反向提示词,提示词越多,AI绘图结果会更加精准。
复杂prompt:
正向prompt:8k portrait of beautiful cyborg with brown hair, intricate, elegant, highly detailed, majestic, digital photography, art by artgerm and ruan jia and greg rutkowski surreal painting gold butterfly filigree, broken glass, (masterpiece, sidelighting, finely detailed beautiful eyes: 1.2), hdr
负向prompt:canvas frame, cartoon, 3d, ((disfigured)), ((bad art)), ((deformed)),((extra limbs)),((close up)),((b&w)), wierd colors, blurry, (((duplicate))), ((morbid)), ((mutilated)), [out of frame], extra fingers, mutated hands, ((poorly drawn hands)), ((poorly drawn face)), (((mutation))), (((deformed))), ((ugly)), blurry, ((bad anatomy)), (((bad proportions))), ((extra limbs)), cloned face, (((disfigured))), out of frame, ugly, extra limbs, (bad anatomy), gross proportions, (malformed limbs), ((missing arms)), ((missing legs)), (((extra arms))), (((extra legs))), mutated hands, (fused fingers), (too many fingers), (((long neck))), Photoshop, video game, ugly, tiling, poorly drawn hands, poorly drawn feet, poorly drawn face, out of frame, mutation, mutated, extra limbs, extra legs, extra arms, disfigured, deformed, cross-eye, body out of frame, blurry, bad art, bad anatomy, 3d render
prompt来源:请参见C站。
说明如果无法访问,您可能需要设置代理后再尝试重新访问。
prompt:越靠前的词权重越大,根据自己的需求调整词语的顺序,例如:主体(Subject)、绘画介质(Medium)、绘画风格(Style)、艺术家名(Artist)、网站(Website)、清晰度(Resolution)、细节描述(Additional details)、颜色(Color)、光影效果(Lighting)。在实际编写的指令中,不需要包含以上所有分组里的关键词,根据自己的需求来设定关键词和顺序即可。除基础模型外,已经训练好的模型一般会有隐藏设置,自动触发一些固定风格,或舍弃部分prompt,根据实际情况而定。
参数介绍
①采样方法(Sampler)
扩散去噪算法的采样模式,不同的采样方法会有不同的效果,根据实际使用情况选择合适的采样方法。其中,Euler a(常用)、DPM++ 2S a、DPM++ 2S a Karras整体构图较为相似;Euler 、DPM++ 2m、DPM++ 2M Karras整体构图比较相似;DDIM的构图风格比较不同。
②迭代步数(Steps)
生成图片的迭代次数是决定AI优化效果的关键因素,每一次迭代都意味着AI系统将有更多机会对比Prompt与当前生成图像,并据此进行精细化调整。提高迭代步数会消耗更多的时间和计算资源,但并不能保证结果会更好。
在实际应用中,随着迭代步数的增加,生成的图像通常会呈现出更丰富的细节,与采样模式息息相关。以Euler a为例,大约在30~40步,生成的图片细节趋于稳定状态,进一步增加迭代步数不会增加新的细节。
③高分辨率修复 (Hires. fix)
可以影响图片的分辨率。使用两个步骤的过程进行生成,以较小的分辨率创建图像,然后在不改变构图的情况下改进其中的细节。勾选后需要设置高分迭代步数、重绘幅度等参数。
高清修复方式,请参见PAI ArtLab高清修复的三种方式。
④宽度&高度:图片的尺寸和分辨率,对显存的消耗较大,分辨率越大细节越多,不建议设置过大,默认512x512即可。
⑤总批次数
不同批次生成的图片细节不同,数值越大,需要计算的时间越久。
⑥单批数量
每批同时生成的图片数量,对显存消耗较大。
⑦提示词引导系数(CFG Scale)
数值越大,越接近Prompt词;参数值越小,AI生成的自由创作空间越大。
⑧随机数种子(Seed)
参数值为-1表示每一次生成都是随机;若为其他任意数值(可为负数和小数),seed值一致,其他参数一致,模型一致,GPU一致,可以生成相同图片。
⑨从提示词或上次生成的图片中读取生成参数。
⑩清空提示词内容。
图生图
图生图技术可依据提示词描述的特点,将一张图片转化为具有新特点的另一张图片,例如将真人照片转为动漫形象,或自动为画作线稿上色。同时,该功能支持参数调整,并具备局部重绘功能,用户能在指定区域进行重绘而不影响其他部分,也可利用涂鸦画笔对原图进行修改后再次生成。
生成的图片不仅能作为新的图生图输入以进行循环创作或局部再编辑,还可用于其它附加功能。此外,系统能够根据输入图片自动生成关键词,通过CLIP与DeepBooru两种AI模型实现反推,其中CLIP适用于写实风格图片,DeepBooru则适用于动漫图片。
具体操作步骤如下。
图生图(单击查看详情)
涂鸦(单击查看详情)
局部重绘(单击查看详情)
涂鸦重绘(单击查看详情)
上传重绘蒙版(单击查看详情)
批量处理(Batch)(单击查看详情)
具体参数说明如下。
图生图/涂鸦参数说明(单击查看详情)
局部重绘参数说明(单击查看详情)
涂鸦重绘参数说明(单击查看详情)
图片信息
上传由Stable Difussion生成的图片,可以查看到生成图片的prompt和参数。
经测试,将原图截图或使用其他APP转发后保存的图片,无法识别图片信息。
ControlNet插件
本产品不同版本Stable Diffusion WebUI及ComfyUI,上架了TheMisto.ai开发的MistoLine-SDXL-ControlNet。
参数介绍
参数 | 说明 |
启用 | 勾选后启用CnotrolNet。 |
低显存优化 | 4 GB显存以下可勾选。 |
预处理器 | 不同选项具有不同的预处理效果,每一个预处理器有对应的模型,二者搭配使用。 |
模型 | 与预处理器中的模型搭配使用。需要手动下载并上传至对应OSS目录中。 |
控制权重 | 表示生成图片时,受CnotrolNet生成图片影响的权重占比。在图生图的过程中,低重绘强度配高权重,可以锁定图片的细节,更改滤镜和画风;高重绘强度配低权重,可以修改图片的细节。 |
引导介入时机 | 数值为0~1,意为百分比,表示ControlNet在第几步介入绘画。0表示从第一步就开始介入,1表示从最后一步开始介入。数值越大,CnotrolNet对生成图片的影响就越小。 例如:设置采样迭代步数为20,引导介入时机为0.3,表示从第6(20*0.3)步开始介入。 |
引导终止时机 | 数值为0~1,意为百分比,表示CnotrolNet在第几步退出绘画。 |
控制类型 |
|