本文介绍Kohya工具使用说明。
点击登录PAI ArtLab控制台。
前提条件
(可选)已领取免费试用资源/代金券,或购买资源包,详情请参见PAI ArtLab计费说明。
请在资源/代金券或资源包有效期内使用,详情请参见查看使用额度和期限。
操作步骤
本文以使用Kohya(专享版)训练油画模型,并基于该模型生成油画风格的图片为例进行说明。建议您自行准备15张分辨率为768*768px的油画自然景观图像作为模型训练的数据集,按照如下步骤完成该模型训练。
步骤一:创建数据集
登录PAI ArtLab,鼠标悬停右上角
,选择华东2(上海)区域。
在数据集页面,单击新建数据集,设置数据集名称。
进入该数据集,单击新建文件夹,设置文件夹名称。
文件夹名称格式:数字_任意名称,数字代表训练时的repeat值。例如,
30_test
。上传图片至已创建的文件夹。图片要求如下:
画面内容清晰,建议选择15张以上的图片。
避免像素过高,以sd1.5基模的LoRA训练为例,图像像素在512*512或者512*768即可。
避免包含水印、低清晰度、怪异的光线、复杂且难以辨认的内容物和奇怪的角度等。
步骤二:打标数据
在工具箱页面,单击Kohya(专享版)卡片,启动工具。
在
页签,配置以下参数。参数
说明
Image folder to caption(要添加标注的图像文件夹)
选择已创建的文件夹。如果下拉菜单中不显示目标文件夹,您可以手动输入该文件夹的路径。
例如,
/data-oss/datasets/test/30_test
。Undesired Tags
输入不想要的提示词。
Prefix to add to WD14 caption
输入想要的LoRA触发词,格式为数据集名称+数字。
例如,
test1
。单击Caption images,开始自动批量打标。
请等待2~3分钟,当日志区提示captioning done,代表打标完成。
在数据集页面,打开已创建的文件夹,单击图片,即可查看对应的标注内容。
您也可以对标注内容进行修改。
步骤三:训练模型
在
页面,选择Checkpoint模型,并将该模型添加至我的模型。在Kohya(专享版)页面,选择
,完成以下配置。在Source model(模型来源)页签,配置以下参数。
参数
说明
Model Quick Pick(快速选择模型)
选择custom。
Pretrained model name or path
单击右侧
刷新模型列表。
在下拉菜单选择/data-oss/models/Stable-diffusion。
在该路径后输入
/
,继续选择已添加的模型。
在Folders(文件夹)页签,配置以下参数。
参数
说明
Output folder(输出文件夹)
选择已创建的数据集。
Model output name(模型输出名)
输入训练的LoRA名称。例如,
test
。在Parameters(参数)页签,配置以下参数。
参数
说明
Epoch(训练周期数)
设置为20。
Max resolution(最大分辨率)
设置为768,768。
Enable buckets(启用数据容器buckets)
取消勾选。
数据集文件尺寸相同时取消勾选。
Text Encoder learning rate(文本编码器学习率)
设置为0.00001。
Network Rank (Dimension)
设置为128。
Network Alpha
设置为64。
单击Start training(开始训练),当日志区提示model saved,代表模型训练完成。
训练过程中会生成代码,其中,loss值是用于衡量模型预测与实际结果差异的关键指标,一般不同类型的模型loss值不同,参考值如下:
模型类型
loss值
人物模型
0.06-0.09
实物模型
0.07-0.09
风格模型
0.08-0.13
功能模型
0.003-0.05
步骤四:查看模型效果
在
页面,单击模型卡片右侧的,将Checkpoint模型和生成的LoRA模型添加到Stable Diffusion(共享版)。
在工具箱页面,单击Stable Diffusion(共享版)卡片,启动工具。
单击Stable Diffusion模型右侧的
,然后选择Checkpoint模型。
在文生图页签,完成以下配置。
在Generation页签,配置以下参数。
参数
说明
迭代步数(Steps)
设置为30。
脚本
选择X/Y/Z plot。
X轴类型:Prompt S/R
X轴值:NUM,000001,000002,000003
Y轴类型:Prompt S/R
Y轴值:STRENGTH,0.3,0.5,0.6,0.7,0.8,0.9,1
在Lora页签,单击刷新,单击已添加的LoRA模型。
如果找不到该LoRA模型,可选择训练的其中一个LoRA模型,并修改提示词。
例如,将
<lora:test-000002:1>
修改为<lora:test-NUM:STRENGTH>
。填写提示词。
参数
说明
正向提示词
test1, outdoors, sky, day, cloud, water, tree, blue sky, no humans, traditional media, grass, building, nature, scenery, house, castle,
反向提示词
lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit,fewer digits, cropped, worst quality, low quality,normal quality, jpeg artifacts, signature,watermark, username, blurry,(worst quality:1.4),(low quality:1.4), (monochrome:1.1), Eagetive,
单击生成,等待图片生成。
最终获得XYZ图片,可以将所有训练模型都利用X/Y/Z plot测试,比较模型和权重效果。