Kohya-LoRA模型训练
每一抹色彩都能绽放想象，来PAI ArtLab解锁你的绘画天赋吧！在这里，通过Lora训练得到油画般质感的图片，每一次训练都能让机器学习到大师的笔触。上传你的训练集，启动训练，瞬间可以赋予它丰富的质感和立体的光影，无论是细腻的人物肖像、壮阔的风景画还是你独到的艺术创作，都能在油画的世界中绽放光彩！即刻携手踏上这场油画革命，与艺术爱好者们共享你的跨界创意，一起打破常规，缔造非凡！#PAI ArtLab#模型训练#油画魅力
实验室资源方式简介
进入实操前，请确保阿里云账号满足以下条件：
个人账号资源
使用您个人的云资源进行操作，资源归属于个人。
平台仅提供手册参考，不会对资源做任何操作。
确保已完成云工开物300元代金券领取。
已通过实名认证且账户余额≥100元。
本实验，预计产生费用：约4.6元——启动工具不计费，仅生图时，按照生图实际消耗的GPU时间计费(0.46元/分钟)。
如果您调整了资源规格、使用时长，或执行了本方案以外的操作，可能导致费用发生变化，请以控制台显示的实际价格和最终账单为准。
平台开通及授权
在开始实验之前，请先点击右侧屏幕的“进入实操”再进行后续操作
第一步：本次实验需要您通过领取阿里云云工开物学生专属300元抵扣券兑换本次实操的云资源，如未领取请先点击领取。（若已领取请跳过）
实验产生的费用优先使用优惠券，优惠券使用完毕后需您自行承担。
第二步：进入并开通PAI ArtLab并授权
点击访问PAI ArtLab平台
初次进入平台，依次点击两步，完成PAI ArtLab平台开通与授权
完成PAI ArtLab平台开通与授权，进入到首页
实验步骤
一、数据集创建
1、数据集图像收集：
至少十五张以上（选择高质量的图像数据，排除以下因素：水印，低清，怪异的光线，复杂且难以辨认的内容物，奇怪的角度等）。
说明这里的高质量画面，主要指内容的高质量，画面清晰即可，无需尺寸过高。图像尺寸过高也会因为显存问题导致训练失败。以sd1.5基模的lora训练为例，图像像素在512*512或者512*768即可。
2、数据集图像预处理：
比如处理水印、文字、以及图像尺寸调整等，可以借助图像预处理工具裁剪为512×512尺寸即可（这里图像预处理软件大家可以用PS或者其它批量预处理图像的网站和软件）
3、上传数据集图像：
点击左边导航的“数据集”模块
4、在数据集模块，点击“新建数据集”。
5、新建数据集命名，这里可以任意命名，此案例就命名为“youhua”。
6、点击新建好的叫做“youhua”的数据集。
7、创建数据集子文件夹：点击进入到新建的数据集里面，点击“新建文件夹”，文件夹命名格式为：“数字_任意名称”，此案例里，设为“30_youhua”。
说明注意：命名格式为“数字_任意名称”，是kohya这个工具对于训练数据集命名的要求。这里的数字，是指训练时赋予的repeat值，是通过文件夹命名来赋予的。图片数量 * repeat 数量 * 设置的epoch / batch_size = 训练总步。repeat数量指：训练过程中会读取多少次这个图像。
8、点击创建命名好的文件夹“30_youhua”，把整理好的数据集图片素材上传到此文件夹里。
9、上传完成。
说明注意：这里也可以本地准备好一个“数字_任意名称”的文件夹，然后直接上传到数据集下面。以上图为例，可以本地准备好一个“30_youhua”装好图片的文件夹，然后上传到youhua这个数据集里面也可以。
二、使用Kohya（专享版）工具
1、在工具箱页面，单击Kohya（专享版），启动Kohya（专享版）工具。
2、在费用提示对话框中，单击确定。使用之前，请确保自己领取成功了代金券。
3、请您耐心等待服务启动，首次启动服务大约需要5~10分钟，非首次启动服务大约需要2~3分钟。
4、数据集图像批量打标：
在kohya界面，选择utilities>WD14 Captioning(wD14标注)，在要添加标注的图像文件夹里选择/data-oss/datasets/youhua/30_youhua（一定要选择到有数字的文件夹这一层路径）。
5、在undesired tags上写上自己不想要的提示词，比方说不想要人，就写上people
在Prefix to add to WD14 caption上写上你想要的Lora触发词，这里以文件夹名称+数字,命名—youhua1
6、点击“Caption images”，开始批量自动打标。请您耐心等待，大约需要2~3分钟。当日志区提示“captioning done”就是打标完成了。
7、打标完成，再次返回数据集模块。
8、进入30_youhua的文件夹，点击图片即可检查刚刚批量完成的标注。这里如果觉得标注有不准确的地方也可以手动编辑修改标注。在编辑框内修改完标注，点击旁边任意一处空白，编辑后的信息就会被自动保存。
9、训练Lora的时候会需要一个checkpoint底模
本次使用的checkpoint底模需要从模型广场中转存。首先，点击左边导航的“模型”功能。
10、在模型模块的“模型广场”中，搜索中输入“chocolae”基模名称关键字，找到我们想要用到的训练基模。
11、选择到这个checkpoint底模，点击右上角的文件夹，点击“添加到我的模型”。
12、在工具箱页面，单击Kohya（专享版），再次返回到我们的kohya工具
13、点击Lora>Training（训练），选择source model(模型来源)。
14、在Model Quick Pick（快速选择模型）选择custom进行自定义选择checkpoint底模。
15、找到Kohya的模型区旁边的刷新按钮，点击一下刷新
16、在Pretrained model name or path先选择/data-oss/models/Stable-diffusion。
17、在“/data-oss/models/Stable-diffusion”后面加一个“/”
选择chocolaeChocolaeOil_v10.safetensors（选择自己需要的底模）。
18、最后数据如图。
19、选择Folders（文件夹）
在Image folder（输出文件夹）：/data-oss/datasets/youhua（选择自己建立的数据库，不要选择带有数字的文件夹！）
Model output name（模型输出名）：youhua（输入训练的LORA名称）。
20、选择：Parameters(参数)
将 Epoch（训练周期数）改为20。
21、
Max resolution（最大分辨率）改为768,768
取消勾选Enable buckets（数据集尺寸相同时取消勾选）
Text Encoder learning rate（文本编码器学习率）改为0.00001
Network Rank(Dimension)改为128；Network Alpha改为64。
22、点击开始训练。
23、训练过程中会生成代码
代码中有一个部分是loss值，“loss值”是衡量模型预测与实际结果差异的关键指标。
24、 一般来说不同类型模型最好的loss是不同的。
不同类型模型参考loss值
人物模型
0.06-0.09
实物模型在
0.07-0.09
风格模型
0.08-0.13
功能模型
0.003-0.05
25、在观测中，可以看到loss值大体上应该是先下降后较为平稳的趋势
通过loss的观测可以判断模型的好坏
本次训练的Lora模型为风格模型loss处于0.08-0.13之间，符合范围可以生图。
26、在日志区，当出现“model saved”字样，表示模型训练完成。
27、 模型训练成功后，点击左侧导航“模型”模块。
28、 点击“我的模型”，可以查看到模型训练保存的模型结果。
29、接下来，通过Stable Diffusion（共享版），来进行训练的模型生图验证
首先，将生成好的所有Lora模型都添加到Stable Diffusion（共享版）
30、同时，我们把前面用于训练的底模，也添加到Stable Diffusion（共享版）
三、使用Stable Diffusion（专享版）工具
1、在工具箱页面，点击查看更多工具。
单击StableDiffusion（专享版）卡片，启动StableDiffusion（专享版）工具。
2、在费用提示对话框中，单击确定。
3、请您耐心等待服务启动，首次启动服务大约需要5~10分钟，非首次启动服务大约需要2~3分钟。
4、服务启动后，点击右边蓝色刷新按钮，刷新模型区域点击Stable Diffusion模型，选择chocolaeChocolaeOil_v10.safetensors。
5、生图模式选择文生图模式。
6、参数方面，迭代步数选择30。
7、拉到最底下，脚本选择X/Y/Z plot。利用X/Y/Z plot测试哪轮模型的哪个权重效果比较好。
X轴类型和Y轴类型选择Prompt S/R。
8、
X轴值改为：NUM,000001,000002,000003;
Y轴值改为：STRENGTH,0.3,0.5,0.6,0.7,0.8,0.9,1
9、点击Lora。
10、点击刷新，训练的Lora就会刷新出来。
11、接下来填写提示词，提示词参考。
正向提示词：
youhua1, outdoors, sky, day, cloud, water, tree, blue sky, no humans, traditional media, grass, building, nature, scenery, house, castle,
反向提示词：
lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit,fewer digits, cropped, worst quality, low quality,normal quality, jpeg artifacts, signature,watermark, username, blurry,(worst quality:1.4),(low quality:1.4), (monochrome:1.1), Eagetive,
12、如果找不到添加共享版的Lora模型，点击刷新。
13、选择训练的其中一个Lora。
14、将<lora:youhua-000002:1>改成<lora:youhua-NUM:STRENGTH>。
15、点击生成提示词完成，点击生成。
16、点击生成后请您耐心等待，大约需要0.5~2分钟。
17、最后获得XYZ图片。可以将所有训练出来的模型都利用X/Y/Z plot测试哪轮模型的哪个权重效果比较好。
清理资源
如果无需继续使用工具，您可以按照以下操作步骤停止或删除工具。
在PAI ArtLab控制台中，关闭Stable Diffusion（共享版）等页签，EAS模型服务将会停止，不会继续收费。
在页面左上方，选择模型所在地域，本实验EAS实例所在地域为华东2（上海）
在左侧导航栏单击工作空间列表，在工作空间列表页面中单击默认工作空间名称，进入对应工作空间内。
在工作空间页面的左侧导航栏中单击模型在线服务（EAS）。在模型在线服务（EAS）页面，找到目标服务。单击其右侧操作列下的删除
如果需要继续使用Stable Diffusion（共享版），请随时关注账号扣费情况，避免模型会因欠费而被自动停止。
场景简介
来PAI ArtLab解锁你的绘画天赋！通过Lora训练得到油画般质感的图片。上传你的训练集，启动训练，瞬间可以赋予它丰富的质感和立体的光影，无论是细腻的人物肖像、壮阔的风景画还是你独到的艺术创作，都能在油画的世界中绽放光彩！
在本实验场景中，将使用阿里云一站式 AIGC 设计平台 PAI ArtLab，云端一键启动 Stable Diffusion WebUI（共享版）工具，零代码无需部署即可体验 Stable Diffusion 文生图模型。本实验依赖两款云产品，分别是对象存储 OSS 和模型在线服务 PAI-EAS，对象存储 OSS 支持模型、图像、文本等文件的存储、预览及下载等能力。模型在线服务 PAI-EAS 支持利用云上 GPU 进行模型在线推理生图。
本实验场景无需深奥的AI背景知识，只需启动生图工具，依据实验教程文档，在生图工具界面输入图像生成的提示词，即可轻松完成本实验获取AI生成图像，感受AIGC的魅力。
在使用平台工具过程中，如有任何疑问和建议，您可以加入钉钉群（群号：88010006410）反馈，并获取技术支持。
背景知识
PAI ArtLab是由阿里云人工智能平台PAI联合阿里云智能设计部共同打造的平台产品，面向设计场景，旨在为设计师提供自动化设计工具的一站式AIGC设计平台。平台打通了数据集管理与模型训练、AI绘图与在线推理的全场景链路，集成了主流的文生图类型的AIGC大模型工具及文生图模型开箱即用。设计师无需编程功底也可利用AI技术进行批量自动化图片生产，有效降低文生图大模型的使用学习成本和技术门槛，为设计想象力和设计生产力加速。帮助您在设计、艺术、创意行业快速应用AIGC能力。
PAI ArtLab平台依赖以下两款云产品：
对象存储OSS：模型、图像、文本等文件的存储、预览及下载会消耗此产品资源；
模型在线服务PAI-EAS：利用云上GPU进行模型在线推理会消耗此产品资源;
(在您使用平台、用代金券进行资源抵扣及付费购买的过程中，会感知到以上2款阿里云产
品。
关闭实验
在完成实验后，点击 结束实操
点击 取消 回到实验页面，点击 确定 跳转实验评分
请为本次实验评分，并给出您的建议，点击 确认，结束本次实验
