AI 助理
文档备案控制台
官方文档
输入文档关键字查找
首页

Kohya-LoRA模型训练

更新时间：
复制为 MD 格式
我的收藏

每一抹色彩都能绽放想象，来PAI ArtLab解锁你的绘画天赋吧！在这里，通过Lora训练得到油画般质感的图片，每一次训练都能让机器学习到大师的笔触。

实验室资源方式简介

进入实操前，请确保阿里云账号满足以下条件：

  • 个人账号资源

    • 使用您个人的云资源进行操作，资源归属于个人。

    • 平台仅提供手册参考，不会对资源做任何操作。

  • 确保已完成云工开物300元代金券领取。

  • 已通过实名认证且账户余额≥100元。

本实验，预计产生费用：约4.6元——启动工具不计费，仅生图时，按照生图实际消耗的GPU时间计费(0.46元/分钟)。

如果您调整了资源规格、使用时长，或执行了本方案以外的操作，可能导致费用发生变化，请以控制台显示的实际价格和最终账单为准。

平台开通及授权

在开始实验之前，请先点击右侧屏幕的“进入实操”再进行后续操作

image

第一步：本次实验需要您通过领取阿里云云工开物学生专属300元抵扣券兑换本次实操的云资源，如未领取请先点击领取。（若已领取请跳过）

image

重要

实验产生的费用优先使用优惠券，优惠券使用完毕后需您自行承担。

学生认证

第二步：进入并开通PAI ArtLab并授权

  • 点击访问PAI ArtLab平台

  • 初次进入平台，依次点击两步，完成PAI ArtLab平台开通与授权

    image.pngimage.png

  • 完成PAI ArtLab平台开通与授权，进入到首页

    2e59fbcb44dda81fee1bd9ebd9dba705

实验步骤

  • 一、启动Kohya专享版工具

    • 来到首页工具箱，选择Kohya模型训练卡片，点击卡片，启动工具

      image.jpeg

    • 选择一个云上的机器，基于本实验训练数据，选择1*NVDIA A10即可

      image.png

    • 初次启动工具需要一些时间，请耐心等待

      image.png

    • 工具启动成功后，你会看到kohya主界面，你的数据集打标和模型训练任务将在这里完成，现在可以先去准备训练集了image.png

二、开始训练

  • 1、准备数据集图像

    • 图像要求：

      • 本实验首先需要构建一个油画图像数据集，用于训练基于 Stable Diffusion 1.5（SD1.5） 的LoRA模型。数据收集应遵循以下要求：

        • 质量要求：图片质量高，观感清晰，风格稳定统一，不要出现破损和水印

        • 尺寸要求：把收集到的所有图片裁切到

        • 数量要求：建议15-30张高质量图片（高质量画面，主要指内容的高质量，画面清晰即可，无需尺寸过高，图像尺寸过高也会因为显存问题导致训练失败）

      • 示例如下，可下载解压缩到本地作为首次训练的练习素材

        10_youhua.zip

      image

    • 命名要求：

      • 你也可以自行准备数据集，把收集好的图片素材放在一个文件夹。文件夹名称必须为 数字_字母 。示例为30张数据集图像情况下，数字建议设置为10，10_字母。例如：10_youhua

  • 2、创建数据集

    • 点击左侧“数据集”标签栏，点击“立即创建”按钮image.png

    • 给数据集命名，以方便识别为目的。例如：youhua_data，填完后点确定image.png

    • 点击进入刚刚创建的数据集image.png

    • 把本地准备好的数据集文件夹“10_youhua”拖入这个数据集里面image.png

  • 3、给数据集图像打标

    • 回到kohya主界面，点击"Utilities"标签栏，再点击省略号，最后选中"WD14 Captioning"image.png

    • 寻找并填入需要批量打标的数据集目录image.png

    • 在这里填写你的lora触发词，这个词汇必须是独特的，在英文语境中没有实际含义的。例如:“abc”"youhua""gs_style"，你可以自己造一个词填在这里。image.png

    • 填完后下滑，点击“Caption images”image.png

    • 下方日志窗口会反馈打标进度，几十秒就能完成。出现“...captioning done”字样意为处理成功，这时你可以返回数据集标签页检查打标结果。image.png

    • 这时返回到数据集的模块，点击任意一张图片，就可以发现图片是打标好的了image.png

  • 4、模型训练

    • 首先来到模型广场，选择并添加训练用的底膜image.png

    • 返回kohya主界面，进入lora - training标签页下image.png

    • 添加后要点击刷新加载出这个底模，再选择底模image.png

      image.png

    • 写入数据集地址image.png

    • 设置输出模型的名称，简单易懂即可。例如：oilpaint_styleimage.png

    • 下滑页面，找到“Parameters(参数)”这一栏，展开image.png

    • 修改参数image.pngimage.png

    • 改完后点开始训练image.png

    • 训练进度在日志中实时显示，等待训练完成image.png

    • 训练结束后模型保存在“模型”-“我的模型”中，来到我的模型，可以先点击刷新，再就能找到自己的模型了image.pngimage.png

    • 这时需要点击将需要的模型添加到SDWebUI共享版image.png

三、模型效果验证

  • 1、启动SDWebUI共享版工具

    来到首页工具箱，选择Stable Diffusion WebUI · 共享版图像生成工具卡片，点击卡片，启动工具（初次启动工具需要一些时间，请耐心等待）image.jpeg

  • 2、用训练好的模型生成图像

    • 以此选择以下内容，基模、提示词、采样方法、迭代部署、放大算法、提示词引导系数、种子等image.png

    • Stable Diffusion模型

      • chocolaeChocolaeOil_v10

    • 正向提示词：<你的触发词>, yellow flowers, vase, window, apples, still life, sunlight, painting, indoor, curtain, white vase, green leaves, fruit, natural light, art

    • 负向提示词：EasyNegative,(ng_deepnegative_v1_75t),badhandv4,bad-picture-chill-75v,bad_prompt_version2-neg,Poorly drawn face,Poorly drawn hands,NSFW,(worst quality, low quality:2),zombie,overexposure,watermark,text,bad anatomy,bad hand,extra hands,extra fingers,too many fingers,fused fingers,bad arm,distorted arm,extra arms,fused arms,extra legs,missing leg,disembodied leg,extra nipples,detached arm,liquid hand,inverted hand,disembodied limb,oversized head,extra body,completely nude,extra navel,(hair between eyes),sketch,duplicate,ugly,huge eyes,text,logo,worst face,(bad and mutated hands:1.3),(blurry:2),horror,geometry,bad_prompt,(bad hands),(missing fingers),multiple limbs,bad anatomy,(interlocked fingers:1.2),Ugly Fingers,(extra digit and hands and fingers and legs and arms:1.4),((2girl)),(deformed fingers:1.2),(long fingers:1.2),(bad-artist-anime),bad-artist,bad hand,extra legs

    • 采样方法：DPM++ 2M Karras

    • 迭代步数：30

    • 放大算法：4x-UltraSharp

    • 点击lora标签栏，选择一个你刚刚训练好的lora，点击后这个lora会进入正向提示词框中image.png

    • 提示词引导系数：3

    • 随机数种子：888image.png

  • 3、模型验证

    • SD工具仅支持基于sd1.5 2 xl系列模型微调的lora进行模型生图效果验证，SD工具不支持flux系列模型生成

    • 首先在以上参数都选配好的情况下，返回到正向提示词，修改模型命名

      • 修改这串字符，将模型名“-”后的六位数字改为bianhao。将“：”后的1改为qiangdu

      • 示例：

        • 原字符串：<lora:oilpaint_lora-000018:1>

        • <lora:oilpaint_lora-bianhao:qiangdu>image.png

    • 点击"generation"标签页，鼠标拉到最下面。在脚本选项栏中选择“XYZ图表”image.png

    • 按照图示设置参数

      • bianhao,000012,000014,000016,000018

      • qiangdu,0.6,0.7,0.8,0.9,1image.png

    • 修改完后点击运行，得到不同训练阶段的lora在不同强度下运行的结果对比图表。如下图所示。image.png

    • 你还可以通过更换不同的提示词和强度来多次测试观察，以此挑选出最佳的模型。image.png

    • 示例模型：oilpaint_lora-000016.safetensors

清理资源

  • 如果无需继续使用工具，您可以按照以下操作步骤停止或删除工具。

    • 在PAI ArtLab控制台中，关闭kohya、Stable Diffusion（共享版）等页签，EAS模型服务将会停止，不会继续收费。

      image

  • 前往PAI ArtLab控制台

  • 在页面左上方，选择模型所在地域，本实验EAS实例所在地域为华东2（上海）

  • 在左侧导航栏单击工作空间列表，在工作空间列表页面中单击默认工作空间名称，进入对应工作空间内。

  • 在工作空间页面的左侧导航栏中单击模型在线服务（EAS）。在模型在线服务（EAS）页面，找到目标服务。单击其右侧操作列下的删除

    • image

  • 如果需要继续使用，请随时关注账号扣费情况，避免模型因欠费而被自动停止。

场景简介

  • 来PAI ArtLab解锁你的绘画天赋！通过Lora训练得到油画般质感的图片。上传你的训练集，启动训练，瞬间可以赋予它丰富的质感和立体的光影，无论是细腻的人物肖像、壮阔的风景画还是你独到的艺术创作，都能在油画的世界中绽放光彩！

  • 在本实验场景中，将使用阿里云一站式 AIGC 设计平台 PAI ArtLab，云端一键启动 Stable Diffusion WebUI（共享版）工具，零代码无需部署即可体验 Stable Diffusion 文生图模型。本实验依赖两款云产品，分别是对象存储 OSS 和模型在线服务 PAI-EAS，对象存储 OSS 支持模型、图像、文本等文件的存储、预览及下载等能力。模型在线服务 PAI-EAS 支持利用云上 GPU 进行模型在线推理生图。

  • 本实验场景无需深奥的AI背景知识，只需启动生图工具，依据实验教程文档，在生图工具界面输入图像生成的提示词，即可轻松完成本实验获取AI生成图像，感受AIGC的魅力。

  • 在使用平台工具过程中，如有任何疑问和建议，您可以加入钉钉群（群号：88010006410）反馈，并获取技术支持。

背景知识

  1. 智能设计（PAI ArtLab）

    • PAI ArtLab是由阿里云人工智能平台PAI联合阿里云智能设计部共同打造的平台产品，面向设计场景，旨在为设计师提供自动化设计工具的一站式AIGC设计平台。平台打通了数据集管理与模型训练、AI绘图与在线推理的全场景链路，集成了主流的文生图类型的AIGC大模型工具及文生图模型开箱即用。设计师无需编程功底也可利用AI技术进行批量自动化图片生产，有效降低文生图大模型的使用学习成本和技术门槛，为设计想象力和设计生产力加速。帮助您在设计、艺术、创意行业快速应用AIGC能力。

  2. PAI ArtLab平台依赖以下两款云产品：

    1. 对象存储OSS：模型、图像、文本等文件的存储、预览及下载会消耗此产品资源；

    2. 模型在线服务PAI-EAS：利用云上GPU进行模型在线推理会消耗此产品资源;

      (在您使用平台、用代金券进行资源抵扣及付费购买的过程中，会感知到以上2款阿里云产

      品。

关闭实验

  • 在完成实验后，点击 结束实操

    image

  • 点击 取消 回到实验页面，点击 确定 退出实验界面，关闭页面结束实验

    image