PAI ArtLab Kohya

本文介绍Kohya工具使用说明。

点击登录PAI ArtLab控制台

前提条件

操作步骤

本文以使用Kohya(专享版)训练油画模型,并基于该模型生成油画风格的图片为例进行说明。建议您自行准备15张分辨率为768*768px的油画自然景观图像作为模型训练的数据集,按照如下步骤完成该模型训练。

步骤一:创建数据集

  1. 登录PAI ArtLab,鼠标悬停右上角image,选择华东2(上海)区域。

  2. 数据集页面,单击新建数据集,设置数据集名称。

  3. 进入该数据集,单击新建文件夹,设置文件夹名称。

    文件夹名称格式:数字_任意名称,数字代表训练时的repeat值。例如,30_test

  4. 上传图片至已创建的文件夹。图片要求如下:

    • 画面内容清晰,建议选择15张以上的图片。

    • 避免像素过高,以sd1.5基模的LoRA训练为例,图像像素在512*512或者512*768即可。

    • 避免包含水印、低清晰度、怪异的光线、复杂且难以辨认的内容物和奇怪的角度等。

步骤二:打标数据

  1. 工具箱页面,单击Kohya(专享版)卡片,启动工具。

  2. Utilities > Captioning > WD14 Captioning(WD14标注)页签,配置以下参数。

    参数

    说明

    Image folder to caption(要添加标注的图像文件夹)

    选择已创建的文件夹。如果下拉菜单中不显示目标文件夹,您可以手动输入该文件夹的路径。

    例如,/data-oss/datasets/test/30_test

    Undesired Tags

    输入不想要的提示词。

    Prefix to add to WD14 caption

    输入想要的LoRA触发词,格式为数据集名称+数字。

    例如,test1

  3. 单击Caption images,开始自动批量打标。

    请等待2~3分钟,当日志区提示captioning done,代表打标完成。

  4. 数据集页面,打开已创建的文件夹,单击图片,即可查看对应的标注内容。

    您也可以对标注内容进行修改。

步骤三:训练模型

  1. 模型 > 模型广场页面,选择Checkpoint模型,并将该模型添加至我的模型

  2. Kohya(专享版)页面,选择LoRA(LoRA) > Training(训练),完成以下配置。

    1. Source model(模型来源)页签,配置以下参数。

      参数

      说明

      Model Quick Pick(快速选择模型)

      选择custom

      Pretrained model name or path

      1. 单击右侧image刷新模型列表。

      2. 在下拉菜单选择/data-oss/models/Stable-diffusion

      3. 在该路径后输入/,继续选择已添加的模型。

    2. Folders(文件夹)页签,配置以下参数。

      参数

      说明

      Output folder(输出文件夹)

      选择已创建的数据集。

      Model output name(模型输出名)

      输入训练的LoRA名称。例如,test

    3. Parameters(参数)页签,配置以下参数。

      参数

      说明

      Epoch(训练周期数)

      设置为20

      Max resolution(最大分辨率)

      设置为768,768

      Enable buckets(启用数据容器buckets)

      取消勾选。

      数据集文件尺寸相同时取消勾选。

      Text Encoder learning rate(文本编码器学习率)

      设置为0.00001

      Network Rank (Dimension)

      设置为128

      Network Alpha

      设置为64

  3. 单击Start training(开始训练),当日志区提示model saved,代表模型训练完成。

    训练过程中会生成代码,其中,loss值是用于衡量模型预测与实际结果差异的关键指标,一般不同类型的模型loss值不同,参考值如下:

    模型类型

    loss

    人物模型

    0.06-0.09

    实物模型

    0.07-0.09

    风格模型

    0.08-0.13

    功能模型

    0.003-0.05

步骤四:查看模型效果

  1. 模型 > 我的模型页面,单击模型卡片右侧的image,将Checkpoint模型和生成的LoRA模型添加到Stable Diffusion(共享版)

  2. 工具箱页面,单击Stable Diffusion(共享版)卡片,启动工具。

  3. 单击Stable Diffusion模型右侧的image,然后选择Checkpoint模型。

  4. 文生图页签,完成以下配置。

    1. Generation页签,配置以下参数。

      参数

      说明

      迭代步数(Steps)

      设置为30

      脚本

      选择X/Y/Z plot

      • X轴类型Prompt S/R

      • X轴值NUM,000001,000002,000003

      • Y轴类型Prompt S/R

      • Y轴值STRENGTH,0.3,0.5,0.6,0.7,0.8,0.9,1

    2. Lora页签,单击刷新,单击已添加的LoRA模型。

      如果找不到该LoRA模型,可选择训练的其中一个LoRA模型,并修改提示词。

      例如,将<lora:test-000002:1>修改为<lora:test-NUM:STRENGTH>

    3. 填写提示词。

      参数

      说明

      正向提示词

      test1, outdoors, sky, day, cloud, water, tree, blue sky, no humans, traditional media, grass, building, nature, scenery, house, castle,

      反向提示词

      lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit,fewer digits, cropped, worst quality, low quality,normal quality, jpeg artifacts, signature,watermark, username, blurry,(worst quality:1.4),(low quality:1.4), (monochrome:1.1), Eagetive,

  5. 单击生成,等待图片生成。

    最终获得XYZ图片,可以将所有训练模型都利用X/Y/Z plot测试,比较模型和权重效果。

相关操作

选择Checkpoint训练底模

  • 方式一:选择平台内部预置的Checkpoint底模,例如sd1.5 xl等。

    image

  • 方式二:选择自定义(custom)底模

    1. 上传训练基模添加模型

    2. Model Quick Pick(快速选择模型)选择customPretrained model name or path选择/data-oss/models/Stable--diffusion,然后输入/,即可选择已添加或上传到我的模型中的Checkpoint模型。

      image