在阿里云DSW中微调Lora模型实现虚拟上装-人工智能平台 PAI(PAI)-阿里云帮助中心

AIGC是指通过人工智能技术自动生成内容的生产方式，其中，文生图（Text-to-image Generation）任务是流行的跨模态生成任务，旨在生成与给定文本对应的图像。在阿里云DSW中，对Stable Diffusion文生图Lora模型进行微调训练，通过WebUI实现虚拟上装推理。

背景信息

WebUI文生图推理效果如下：通过配置Prompt和采样参数后单击生成，WebUI可输出符合描述的人物写实照片（如穿着指定服装的女性照片），展示Lora模型微调后的虚拟上装效果。

已创建DSW实例，其中关键参数配置如下。具体操作，请参见创建DSW实例。

镜像选择：

地域	镜像地址
华东1（杭州）	在官方镜像页签，选择stable-diffusion-webui-develop:1.0-pytorch2.0-gpu-py310-cu117-ubuntu22.04。
华北2（北京）
华东2（上海）
华南1（深圳）

进入PAI-DSW开发环境。
1. 登录PAI控制台。
2. 在页面左上方，选择DSW实例所在的地域。
3. 在左侧导航栏单击工作空间列表，在工作空间列表页面中单击默认工作空间名称，进入对应工作空间内。
4. 在左侧导航栏，选择模型开发与训练>交互式建模（DSW）。
5. 单击需要打开的实例操作列下的打开，进入PAI-DSW实例开发环境。
在Notebook页签的Launcher页面，单击快速开始区域的浏览Gallery，打开DSW Gallery页面。该区域提供创建 Notebook、浏览 Gallery和打开 Console三个入口卡片。
在DSW Gallery页面中，搜索并找到AIGC Stable diffusion文生图Lora模型微调实现虚拟上装教程，单击教程卡片中的在DSW中打开。

单击后即会自动将本教程所需的资源和教程文件下载至DSW实例中，并在下载完成后自动打开教程文件。

打开教程文件stable_diffusion_try_on.ipynb后，可直接查看教程文本并运行。本教程一共3个运行步骤：
1. Diffusers安装。
2. Stable Diffusion+LORA模型fintune。
3. 在DSW中启动WebUI。
按顺序运行各步骤命令。每步成功完成后，再运行下一步。
```
!pip install -U http://pai-vision-data-hz.oss-cn-zhangjiakou.aliyuncs.com/EasyCV/datasets/diffusers-0.22.0.dev0-py3-none-any.whl
```
当第4步启动WebUI运行完成后，在运行结果中单击URL链接（http://127.0.0.1:7860），进入WebUI页面进行模型推理。

说明
由于http://127.0.0.1:7860为内网访问地址，仅支持在当前的DSW实例内部通过单击链接来访问WebUI页面，不支持通过外部浏览器直接访问。

完成以上操作后，AIGC文生图模型微调训练及WebUI部署完成。在WebUI页面验证模型推理效果。

在文生图页签配置以下参数：

Prompt：cloth1,<lora:koreanDollLikeness_v10:0.4>, (extremely detailed CG unity 8k wallpaper),(RAW photo, best quality), (realistic, photo-realistic:1.2), a close up portrait photo, 1girl, shopping mall rooftop cafe, outdoor, smile, (high detailed skin:1.4), puffy eyes, gorgeous hair, air bangs, brown black hair, soft lighting, high quality,<lora:cloth_lora_weights:1>
Negative prompt：ng_deepnegative_v1_75t,paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres, ((monochrome)), (grayscale:1.2), skin spots, acnes, skin blemishes, age spot, glans,extra fingers,fewer fingers,(watermark:1.2),(letters:1.2),(nsfw:1.2),teeth
采样方法（Sampler）： Euler a
采样迭代步数（Steps）： 50
宽度和高度： 640，768
随机种子（seed）： 1400244389
提示词相关性（CFG Scale）：7

单击生成，输出推理结果。生成结果为一张穿着目标服装的女性人物写实照片，背景为商场屋顶咖啡厅场景，与Prompt描述一致，表明模型微调训练成功。