文档

面向AIGC中文文生图模型的WebUI使用

更新时间:

本文为您介绍如何通过EAS部署AIGC Stable Diffusion SDWebUI绘画应用,并在该应用中加载PAI自研的Chinese-Diffusion插件,以实现使用中文Prompt作为输入的文图生成功能。

背景信息

AIGC,即通过人工智能技术自动生成内容的生产方式,已经成为继互联网时代的下一个产业时代风口。其中,Stable Diffusion文生图模型是一种开源且流行的跨模态生成模型,旨在生成与给定文本对应的图像。然而,Stable Diffusion只支持英文Prompt作为模型的输入。为了解决这个问题,PAI自研了Chinese-Diffusion插件,通过在WebUI中加载该插件,可以实现采用中文Prompt作为输入的文图生成功能。

前提条件

部署EAS模型服务

将Stable Diffusion模型部署为AI-Web应用服务,具体操作步骤如下:

  1. 进入PAI-EAS 模型在线服务页面。

    1. 登录PAI控制台

    2. 在左侧导航栏单击工作空间列表,在工作空间列表页面中单击待操作的工作空间名称,进入对应工作空间内。

    3. 在工作空间页面的左侧导航栏选择模型部署>模型在线服务(EAS),进入PAI-EAS 模型在线服务页面。image.png

  2. PAI-EAS 模型在线服务页面,单击部署服务,在弹出对话框中,选择自定义部署,然后单击确定

  3. 部署服务页面,配置以下关键参数。

    参数

    描述

    服务名称

    自定义服务名称。本案例使用的示例值为:sdwebui_prompt

    部署方式

    选择镜像部署AI-Web应用

    镜像选择

    PAI平台镜像列表中选择stable-diffusion-webui;镜像版本选择4.0-standard

    说明

    由于版本迭代迅速,部署时镜像版本选择最高版本即可。

    运行命令

    系统会自动配置运行命令,您需要在运行命令中添加--public-cache。示例如下:./webui.sh --listen --port 8000 --skip-version-check --no-hashing --no-download-sd-model --skip-install --api --api-log --time-log --sd-dynamic-cache --public-cache

    资源组种类

    选择公共资源组

    资源配置方法

    选择常规资源配置

    资源配置选择

    必须选择GPU类型,实例规格推荐使用ml.gu7i.c16m60.1-gu30(性价比最高)。

    49a4ad71dacfc06efadcbcf6773dd939.png

  4. 单击部署,等待一段时间即可完成模型部署。

    模型状态运行中时,服务部署成功。

启动WebUI进行模型推理

  1. 启动WebUI。

    在服务列表中,单击目标服务的服务方式列下的查看Web应用,来启动WebUI。image.png

  2. 加载Chinese-Diffusion插件。

    扩展页签下,检查是否已选中ChineseSD。如果没有选中,您需要选中ChineseSD,并单击应用更改并重载前端来重新加载Chinese-Diffusion插件。image.png

  3. 使用Chinese-Diffusion插件进行模型推理。

    在WebUI中输入中文Prompt进行模型推理,各功能的对应效果如下:

    文生图

    切换到Chinese-Diffusion页签,在文生图选项卡中选择模型 > pai-diffusion-artist-large-zh。模型加载完成后,在提示词(prompt)中输入一个美丽的女孩,然后单击生成图像image.png

    您也可以加载Lora模型,以生成不同风格的图像。image.png

    图生图

    切换到Chinese-Diffusion页签下的图生图选项卡中。选择模型并加载完成后,输入提示词(prompt)并按照界面操作指引上传图片,然后单击生成图像image.png

    从上图可以看出,小女孩的发色变成了黑色。

    重绘

    切换到Chinese-Diffusion页签下的重绘选项卡中。选择模型并加载完成后,输入提示词(prompt)并按照界面操作指引上传图片和掩膜,然后单击生成图像image.png

    从上图可以看出,生成的图像对掩膜区域进行了重绘。

    Controlnet

    切换到Chinese-Diffusion页签下的Controlnet选项卡中。选择模型和Controlnet模型并加载完成后,输入提示词(prompt)并按照界面操作指引上传图片,然后单击生成图像image.png

    从上图可以看出,背景变成了雪地。

  • 本页导读 (1)
文档反馈