基于函数计算快速部署可切换模型的Stable Diffusion

本文介绍如何通过函数计算搭建可切换模型的Stable Diffusion,实现更高质量的图像生成。

背景信息

AIGC(Artificial Intelligence Generated Content)是指人工智能生成内容。Stable Diffusion是一个可通过文本生成图像的扩散模型,基于CLIP模型从文字中提取隐变量,并通过UNet模型生成图片;最后通过逐步扩散、逐步处理图像,优化图像质量。

在实际使用过程中,需要切换不同的模型生成图片。本文为您介绍如何基于函数计算快速部署可切换模型的Stable Diffusion。

重要
  • 阿里云不对第三方模型的合法性、安全性、准确性进行任何保证,阿里云不对由此引发的任何损害承担责任。

  • 您应自觉遵守第三方模型的用户协议、使用规范和相关法律法规,并就使用第三方模型的合法性、合规性自行承担相关责任。

前提条件

已开通函数计算服务,详情请参见开通函数计算服务

操作步骤

部署可切换模型的Stable Diffusion,需要使用函数计算及文件存储NAS,在这两部分会产生相关费用。具体信息,请参见费用说明

关于部署Stable Diffusion并使用模型生成图片的流程如下:

  1. 步骤一:创建应用

  2. 步骤二:安装模型

  3. 步骤三:安装插件

  4. 步骤四:生成图片

  5. 步骤五:释放资源

步骤一:创建应用

  1. 登录函数计算控制台,在左侧导航栏,单击应用

    • 如果您首次使用函数计算的应用中心,或您的账号下没有创建任何应用,在左侧导航栏,单击应用后,将自动进入创建应用页面。

      image..png

    • 如果您之前使用过应用中心,在左侧导航栏,单击应用,然后在应用页面单击创建应用

      image..png

  2. 创建应用页面,选择通过模板创建应用,然后在应用列表中搜索并选择AI数字绘画stable-diffusion自定义模型版,光标移至该卡片,然后单击立即创建

  3. 创建应用页面,设置以下配置项,然后单击创建应用

    主要配置项说明如下,其余配置项保持默认值即可。

    配置项

    说明

    示例值

    地域

    选择部署应用的地域。

    说明

    由于Hugging Face网站访问不稳定,部分Stable Diffusion插件存在检查模型更新的逻辑,在国内使用这类插件可能会遇到启动、出图时间慢,及无法出图等问题。如果您遇到上述问题,可以考虑在日本(东京)地域部署Stable Diffusion。

    日本(东京)

    绘图类型

    根据需要选择绘图类型,应用中心内置了SD1.5动漫风格真人风格轻量版的绘图类型。

    动漫风格

    角色名称

    首次登录用户,需要单击前往授权配置角色权限。

    image..png

    如果您的角色名称已有相关权限,则无需设置。

    image..png

    AliyunFCServerlessDevsRole

  4. 在弹出的活动应用创建提醒对话框,仔细阅读提示内容,选中已知当前收费项复选框,然后选中我已经了解上面的内容,并同意上述描述复选框,最后单击同意并继续部署

    大约等待1~2分钟后,部署状态显示部署成功,表示当前版本部署完成。

部署完成后,您可以获得Stable Diffusion的访问域名。由于未进行初始化模型管理,此时的Stable Diffusion只能使用内置模型,不能切换模型。如果您需要更换模型,请查看步骤二:安装模型

步骤二:安装模型

  1. 在应用详情页面,单击初始化模型管理

  2. 初始化模型管理对话框,选中我已阅读,并了解上述创建资源的目的以及部分资源可能产生的费用。我已知晓对应的计费规则,并决定继续部署该应用,然后单击确认

    存储模型需要使用文件存储NAS,会产生额外的存储费用。

  3. 选择挂载NAS存储方式,然后单击确认

    • 自动配:如果您从未创建过NAS或者首次部署,可选择自动配置,授权函数计算自动为您创建NAS文件系统。

    • 手动配置:如果您已创建过NAS,可以选择手动配置,配置对应的专有网络交换机安全组,选择文件系统后,使用默认挂载点的NAS目录和FC目录。

    模型管理初始化完成大概需要0.5分钟~2分钟左右。

  4. 在应用详情页面,单击模型管理域名对应的链接,进入模型管理工具页面。

  5. 使用模型库下载模型。

    说明

    模型库功能由阿里云OSS提供,模型/数据集/文件均来源于第三方,不保证合规性,请您在使用前慎重考虑。这些模型均遵循creativeml-openrail-m或cc-by-nc-sa-4.0许可,请您也遵守该许可的约定。您还应严格遵守法律法规、第三方要求等,特别是不得利用本服务从事违法违规行为,例如上传、输入、生成、下载、使用违法或不良信息等。如您发现任何模型/数据集/文件等有问题,请加入钉钉用户群(钉钉群号:11721331),联系函数计算工程师即时沟通处理。

    1. 在左侧菜单栏,单击模型库

    2. 选择合适的模型,单击卡片对应的下载模型,在文件下载确认对话框中,单击下载选中的模型

      您可以在模型库或者传输列表查看模型下载进度。模型将会被下载至您的文件管理NAS中,这会产生一定的文件存储费用,具体计费信息请参见计费概述

    3. 模型下载完成后,您可以单击左侧文件管理,在/mnt/auto/sd/models/Stable-diffusion目录下查看已下载的模型文件。

  6. (可选)您也可以通过以下方式上传自定义的模型文件。

    • 模型管理页签,进入/mnt/auto/sd/models/Stable-diffusion目录,单击上传文件上传自定义的模型文件。

      image.png

    • 在模型管理域名对应的页面中,单击文件管理,在/mnt/auto/sd/models/Stable-diffusion目录,单击上传按钮上传自定义的模型文件。

      image.png

  7. 在应用详情页面,单击WebUI域名对应的链接,进入Stable Diffusion操作界面。

  8. 在Stable Diffusion模型下拉列表中可选择要使用的模型。

    image.png

步骤三:安装插件

Stable Diffusion中默认已安装了常用的插件,您可以根据自己的需要自行选择。

  1. 在Stable Diffusion操作界面,选择扩展插件页签。

  2. 在扩展插件列表中,选择需要使用的插件,单击Apply and quit,重启后的WebUI就会自带已选择的插件。

内置的常用插件

  • ADetailer插件:修复崩坏脸。

  • Deforum插件:瞬息宇宙视频制作。

  • Prompt all in one插件:提示词翻译助手。

  • Roop插件:一键换脸。

  • Image browser插件:图像管理。

  • Rembg插件:一键快速抠图。

  • Tagger插件:图片反推提示词。

  • Dataset tag editor插件:训练Lora打标插件。

步骤四:生成图片

  1. 在Stable Diffusion操作界面,选择对应的Stable Diffusion模型,在文生图页签,输入提示词。

  2. 单击生成,可以根据提示词生成对应的图片。

步骤五:释放资源

如您暂时不需要使用Stable Diffusion应用生成图片,请及时删除对应资源。如您需要长期使用Stable Diffusion应用,请忽略此步骤。

释放函数计算资源

  1. 返回函数计算控制台概览页面,在左侧导航栏,单击应用

  2. 单击目标应用右侧操作列的删除,在弹出的删除应用对话框,勾选我已确定资源删除的风险,依旧要删除上面已选择的资源,然后单击删除应用及所选资源

释放文件存储NAS资源

重要

释放文件存储NAS资源属于高危操作,可能会导致您的数据丢失,请谨慎操作。

  1. 登录NAS控制台

  2. 在左侧菜单栏,选择文件系统 > 文件系统列表,在文件系统列表页面找到FC_开头的目标文件系统,在对应操作列选择image.png > 删除

  3. 在删除文件系统对话框中,移除挂载点,然后单击删除

费用说明

套餐领取

函数计算套餐

为了方便您体验本文提供的文生成图的场景,首次开通用户可以领取试用套餐并开通函数计算服务。该套餐不支持抵扣公网出流量和磁盘使用量的费用。如果您没有购买相关资源包,公网出流量和超出512 MB的磁盘使用量将按量付费。

文件存储NAS套餐

如果您未领取过NAS试用套餐,您可以领取通用型NAS资源包50 GB,试用期限3个月。

函数计算费用

公网出流量和磁盘使用量评估

如果您需要生成100张图,每张图需要5 MB公网出流量,每张图生成耗时5s,则公网出流量使用量和超出512 MB的磁盘使用量计费可参考以下表格内容。

计费项

单价

使用量

计费

公网出流量

0.50元/GB

5 MB/每张图 * 100张图 = 500MB

0.25元

磁盘使用量

超出512 MB的部分0.00000175元/GB*秒

10 GB * 5s * 100张图 = 5000 GB*秒

0.008元

套餐资源消耗评估

函数计算配置:GPU 16 GB、vCPU 8核、内存 32 GB。由于进入Stable Diffusion WebUI使用界面就会耗费GPU资源,所以领取的试用套餐,能够支持免费使用1041分钟的Stable Diffusion WebUI,超出1041分钟后将需要付费。

说明

由于插件逻辑不同,可能会存在进入Stable Diffusion WebUI使用界面就会耗费资源的情况。所以在不需要使用Stable Diffusion WebUI生成图片的时候,请及时关闭Stable Diffusion WebUI使用界面。

免费使用时间的计算方法如下:

1000000 GB*秒 / 16 GB / 60秒 = 1041分钟

您需要根据实际情况进行评估,具体的计费信息,请参见计费概述

文件存储NAS费用

本文操作使用的通用型NAS,存储规格为性能型,领取的试用套餐包含50 GB通用型NAS资源包,可以抵扣9.15 GB的性能型NAS使用量。

假设基础大模型3.97 GB,Lora模型400 MB,那么您可以免费存储2个大模型、3个Lora模型。