视频生成实验—基于ComfyUI和Stable Video Diffusion模型
本实验带您体验如何使用阿里云通过EAS实现基于ComfyUI镜像部署服务和几种常用的调用方式,点击执行即可获得天马行空的视频。更换模型,更能获得各种各样的视频风格。
场景简介
ComfyUI通过配置节点来构建复杂的AIGC流程,帮助您完成社交平台短视频内容生成、动画制作等任务。EAS提供了场景化部署方式,您只需配置几个参数,即可一键部署基于ComfyUI和Stable Video Diffusion模型的AI视频生成服务。
本实验带您体验如何使用阿里云通过EAS实现基于ComfyUI镜像部署服务和几种常用的调用方式,点击执行即可获得天马行空的视频。更换模型,更能获得各种各样的视频风格。
实验室资源方式简介
进入实操前,请确保阿里云账号满足以下条件:
个人账号资源
使用您个人的云资源进行操作,资源归属于个人。
平台仅提供手册参考,不会对资源做任何操作。
确保已完成云工开物300元代金券领取。
已通过实名认证且账户余额≥0元。
本场景主要涉及以下云产品和服务:EAS、OSS
本实验,预计产生资源消耗:约0.4元(以仅用WebUI生成一段544*960的简单视频(36MB,50sec)为例估算),启动工具不计费,仅运行时,按照实际消耗的GPU时间计费。实验产生的费用优先使用优惠券,优惠券使用完毕后需您自行承担。
下行流量:不消耗下行流量
生图GPU消耗费用预估:0.008元/秒(544*960)
如果您调整了资源规格、使用时长,或执行了本方案以外的操作,可能导致费用发生变化,请以控制台显示的实际价格和最终账单为准。
领取专属权益及开通授权
在开始实验之前,请先点击右侧屏幕的“进入实操”再进行后续操作

第一步:领取300元高校专属权益优惠券(若已领取请跳过)。

实验产生的费用优先使用优惠券,优惠券使用完毕后需您自行承担。

第二步:领取学生专属300元优惠券后,点击访问人工智能平台 PAI-点击“立即开通”,完成PAI平台开通与授权。

后期若想再次进入PAI平台可通过“控制台”进入。

跳转至控制台后,点击人工智能平台PAI,进入PAI平台页面。

实验步骤
1、部署服务
模型在线服务,点击“模型部署”选项中的“模型在线服务(EAS)”

创建服务,点击“请点击新建”或点击“部署服务”

可以看到以下页面,找到“AI视频生成-ComfyUI部署”,点击并进入部署环节。

部署服务,首先为服务命名,并选择Serverless版,点击部署。

如还没有oss存储空间,请点击开通oss按量计费,如已开通请直接选择bucket进入下一步。




开通成功后,点击前往oss控制台

填写相关信息后,点击创建Bucket

返回PAI-EAS,选择对应的OSS存储目录


待服务部署完毕并运行后,点击“查看web应用”,进入web页面

2、搭建视频生成流
以下为web页面的全貌

点击右下角的“适应视图”或者放大可以看到各模块的功能

默认会提供一组文生图的流程,点击执行,便可以生成CLIP文本编码器中描述的图片。

导入附件中的视频生成工作流
点击左上角工作流菜单

点击“打开”,将会弹出本地文件目录,找到本地的工作流文件,选定并打开


各模块配置
将加载器的模型选为:SD1.5/EpicDiffusion.safetensors
LoRA加载器的模型选为:SD1.5/C]3D小场景.safetensors

在CLIP文本编码器(BNK)中填入视频的描述词,下方的CLIP文本编码器(BNK)为负面提示词

将AnimateDiff加载器Gen1的模型选择为:mm_sd15_v1.safetensors

点击执行即可生成视频。
可以修改空latent的参数以更改视频的长宽比

运行结果

有没有觉得很神奇,感受人工智能的使用,同学们开发自己的创造力多更换几次提示词,看看能够产生什么样的视频
背景知识
PAI
人工智能平台PAI是阿里云专为开发者打造的一站式机器学习平台,其主要由可视化建模(Designer)、交互式建模(DSW)、分布式训练(DLC)、模型在线服务(EAS)等核心功能模块组成,为您提供数据标注、模型开发、模型训练、模型部署的AI全链路研发服务,具有支持多种开源框架、多项AI优化能力、灵活易用的优势。
EAS(Elastic Algorithm Service)
EAS提供了场景化部署方式,您只需配置几个参数,即可一键部署基于Stable Diffusion WebUI的服务。您可以使用该服务进行模型推理,实现基于给定文本生成相应图像的功能。本文为您介绍如何部署和调用Stable Diffusion WebUI服务,以及常见问题的解决方法。
ComfyUI
ComfyUI 是一款开源的图形化AI工作流工具,专注于简化生成式模型(如Stable Diffusion)的开发和部署流程。它采用节点化设计,允许用户通过拖放模块快速搭建图像生成、文本处理等复杂流程,支持本地与云端部署。ComfyUI 提供了丰富的定制化选项,使用户能够通过拖拽和连接不同的模型、模块和参数,形成高度定制和可复用的工作流
清理资源
如果无需继续使用工具,您可以按照以下操作步骤停止或删除工具
前往PAI控制台
在工作空间页面的左侧导航栏中单击模型在线服务(EAS)。在模型在线服务(EAS)页面,找到目标服务。单击其右侧操作列下的停止/删除,虽然此实验为按量收费,请同学们一定及时关闭服务,避免资源浪费。

如果需要继续使用,请随时关注账号扣费情况,避免模型会因欠费而被自动停止。
关闭实验
在完成实验后,点击 结束实操

点击 取消 回到实验页面,点击 确定 跳转实验评分

请为本次实验评分,并给出您的建议,点击 确认,结束本次实验
