视频生成实验—基于ComfyUI和Stable Video Diffusion模型

更新时间:

本实验带您体验如何使用阿里云通过EAS实现基于ComfyUI镜像部署服务和几种常用的调用方式,点击执行即可获得天马行空的视频。更换模型,更能获得各种各样的视频风格。

场景简介

  • ComfyUI通过配置节点来构建复杂的AIGC流程,帮助您完成社交平台短视频内容生成、动画制作等任务。EAS提供了场景化部署方式,您只需配置几个参数,即可一键部署基于ComfyUIStable Video Diffusion模型的AI视频生成服务。

  • 本实验带您体验如何使用阿里云通过EAS实现基于ComfyUI镜像部署服务和几种常用的调用方式,点击执行即可获得天马行空的视频。更换模型,更能获得各种各样的视频风格。

实验室资源方式简介

进入实操前,请确保阿里云账号满足以下条件:

  • 个人账号资源

    • 使用您个人的云资源进行操作,资源归属于个人。

    • 平台仅提供手册参考,不会对资源做任何操作。

  • 确保已完成云工开物300元代金券领取。

  • 已通过实名认证且账户余额≥0元。

本场景主要涉及以下云产品和服务:EAS、OSS

  • 本实验,预计产生资源消耗:约0.4元(以仅用WebUI生成一段544*960的简单视频(36MB,50sec)为例估算),启动工具不计费,仅运行时,按照实际消耗的GPU时间计费。实验产生的费用优先使用优惠券,优惠券使用完毕后需您自行承担。

    • 下行流量:不消耗下行流量

    • 生图GPU消耗费用预估:0.008元/秒(544*960)

如果您调整了资源规格、使用时长,或执行了本方案以外的操作,可能导致费用发生变化,请以控制台显示的实际价格和最终账单为准。

领取专属权益及开通授权

在开始实验之前,请先点击右侧屏幕的“进入实操”再进行后续操作

image

第一步:领取300元高校专属权益优惠券(若已领取请跳过)。

image

重要

实验产生的费用优先使用优惠券,优惠券使用完毕后需您自行承担。

学生认证

第二步:领取学生专属300元优惠券后,点击访问人工智能平台 PAI-点击“立即开通”,完成PAI平台开通与授权。

image

后期若想再次进入PAI平台可通过“控制台”进入。

image

跳转至控制台后,点击人工智能平台PAI,进入PAI平台页面。

image

实验步骤

  • 1、部署服务

    1. 模型在线服务,点击“模型部署”选项中的“模型在线服务(EAS)”

      image

    2. 创建服务,点击“请点击新建”或点击“部署服务”

      image

    3. 可以看到以下页面,找到“AI视频生成-ComfyUI部署”,点击并进入部署环节。

      image

    4. 部署服务,首先为服务命名,并选择Serverless版,点击部署。

      image

    5. 如还没有oss存储空间,请点击开通oss按量计费,如已开通请直接选择bucket进入下一步。

      720f500399c4ee778526e051c8dac9be

      2d7747ce0b2d7a489904ddd029a95b7c

      48c97405f7b5d3c70e2d0902273c5382

      f578c35153147068d088b76a5d29fc25

      开通成功后,点击前往oss控制台

      3f8453fc920163330c332c4325c326ba

      填写相关信息后,点击创建Bucket

      7cf5264a47e4fb8302c91f0e8bd924af

    6. 返回PAI-EAS,选择对应的OSS存储目录

      3e5f2ccb240c1a9309fc71490d5f148c

      0303e727cc43b3b244540095bd56ea32

    7. 待服务部署完毕并运行后,点击“查看web应用”,进入web页面

      ceee0e5a98552e83c10f7583796235e9

  • 2、搭建视频生成流

    以下为web页面的全貌

    image

    点击右下角的“适应视图”或者放大可以看到各模块的功能

    image

    默认会提供一组文生图的流程,点击执行,便可以生成CLIP文本编码器中描述的图片。

    image

    1. 导入附件中的视频生成工作流

      点击下载视频生成工作流—text2vid.json

      点击左上角工作流菜单

      image

      点击“打开”,将会弹出本地文件目录,找到本地的工作流文件,选定并打开

      image

      image

    2. 各模块配置

      将加载器的模型选为:SD1.5/EpicDiffusion.safetensors

      LoRA加载器的模型选为:SD1.5/C]3D小场景.safetensors

      image

      CLIP文本编码器(BNK)中填入视频的描述词,下方的CLIP文本编码器(BNK)为负面提示词

      image

      AnimateDiff加载器Gen1的模型选择为:mm_sd15_v1.safetensors

      image

      点击执行即可生成视频。

      可以修改空latent的参数以更改视频的长宽比

      image

    3. 运行结果

      image

      有没有觉得很神奇,感受人工智能的使用,同学们开发自己的创造力多更换几次提示词,看看能够产生什么样的视频

背景知识

  • PAI

    人工智能平台PAI是阿里云专为开发者打造的一站式机器学习平台,其主要由可视化建模(Designer)、交互式建模(DSW)、分布式训练(DLC)、模型在线服务(EAS)等核心功能模块组成,为您提供数据标注、模型开发、模型训练、模型部署的AI全链路研发服务,具有支持多种开源框架、多项AI优化能力、灵活易用的优势。

  • EAS(Elastic Algorithm Service)

    EAS提供了场景化部署方式,您只需配置几个参数,即可一键部署基于Stable Diffusion WebUI的服务。您可以使用该服务进行模型推理,实现基于给定文本生成相应图像的功能。本文为您介绍如何部署和调用Stable Diffusion WebUI服务,以及常见问题的解决方法。

  • ComfyUI

    ComfyUI 是一款开源的图形化AI工作流工具,专注于简化生成式模型(如Stable Diffusion)的开发和部署流程。它采用节点化设计,允许用户通过拖放模块快速搭建图像生成、文本处理等复杂流程,支持本地与云端部署。ComfyUI 提供了丰富的定制化选项,使用户能够通过拖拽和连接不同的模型、模块和参数,形成高度定制和可复用的工作流

清理资源

如果无需继续使用工具,您可以按照以下操作步骤停止或删除工具

  • 前往PAI控制台

  • 在工作空间页面的左侧导航栏中单击模型在线服务(EAS)。在模型在线服务(EAS)页面,找到目标服务。单击其右侧操作列下的停止/删除,虽然此实验为按量收费,请同学们一定及时关闭服务,避免资源浪费。

    image

  • 如果需要继续使用,请随时关注账号扣费情况,避免模型会因欠费而被自动停止。

关闭实验

  • 在完成实验后,点击 结束实操

    image

  • 点击 取消 回到实验页面,点击 确定 跳转实验评分

    image

  • 请为本次实验评分,并给出您的建议,点击 确认,结束本次实验

    image