您可以通过EAS一键部署基于ComfyUI和Stable Video Diffusion模型的AI视频生成Web应用,快速实现文本生成视频的AI生成解决方案,帮助您完成社交平台短视频内容生成、动画制作等任务。本文为您介绍如何部署AI视频生成应用、推理服务以及常见问题和解决方法。
背景信息
随着AIGC的广泛应用,AI视频生成已成为当前热门应用之一。目前市面上有许多开源视频生成大模型可供选择,它们在不同领域展现了各自独特的性能。与此同时,AIGC开源工具ComfyUI也迅速在市场上崭露头角。作为一个基于节点流程式的AIGC生成工具WebUI,ComfyUI将AIGC流程拆分成工作节点,实现了精准的工作流定制和可复现性。本文将按照以下流程为您介绍如何部署AI视频生成应用和推理服务。
通过EAS一键部署AI视频生成应用。
启动ComfyUI后,在WebUI页面上进行模型推理,可通过输入文本来生成图片和视频。
介绍如何加载其他开源模型或您自己训练获得的模型,并进行模型推理验证。
前提条件
已开通EAS并创建默认工作空间,详情请参见开通并创建默认工作空间。
如果使用RAM用户来部署模型,需要为RAM用户授予EAS的管理权限,详情请参见云产品依赖与授权:EAS。
部署EAS服务
进入PAI-EAS 模型在线服务页面。
登录PAI控制台。
在左侧导航栏单击工作空间列表,在工作空间列表页面中单击待操作的工作空间名称,进入对应工作空间内。
在工作空间页面的左侧导航栏选择模型部署>模型在线服务(EAS),进入PAI-EAS 模型在线服务页面。
在PAI-EAS 模型在线服务页面,单击部署服务,在自定义部署区域中,单击立刻部署。
在页面,配置以下关键参数。
参数
描述
服务名称
自定义服务名称。本案例使用的示例值为:comfyui_svd_demo。
部署方式
选择镜像部署AI-Web应用。
镜像选择
在PAI平台镜像列表中选择comfyui;镜像版本选择0.1。
说明由于版本迭代迅速,部署时镜像版本选择最高版本即可。
运行命令
配置镜像版本后,系统自动配置运行命令
python main.py --listen --port 8000
。端口号为:8000。
资源组种类
选择公共资源组。
资源配置方法
选择常规资源配置。
资源配置选择
必须选择GPU类型,实例规格推荐使用ml.gu7i.c16m60.1-gu30(性价比最高)。如库存不足可选择ecs.gn6i-c16g1.4xlarge。
单击部署,持续时间大约为5分钟,即可完成模型部署。
当模型状态为运行中时,服务部署成功。
启动ComfyUI进行模型推理
单击目标服务的服务方式列下的查看Web应用。
在WebUI页面进行模型推理验证。
根据您自己的业务需要,选择文生图的模型和图生视频的模型,本方案使用默认配置。然后在CLIP文本编码器中输入Prompts,例如:
Rocket takes off from the ground, fire, sky, airplane
,单击提示词队列, 等待工作流运行完成即可获得AI生成的视频。右键单击生成的视频,选择保存图像,即可将生成的视频保存到本地。
生成的视频示例如下所示:
常见问题及解决办法
如何挂载自定义模型和ComfyUI插件?
如果您从开源社区下载了SDXL、Lora、SVD、自己训练获得的这些模型,或ComfyUI第三方插件,您需要将生成的模型文件或插件保存到您的OSS Bucket目录,并通过文件挂载的方式来加载模型或插件。具体操作步骤如下:
前往对象存储OSS控制台,创建一个Bucket和空文件目录。
例如:
oss://bucket-test/data-oss/
,其中:bucket-test为OSS Bucket名称;data-oss为该Bucket下的空文件目录。关于如何创建Bucket,请参见创建存储空间;关于如何创建空目录,请参见管理目录。在PAI-EAS 模型在线服务页面,单击目标服务操作列下的更新服务。
在模型服务信息区域,配置以下参数。
参数
描述
模型配置
单击填写模型配置,进行模型配置。
选择OSS挂载,将OSS路径配置为步骤1中创建的OSS Bucket路径。例如:
oss://bucket-test/data-oss/
。挂载路径:将您配置的OSS文件目录挂载到镜像的
/code/data-oss
路径下。例如配置为:/code/data-oss
。是否只读:开关关闭。
运行命令
在运行命令中增加
--data-dir
挂载目录,其中挂载目录需要与模型配置中挂载路径一致。例如:python main.py --listen --port 8000 --data-dir /code/data-oss
。单击更新,更新模型服务。
PAI会自动在您配置的OSS空文件目录下创建如下目录结构,并复制必要的数据到该目录下。因此,建议您在服务启动成功后,再向指定的目录上传数据。
将您本地的模型文件上传到步骤4生成的OSS路径
~/models/checkpoints/
下。具体操作,请参见步骤三:上传文件。加载模型并进行模型推理。
在PAI-EAS 模型在线服务页面中,单击目标服务操作列下的>重启服务。
服务启动完成后,单击目标服务的服务方式列下的查看Web应用。
在WebUI页面,单击Checkpoint加载器的下拉列表并选择新加载的模型,参照启动ComfyUI进行模型推理的操作流程进行模型推理。
相关文档
更多关于EAS产品的内容介绍,请参见模型在线服务(EAS)。
- 本页导读 (1)