EMO视频生成API_大模型服务平台百炼(Model Studio)-阿里云帮助中心

EMO模型，可基于通过了EMO-detect模型检测的人物肖像图片和人声音频文件生成视频。本文档介绍了该模型提供的视频生成能力的API调用方法。

模型概览

模型简介

模型名	模型简介
emo-v1	emo-v1是一个人物视频生成模型，可基于人物肖像图片和人声音频文件生成人物肖像动态视频。

模型效果示例

输入物：人物肖像图片+人声音频文件

输出物：人物肖像动态视频

人物肖像：

上春山

人声音频：参见右侧视频

人物视频：

使用动作风格强度：活泼（"style_level": "active"）

人物肖像：

15_原图

人声音频：参见右侧视频

人物视频：

使用动作风格强度：适中（"style_level": "normal"）

人物肖像：

娃哈哈

人声音频：参见右侧视频

人物视频：

使用动作风格强度：平静（"style_level": "calm"）

说明

以上示例，由集成了“悦动人像EMO”的通义APP生成。
请确保上传的图片、音频文件来源符合相关法律法规，且已获得相应内容的使用许可。

HTTP调用接口

功能描述

用于生成人物头像、半身像动态视频。不推荐用于生成人物全身像动态视频。

前提条件

已开通服务并获得API-KEY：获取API Key。
输入图像已通过EMO图像检测API检测，并获得对应人脸区域和动态区域的范围值作为入参。

输入限制

图像格式：格式为jpg，jpeg，png，bmp，webp。
图像分辨率：图像最小边长≥400像素，最大边长≤7000像素。
图像坐标框：图像需先通过EMO图像检测API，以获得正确的人脸区域和动态区域坐标信息。
音频格式：格式为wav、mp3。
音频限制：文件<15M，时长＜60s。
音频内容：音频中需包含清晰、响亮的人声语音，并去除了环境噪音、背景音乐等声音干扰信息。
上传图片、音频链接仅支持HTTP链接方式，不支持本地链接方式。

步骤1：创建任务获取任务ID

POST https://dashscope.aliyuncs.com/api/v1/services/aigc/image2video/video-synthesis/

说明

创建任务后，系统将立即返回一个 task_id。请在“步骤2”查询任务结果，有效期24小时。
新手指引请参见Postman。

入参描述

字段	类型	传参方式	必选	描述	示例值
Content-Type	String	Header	是	请求类型：application/json。	application/json
Authorization	String	Header	是	API-Key，例如：Bearer d1**2a。	Bearer d1**2a
X-DashScope-Async	String	Header	是	使用enable，表明使用异步方式提交作业。	enable
model	String	Body	是	指明需要调用的模型，此处用emo-v1。说明若调用独立部署模型，则改为填入部署成功的模型名称	emo-v1
input.image_url	String	Body	是	用户上传的图片 URL，该图应先通过EMO图像检测API。最终用于视频生成的图片会按input.ext_bbox所指定的区域进行裁剪。 1:1图像对应生成512512的头像视频；3:4图像对应生成512704的半身像视频。图像最小边长≥400像素，最大边长≤7000像素。格式支持：jpg，jpeg，png，bmp，webp。说明上传文件仅支持HTTP链接方式，不支持本地链接方式。您也可在此获取临时公网URL。	http://aaa/bbb.jpg
input.audio_url	String	Body	是	用户上传的音频文件 URL，用于EMO模型推理的输入。音频文件<15M , 时长＜60s 格式支持：wav、mp3。说明上传文件仅支持HTTP链接方式，不支持本地链接方式。您也可在此获取临时公网URL。	http://aaa/bbb.wav
input.face_bbox	Array	Body	是	图片中人脸区域bbox，应输入EMO图像检测API出参中同名字段的值。	[10,20,30,40]
input.ext_bbox	Array	Body	是	图片中动态区域bbox，应输入EMO图像检测API出参中同名字段的值。该区域的宽高比应为1:1或3:4。	[10,20,30,40]
parameters.style_level	String	Body	否	可选择动作风格强度控制人物的运动姿态和幅度，当前支持3种：normal、calm、active，分别对应人物动作风格适中、平静、活泼。默认为normal。	normal

出参描述

字段	类型	描述	示例值
output.task_id	String	提交异步任务的作业ID，实际作业结果需要通过异步任务查询接口获取。	a8532587-fa8c-4ef8-82be-0c46b17950d1
output.task_status	String	提交异步任务后的作业状态。	“PENDING”
request_id	String	本次请求的系统唯一码。	7574ee8f-38a3-4b1e-9280-11c33ab46e51

请求示例

curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/image2video/video-synthesis/' \
--header 'X-DashScope-Async: enable' \
--header 'Authorization: Bearer <YOUR_API_KEY>' \
--header 'Content-Type: application/json' \
--data '{
    "model": "emo-v1",
    "input": {
        "image_url": "http://xxx/1.jpg",
        "audio_url": "http://xxx/1.wav",
        "face_bbox": [10, 20, 30, 40],
        "ext_bbox": [10, 20, 30, 40]
        },
    "parameters": {
        "style_level": "normal"
        }
    }'

响应示例

{
    "output": {
        "task_id": "a8532587-fa8c-4ef8-82be-0c46b17950d1", 
        "task_status": "PENDING"
    }
    "request_id": "7574ee8f-38a3-4b1e-9280-11c33ab46e51"
}

步骤2：根据任务ID查询结果

使用上一步获取的 task_id，轮询任务状态和结果。请将 URL 中的{task_id} 替换为您的实际任务ID。

GET https://dashscope.aliyuncs.com/api/v1/tasks/{task_id}

说明

视频生成任务耗时较长，建议采用轮询机制，并设置合理的查询间隔（如 20秒）来获取结果。
任务成功后返回的 video_url有效期为24小时，请及时下载并保存图片。
此查询接口的默认QPS为20。如需更高频次的查询或事件通知，请配置异步任务回调。
如需批量查询或取消任务，请参见管理异步任务。

入参描述

字段	类型	传参方式	必选	描述	示例值
Authorization	String	Header	是	API-Key，例如：Bearer d1**2a。	Bearer d1**2a
task_id	String	Url Path	是	需要查询作业的task_id。	a8532587-fa8c-4ef8-82be-0c46b17950d1

出参描述

字段	类型	描述	示例值
output.task_id	String	查询作业的 task_id。	a8532587-fa8c-4ef8-82be-0c46b17950d1
output.task_status	String	被查询作业的作业状态。	任务状态： PENDING 排队中 PRE-PROCESSING 前置处理中 RUNNING 处理中 POST-PROCESSING 后置处理中 SUCCEEDED 成功 FAILED 失败 UNKNOWN 作业不存在或状态未知
output.results	Array	如果作业成功，包含模型生成的结果 object，然后每个object中包含按照要求生成的结果地址。	"video_url":"https://xxx/1.mp4"
output.results.video_url	Array	平台输出的视频结果，video_url有效期为作业完成后24小时	"video_url":"https://xxx/1.mp4"
usage.video_duration	Float	本次请求生成视频时长计量	"video_duration": 10.23
usage.video_ratio	String	本次请求生成视频的画幅，该值为1:1或3:4	"video_ratio": "1:1"
request_id	String	本次请求的系统唯一码。	7574ee8f-38a3-4b1e-9280-11c33ab46e51

请求示例

curl -X GET \
--header 'Authorization: Bearer <YOUR_API_KEY>' \
https://dashscope.aliyuncs.com/api/v1/tasks/<YOUR_TASK_ID>

响应示例（作业成功执行完毕）

{
    "output":{
        "task_id":"a8532587-fa8c-4ef8-82be-0c46b17950d1",
		"task_status":"SUCCEEDED",
        "results":
            {
                "video_url":"https://xxx/1.mp4"
            }
    },
    "usage":{
        "video_duration": 10.23,
        "video_ratio": "1:1"
    },
    "request_id":"7574ee8f-38a3-4b1e-9280-11c33ab46e51"
}

响应示例（作业失败）

{
    "output": {
        "task_id": "a8532587-fa8c-4ef8-82be-0c46b17950d1", 
        "task_status": "FAILED",
        "code": "xxx", 
        "message": "xxxxxx", 
    },
    "request_id": "7574ee8f-38a3-4b1e-9280-11c33ab46e51" 
}

状态码说明

大模型服务平台通用状态码请查阅：错误信息。

本模型还有如下特定错误码：

HTTP返回码	错误码（code）	错误信息（message）	含义说明
400	InvalidParameter	The request is missing required parameters or in a wrong format, please check the parameters that you send.	入参格式不对。
400	InvalidParameter	The style_level is invalid.	style_level不在枚举范围内。
400	InvalidParameter.DataInspection	Unable to download the media resource during the data inspection process.	下载图片或音频文件超时。如果您从海外发起调用，由于跨境网络不稳定，可能会导致下载资源超时。您可以将文件存储到国内的 OSS 中，再发起模型调用。您也可以使用临时存储空间上传文件。
400	InvalidURL	The request URL is invalid, please check the request URL is available and the request image format is one of the following types: JPEG, JPG, PNG, BMP, and WEBP.	输入图片下载失败，请检查网络或者输入格式。
400	InvalidURL	Required URL is missing or invalid, please check the request URL.	输入的URL不正确或缺失。
400	InvalidURL	The input audio is longer than **!	输入的音频文件超过最大时长**秒。
400	InvalidURL	File size is larger than 15MB.	输入的音频文件超过最大限制15MB。
400	InvalidURL	File type is not supported. Allowed types are: .wav, .mp3.	输入的音频格式不合规，当前支持wav、mp3。
400	InvalidFile.Content	The input image has no human body. Please upload other image with single person.	输入图片中没有人。
400	InvalidFile.Content	The input image has multi human bodies. Please upload other image with single person.	输入图片中有多人。
400	InvalidFile.BodyProportion	The proportion of the detected person in the picture is too large or too small, please upload other image.	上传图片中人物占比不符合要求。
400	InvalidFile.Resolution	The image resolution is invalid, please make sure that the largest length of image is smaller than 7000, and the smallest length of image is larger than 400.	上传图片大小不符合要求。
400	InvalidFile.Value	The value of the image is invalid, please upload other clearer image.	上传图片过暗不符合要求。
400	InvalidFile.FrontBody	The pose of the detected person is invalid, please upload other image with the front view.	上传图片中人物背身不符合要求。
400	InvalidFile.FullFace	The pose of the detected face is invalid, please upload other image with whole face.	上传图片中人物面部姿态不符合要求（要求面部可见）。
400	InvalidFile.FacePose	The pose of the detected face is invalid, please upload other image with the expected orientation.	上传图片中人物面部姿态不符合要求（要求面部朝向无严重偏移）。