视频翻译

微短剧解决方案提供通过API进行视频翻译的能力。通过阅读本文,您可以了解微短剧视频翻译作业的基本API调用方法。

说明
  1. 微短剧解决方案视频翻译作业的前提条件为:开通订阅IMS

  2. 字幕级翻译目前支持北京上海深圳杭州地域使用。

  3. 声音(口播)级翻译目前仅支持上海地域使用。

提交视频翻译任务

概述

提交视频翻译任务支持字幕级和声音(口播)级翻译,即将视频中出现的字幕和声音(口播)翻译为指定语言,未来会拓展支持面容(口型)适配。

接口说明

调用SubmitVideoTranslationJob提交视频翻译任务,返回 JobId,后续可通过 JobId 调用 GetSmartHandleJob 接口来获取任务的状态及结果信息。详情参见提交视频翻译任务

场景示例

场景一

  1. 输入:VOD 视频

  2. 输出:VOD

  3. 翻译语言:中译英

  4. 是否字幕擦除:否

  5. 是否字幕级翻译:是,并自行识别字幕位置

  6. 是否声音级翻译:否

{
	"InputConfig": {
		"Type": "Video",
		"Media": "*****a0052ff71efbfd4e7e6c66*****"
	},
	"OutputConfig": {
		"OutputTarget": "VOD",
		"StorageLocation": "outin-*****c7d2a3811eb83da00163e0*****.oss-cn-shanghai.aliyuncs.com",
		"FileName": "test.mp4"
	},
	"EditingConfig": {
		"SourceLanguage": "zh",
		"TargetLanguage": "en",
		"SubtitleTranslate": {
			"OcrArea": "Auto"
		}
	}
}

场景二

  1. 输入:VOD 视频

  2. 输出:VOD

  3. 翻译语言:中译英

  4. 是否字幕擦除:是,并自行识别字幕位置

  5. 是否字幕级翻译:是,并自行识别字幕位置

  6. 是否声音级翻译:否

{
	"InputConfig": {
		"Type": "Video",
		"Media": "*****a0052ff71efbfd4e7e6c66*****"
	},
	"OutputConfig": {
		"OutputTarget": "VOD",
		"StorageLocation": "outin-*****c7d2a3811eb83da00163e0*****.oss-cn-shanghai.aliyuncs.com",
		"FileName": "test.mp4"
	},
	"EditingConfig": {
		"SourceLanguage": "zh",
		"TargetLanguage": "en",
		"DetextArea": "Auto",
		"SubtitleTranslate": {
			"OcrArea": "Auto"
		}
	}
}

场景三

  1. 输入:VOD 视频

  2. 输出:VOD

  3. 翻译语言:中译英

  4. 是否字幕擦除:否

  5. 是否字幕级翻译:否

  6. 是否声音级翻译:是

{
	"InputConfig": {
		"Type": "Video",
		"Media": "*****a0052ff71efbfd4e7e6c66*****"
	},
	"OutputConfig": {
		"OutputTarget": "VOD",
		"StorageLocation": "outin-*****c7d2a3811eb83da00163e0*****.oss-cn-shanghai.aliyuncs.com",
		"FileName": "test.mp4"
	},
	"EditingConfig": {
		"SourceLanguage": "zh",
		"TargetLanguage": "en",
		"NeedSpeechTranslate": true
	}
}

场景四

  1. 输入:VOD 视频

  2. 输出:VOD

  3. 翻译语言:中译英

  4. 是否字幕擦除:否

  5. 是否字幕级翻译:否

  6. 是否声音级翻译:是,并且自定义设置翻译后字幕的样式

说明

SpeechTranslate.SubtitleConfig 用于设置声音级翻译的自定义字幕样式,参数与剪辑合成中 Timeline 的字幕参数一致,参考:SubtitleTrackClip配置

{
    "InputConfig": {
        "Type": "Video",
        "Media": "*****a0052ff71efbfd4e7e6c66*****"
    },
    "OutputConfig": {
        "OutputTarget": "VOD",
        "StorageLocation": "outin-*****c7d2a3811eb83da00163e0*****.oss-cn-shanghai.aliyuncs.com",
        "FileName": "test.mp4"
    },
    "EditingConfig": {
        "SourceLanguage": "zh",
        "TargetLanguage": "en",
        "NeedSpeechTranslate": true,
        "SpeechTranslate": {
            "SubtitleConfig": {
                "FontSize": 35,
                "Alignment": "TopCenter",
                "Y": 0.89,
                "FontColor": "#ffffff",
                "TextWidth": 0.9,
                "Shadow": 2,
                "BackColour": "#000000",
                "AdaptMode": "AutoWrapAtSpacesStrict",
                "SubtitleEffects": [{
                    "Type": "Box",
                    "Color": "#000000",
                    "Opacity": 0.5,
                    "XBord": 5,
                    "YBord": 5,
                    "Radius": 15
                }]
            }
        }
    }
}

场景五

  1. 输入:VOD 视频、人工修改后的字幕文件

  2. 输出:VOD

  3. 翻译语言:中译英

  4. 是否字幕擦除:否

  5. 是否字幕级翻译:否

  6. 是否声音级翻译:是,并且为二次编辑模式

{
    "InputConfig": {
        "Type": "Video",
        "Media": "*****a0052ff71efbfd4e7e6c66*****",
        "Subtitle": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/new_subtitle.srt"
    },
  "OutputConfig": {
        "OutputTarget": "VOD",
        "StorageLocation": "outin-*****c7d2a3811eb83da00163e0*****.oss-cn-shanghai.aliyuncs.com",
        "FileName": "test.mp4"
    },
    "EditingConfig": {
        "SourceLanguage": "zh",
        "TargetLanguage": "en",
        "SupportEditing": "true",
        "NeedSpeechTranslate": "true",
        "SpeechTranslate": {
            "OriginalJobId": "*****b5d5d604916bb898b3066*****"
        }
    }
}

参数说明

参数

类型

必填项

名称

描述

InputConfig

String

输入配置

  • JSON 格式字符串

  • 内部参数见下方

OutputConfig

String

输出配置

  • JSON 格式字符串

  • 内部参数见下方

EditingConfig

String

翻译配置

  • JSON 格式字符串

  • 内部参数见下方

Title

String

任务标题

Description

String

任务描述

UserData

String

自定义信息

InputConfig

参数

类型

必填项

名称

描述

Type

String

输入文件类型

  • 取值范围:

  • Video 视频

  • Subtitle 字幕

Media

String

视频媒资 Id 或地址

  • Type 为 Video 时传入

  • 支持传入:

  • 媒资 ID

  • 本账号下的 OSS 地址

  • 其它公网可访问的地址

Subtitle

String

字幕媒资 Id 或地址

  • Type 为 Video 或 Subtitle 时传入

  • 支持传入:

  • 媒资 ID

  • 本账号下的 OSS 地址

  • 其它公网可访问的地址

OutputConfig

名称

必填项

名称

描述

示例

OutputTarget

输出类型

  • 指定输出为 OSS 还是 VOD

  • 默认值 OSS

  • 取值范围:

  • OSS:输出到 OSS

  • VOD:输出到 VOD

MediaURL

输出地址

  • 输出类型为 OSS 时填写此参数

  • 填写本账号下的 OSS 地址

  • 路径中请附带扩展名,会依据扩展名判断输出类型,扩展名支持:

  • mp4

StorageLocation

VOD 存储地址

  • 输出类型为 VOD 时填写此参数

  • 不包含 http:// 或 https:// 前缀

outin-*****c7d2a3811eb83da00163e0*****.oss-cn-shanghai.aliyuncs.com

FileName

VOD 文件名

  • 输出类型为 VOD 时填写此参数

  • 文件名中请附带扩展名,会依据扩展名判断输出类型,扩展名支持:

  • mp4

EditingConfig

名称

类型

必填项

名称

描述

SourceLanguage

String

原语言

  • 取值范围:

  • zh:中文

TargetLanguage

String

翻译目标语言

  • 取值范围:

  • en:英文

DetextArea

String

设置字幕擦除

  • 不填则不进行字幕擦除

  • 取值范围:

  • Auto:自动识别擦除区域

  • [[x, y, width, height]]:指定擦除范围,格式为二层数组,可指定多个擦除区域,其中:

    • x:字幕框左上角距离视频左上角的横向距离比例,取值范围:[0, 1]

    • y:字幕框左上角距离视频左上角的竖向距离比例,取值范围:[0, 1]

    • width:字幕框宽度相对于视频宽度的比例,取值范围:[0, 1]

    • height:字幕框高度相对于视频高度的比例,取值范围:[0, 1]

SupportEditing

Boolean

是否支持二次编辑

  • 取值范围:

  • true:支持

  • false:不支持

  • 默认值:false

SubtitleTranslate

String

字幕级翻译配置

  • 字幕级翻译配置

  • 填入此参数,则进行字幕级翻译,否则不进行字幕级翻译

  • 字符串符合 JSON 格式,详细入参介绍见下方

NeedSpeechTranslate

Boolean

是否需要声音翻译

  • 取值范围:

  • true:是

  • false:否

  • 默认值:false

SpeechTranslate

String

声音级翻译配置

  • 字幕级翻译配置

  • NeedSpeechTranslate 为 true 或填入此参数时,则进行声音级翻译,否则不进行声音级翻译

  • 字符串符合 JSON 格式,详细入参介绍见下方

SubtitleTranslate

名称

类型

必填项

名称

描述

OcrArea

String

OCR 识别区域

  • 不填默认为智能识别字幕区域

  • 取值范围:

  • Auto:自动识别字幕区域

  • [x, y, width, height]:指定字幕区域,格式为单层数组,只能指定 1 个区域,其中:

    • x:字幕框左上角距离视频左上角的横向距离比例,取值范围:[0, 1]

    • y:字幕框左上角距离视频左上角的竖向距离比例,取值范围:[0, 1]

    • width:字幕框宽度相对于视频宽度的比例,取值范围:[0, 1]

    • height:字幕框高度相对于视频高度的比例,取值范围:[0, 1]

SubtitleConfig

String

字幕合成配置

  • 用于自定义成片字幕效果,参数与剪辑合成中 Timeline 的字幕参数一致,参考:Timeline配置说明

SpeechTranslate

名称

类型

必填项

名称

描述

SubtitleConfig

String

字幕合成配置

  • 用于自定义成片字幕效果,参数与剪辑合成中 Timeline 的字幕参数一致,参考:Timeline配置说明

OriginalJobId

String

原任务 Id

  • 如果对翻译效果不满意,可以在 InputConfig.Subtitle 传入人工修改后的字幕文件,并且在此字段中传入原任务 Id 来重新生成翻译语音

  • 设置 SupportEditing 为 true 时(开启二次编辑),在任务结果中会包含 OriginalJobId

  • 设置 SupportEditing 为 true 时(开启二次编辑),在任务结果中会包含 会包含翻译后的字幕文件,请在此文件内容的基础上进行修改