视频翻译

更新时间:2025-03-18 02:12:07

视频翻译技术利用人工智能和机器学习算法,能够高效、准确地将视频内容从源语言转换为一种或多种目标语言。这项技术不仅涵盖字幕翻译,还包括语音(口播)翻译和面容(口型)同步翻译,确保翻译后的内容在视觉和听觉上的一致性与自然性。同时,它能够跨越语言障碍,丰富教育内容,提升娱乐体验,从而极大地促进跨文化交流。

说明

目前已开通的区域为:

  • 字幕级翻译:华东2(上海)、华北2(北京)、华南1(深圳)、华东1(杭州)、亚太东南 1(新加坡)、美洲(美国-西部)

  • 语音级翻译:华东2(上海)、华北2(北京)、华南1(深圳)、华东1(杭州)、亚太东南 1(新加坡)、美洲(美国-西部)

  • 面容级翻译:华东 2(上海)、亚太东南 1(新加坡),其他地域暂不支持。

我们的优势

多语言与方言支持:

  • 支持超过40种国家语言的翻译服务。

  • 提供国内10多种方言的支持,满足多样化的语音需求。

广泛的视频格式兼容性:

  • 支持多种主流视频格式,包括MP4、WebM、MOV、M3U8等,确保您的内容无缝集成。

丰富的音频格式与自定义选项:

  • 支持MP3、WAV等多种音频格式。

  • 允许用户进行个性化配置,以满足不同场景下的具体需求。

功能特性

智能媒体服务所提供的视频翻译服务,支持字幕级翻译及语音(口播)级翻译,并计划在未来扩展至面容(口型)级翻译,为您提供高效、专业的视频翻译解决方案。其主要功能特性包括:

功能

功能描述

特性亮点

功能

功能描述

特性亮点

字幕级翻译

  • 提取现有视频字幕

  • 擦除原字幕

  • 多语种字幕翻译

  • 新字幕回填

高效、准确的文字翻译,适用于需要快速添加多语言支持的场景。

语音(口播)级翻译

字幕级翻译的基础上还支持:

  • 音色复刻

  • 使用原说话人的音色进行字幕播报

  • 完成音频回填

在文字翻译的基础上增加了声音维度,保持了原声的真实性和情感传递,提升观众体验。

面容(口型)级翻译

前两种翻译能力的基础上,还支持说话人口型对齐。

最高级别的翻译服务,确保视觉和听觉的一致性,特别适合于高度真实的互动或宣传内容。

语音翻译修正/二次剪辑

  • 可通过云剪辑(可视化操作)和OpenAPI进行翻译结果进行语音级翻译的二次修正。

  • 支持翻译后视频的再创作。

灵活调整翻译输出,满足个性化需求,允许用户根据具体情况进行微调,以达到最佳效果。

计费说明

视频翻译计费说明详见视频翻译

使用说明

为了让用户能够轻松创建和管理视频翻译任务,我们提供了控制台、云剪辑和OpenAPI三种途径。不同翻译级别支持情况如下:

说明
  • 控制台:适合希望通过图形界面直观操作的用户。

  • 云剪辑:对于熟悉视频编辑且希望灵活调整翻译输出的用户来说,云剪辑提供了更为精细的操作空间。用户可以在剪辑工程中直接添加素材,使用AI翻译工具进行翻译,并对结果进行二次修正。

  • OpenAPI:面向开发者和技术人员,通过编程接口调用视频翻译服务,允许集成到第三方系统中自动化处理大批量视频翻译工作。

创建翻译任务

通过控制台创建翻译任务

  1. 登录智能媒体服务控制台

  2. 在左侧导航栏选择智能生产制作 > 视频翻译

  3. 在顶部左上角根据实际情况选择地域。

  4. 视频翻译页签下,单击创建翻译任务按钮进入到创建翻译任务页面。image

  5. 根据页面提示,完成参数设置:

    • 翻译方式:选择字幕级翻译、语音级翻译、面容级翻译。

    • 源文件上传:上传需要翻译的视频文件。目前支持mp4、webm、mov格式的视频。

    • 存储目录与文件名:指定翻译后文件的存储位置和名称。

    • 字幕设置:包括是否擦除原字幕、字幕来源等选项。其中,字幕来源包括OCR识别指定srt两种方式。

      • OCR识别:当您没有现成的字幕文件但拥有带有可见文字的视频时,可以通过OCR识别技术从视频画面中提取字幕文本。为了提高效率和准确性,用户还可以指定OCR识别范围

      • 指定srt:如果已经有现成的字幕文件(如.srt格式),可以直接将其加载到视频编辑软件中与视频同步播放。

      • ASR识别:如果您的视频文件没有字幕,可以通过ASR识别从音轨中识别语音提取字幕。

      • OCR/ASR识别:结合OCRASR的一种提取字幕的方式,优先使用OCR识别字幕,如果OCR识别失败,则通过ASR识别来获取到字幕。

  6. 确认所有参数无误后,单击提交翻译任务以完成任务创建。

  7. 您可以通过任务列表查询任务状态、参数及翻译结果。当任务状态变更为处理完成时,单击查看详情以获取任务的基础设施、高级设置以及翻译输出结果。

    image

    image

通过云剪辑创建翻译任务

准备工作

如果您对云剪辑尚不熟悉,建议您首先学习并了解云剪辑相关的操作指南。

操作流程

  1. 登录智能媒体服务控制台

  2. 在左侧导航栏选择智能生产制作 > 云剪辑

  3. 在顶部左上角根据实际情况选择地域。

  4. 云剪辑页签下,单击创建剪辑工程按钮,按照页面提示完成剪辑工程创建后,单击列表中的剪辑按钮进入到云剪辑的创作页面。image

  5. 在左上方资源库中,点击导入素材从屏幕右侧添加素材的弹窗中,选择所需要翻译的文件,添加到资源库中,然后点击小加号或者直接拖动文件添加到下方的剪辑操作区的轨道。screen_recording_2024-12-19_23-51-27

  6. 请在下方剪辑轨道中选择需要进行翻译的音频或视频,点击屏幕右上方的AI翻译按钮以打开视频翻译操控面板。根据页面提示,依次完成翻译类型、字幕提取、翻译语言及字幕擦除等设置,最后点击发起任务以提交翻译任务。此处以语音级别翻译为例,如下图所示。screen_recording_2024-12-19_23-57-40

  7. 请稍候几分钟,您将能够在剪辑轨道上查看翻译结果,详见下图所示。image

  8. 完成任务后,您可以单击右上方的导出为 > 导出视频,系统将弹出合成视频的窗口。请根据页面提示进行相应填写后,单击确定,即可将翻译完成的视频进行合成与导出。screen_recording_2024-12-20_00-23-26

通过OpenAPI创建视频翻译

image
  1. 创建翻译任务

    根据您的业务需求设置相应的接口参数,并调用SubmitVideoTranslationJob - 提交视频翻译任务。在提交时,请确保您已经仔细阅读了视频翻译参数介绍与示例,以正确配置各项参数。

  2. 查询单个翻译任务结果

    要获取特定视频翻译任务的状态和结果,可以调用GetSmartHandleJob - 获取视频翻译任务结果。此接口允许您检索指定任务的详细信息,包括处理进度、完成时间以及最终的翻译输出链接。

  3. 查询翻译任务列表

    如果您需要查看所有正在进行或已完成的视频翻译任务,可以使用ListSmartJobs - 获取视频翻译任务列表来列出这些任务。

  4. 删除翻译任务

    对于已完成并且不再需要保存的任务,可以通过调用DeleteSmartJob - 删除智能任务将其从系统中移除,释放资源。

语音级翻译结果的二次修正

重要

如果对语音级别的翻译结果不满意,并希望对结果进行二次修正,请在提交翻译任务之前启用“是否开启二次编辑”参数。接下来将介绍两种针对语音级翻译结果进行二次修正的方法。

方法一:通过OpenAPI实现

通过调用OpenAPI实现语音级翻译结果的修正。详见语音翻译 - 人工修正

方法二:通过云剪辑(webSDK)实现

准备工作

如果您对云剪辑尚不熟悉,建议您首先学习并了解云剪辑相关的操作指南。

操作流程

  1. 登录智能媒体服务控制台,进入视频翻译页面。

  2. 在任务列表中,选择需要进行二次修正的任务。

  3. 并在操作列中单击翻译修正/剪辑按钮,以打开相应的云剪辑工程。后续操作详见下方视频讲解:

    视频翻译

常见问题

结合音频波形图设置单行字幕的起止时间

例如,您希望将翻译后的字幕“Great where are you”拆分为两段,分别为“Great”和“where are you”,如下图所示。您可以通过调整字幕的起止时间,尽量将字幕的起止时间点音频波形的波谷处相对应。经过这样的处理,语音翻译的二次修正效果将会更加优化。

image

控制二次修正的字幕字数

在进行二次翻译修正时,如需对翻译后的双语字幕内容进行编辑,务必确保调整后的字幕字数不超过调整前字数的1.5倍,否则可能导致二次翻译修正后的语音语速过快。

例如:第一次翻译后的某一行译文为:Let's talk about this later. We need to go home now

错误示例:Let's discuss this matter in more detail at a later time. Right now, we should focus on heading back home as it's important to ensure we get there safely and in good time. We can revisit this conversation when we are both more relaxed and have ample opportunity to explore all the aspects thoroughly.

正确示例:Let's pick this up another time. We should be going home now.image

相关文档

  • 本页导读 (1)
  • 我们的优势
  • 功能特性
  • 计费说明
  • 使用说明
  • 创建翻译任务
  • 通过控制台创建翻译任务
  • 通过云剪辑创建翻译任务
  • 通过OpenAPI创建视频翻译
  • 语音级翻译结果的二次修正
  • 方法一:通过OpenAPI实现
  • 方法二:通过云剪辑(webSDK)实现
  • 常见问题
  • 结合音频波形图设置单行字幕的起止时间
  • 控制二次修正的字幕字数
  • 相关文档
AI助理

点击开启售前

在线咨询服务

你好,我是AI助理

可以解答问题、推荐解决方案等