字幕擦除

视频点播工作流2.0支持集成智能媒体服务(IMS)字幕擦除能力,能够智能识别并擦除视频字幕,通过智能填充还原纯净画面,支持后期制作,实现自动化处理。本文介绍工作流中字幕擦除的使用方法。

说明

目前已开通的区域为:

  • 华东2(上海)、华北2(北京)、亚太东南 1(新加坡)、美洲(美国-西部)。

前提条件

功能优势

字幕擦除已推出高级版本:

  • 高级版(推荐):实现无痕擦除,解决马赛克和阴影残留问题,画面更自然。通过ModelId参数开启,详情请参见ModelId参数

  • 高级版本采用更优算法,但处理速度较慢且费用高于普通版。请根据业务需求进行选择。

计费说明

视频点播工作流的字幕擦除功能由智能媒体服务(IMS)提供,使用需购买【IMS订阅服务】并支付使用费用,详情请参见:字幕擦除

使用说明

步骤一:通过控制台配置字幕擦除工作流

目前仅支持通过点播控制台创建工作流。

  1. 登录视频点播控制台

  2. 在左侧导航栏选择配置管理 > 媒体处理配置 > 工作流管理,进入到工作流管理页面。

  3. 单击添加工作流模板,输入工作流名称。

  4. 在工作流编辑页面,点击开始节点右侧的+按钮,添加字幕擦除节点。image

  5. 根据页面提示,在右侧面板完成参数配置:image

    • 节点名称:自定义字幕擦除节点名称。

    • 示例素材:用于字幕设置的示例视频,不参与工作流任务,支持mp4、webm、mov、m3u8格式的视频。

    • 识别范围:默认(视频底部1/4区域),也支持手动框取。

    • 算法版本:支持基础版和高级版两种版本。

      • 高级版(推荐):支持多时间段无痕擦除,画面更自然,有效消除马赛克与阴影残留。通过设置ModelId参数可启用高级功能,详情请参见ModelId参数

      • 基础版:擦除后可能会出现马赛克阴影等残留痕迹,还原度一般。

    • 时间范围:支持自定义开始时间与结束时间。

      说明
      • 开始与结束时间必须成对填写。

      • 开始时间不得晚于结束时间。

      • 任一时间为空将被过滤并视为无效输入(无效输入将默认应用全部时间范围)。

      • 高级版支持最多5个时间段,基础版仅支持1个。

  6. 完成配置后点击确定,提交工作流模板生成工作流ID,请记录该ID用于后续上传时指定工作流。image

步骤二:触发工作流

使用创建的工作流处理视频,支持上传时或上传后发起任务。

通过控制台发起工作流处理

上传视频时发起

  1. 登录视频点播控制台

  2. 在左侧导航栏选择媒资库 > 音/视频,单击上传音/视频

  3. 上传音/视频界面,单击添加音/视频,选择上传方式、存储地址等参数后,选择用工作流处理,并指定为上一步创建的工作流。image

上传视频后发起

  1. 登录视频点播控制台

  2. 在左侧导航栏选择媒资库 > 音/视频,进入音/视频列表页面。

  3. 单击目标音视频操作列的媒体处理,选择用工作流处理,并指定为上一步创建的工作流。image

通过OpenAPI发起工作流处理

上传视频时发起

上传视频后发起

调用提交点播工作流作业接口,将WorkflowId参数指定为上一步创建的工作流ID,可以立即对音视频进行工作流处理。

步骤三:结果查询

通过视频点播控制台查询

  1. 登录视频点播控制台

  2. 在左侧导航栏选择媒资库 > 音/视频,进入音/视频列表页面。

  3. 在音/视频列表页面,找到由工作流生成的擦除视频(可通过源视频名称、创建时间等筛选)。

通过智能媒体服务控制台查询

  1. 登录智能媒体服务控制台

  2. 在左侧导航栏选择点播媒体处理 > 任务管理,进入任务管理页面,单击智能擦除标签页。

  3. 智能擦除标签页,找到由工作流生成的擦除任务(可通过名称、创建时间等筛选)。

  4. 当任务状态为成功时,点击查看,即可查看详情:

    • 擦除任务的基础参数和配置信息。

    • 擦除视频的输入信息。

    • 擦除视频的输出信息和输出文件。

通过工作流任务回调查询

  1. 配置HTTP或轻量消息队列(原MNS)回调

  2. 当工作流任务完成时,系统会触发工作流任务完成事件,并通过配置的HTTP或轻量消息队列(原MNS)回调推送完整结果。关键字段说明如下:

    1. Status:任务整体状态(Succeed/Failed)。

    2. ActivityResults:JSON 字符串,包含各节点(如 VideoTranslation)的执行详情,其中 Result 字段内含翻译输出的 MediaIdJobId 等关键信息。

    3. TaskInput:原始输入媒体信息(如 Media ID、文件名等)。

  3. 解析回调消息体中的 ActivityResults,即可提取翻译生成的视频 MediaId 并用于后续播放或分发。

通过OpenAPI查询

可调用QueryIProductionJob - 查询智能生产任务查询任务结果::传入擦除任务的 JobId(可在工作流任务的 ActivityResults.Result.JobId 中获取),返回该擦除作业的详细状态与输出结果。

返回结果示例:

{
  "RequestId": "****20b48fb04483915d4f2cd8ac****",
  "JobId": "****20b48fb04483915d4f2cd8ac****",
  "FunctionName": "VideoDetext",
  "Input": {
    "Type": "OSS",
    "Media": "oss://example-bucket/input.mp4"
  },
  "Output": {
    "Type": "OSS",
    "Media": "oss://example-bucket/output.mp4",
    "OutputUrl": "http://example-bucket.oss-cn-shanghai.aliyuncs.com/output.mp4"
  },
  "Status": "Success",
  "CreateTime": "2024-09-24T06:17:09Z",
  "FinishTime": "2024-09-24T06:17:31Z",
  "OutputFiles": ["output.mp4"],
  "OutputUrls": ["http://example-bucket.oss-cn-shanghai.aliyuncs.com/output.mp4"],
  "Result": {}
}
说明
  • StatusSuccess表示字幕擦除完成。

  • 处理后的视频可通过OutputUrls进行访问。