智能生产

智能生产服务基于阿里云媒体AI技术,提供多种形式媒体内容处理及内容生成能力,支持智能封面、智能横转竖、绿幕抠图、人像抠图、智能图标模糊、智能去字幕、字幕提取、副歌检测、音乐节奏检测等多种媒体处理生成功能,提升媒体内容生产效率和质量。

功能概述

应用场景

  • 传媒、娱乐视频智能生产对视频内容进行图标、字幕、抠图等处理,快速制作加工视频内容。

  • 视频多端投放对一次拍摄产生的视频使用智能横转竖服务进行比例转换,生成适配不同终端播放的版本,向多种平台及终端进行投放和分发,提升视频内容传播效率。

功能特性

使用限制

使用准备

在使用前需要进行一些设置确保功能能够正常使用,如已设置请忽略。

  • 创建管道。如果管道列表中没有智能封面管道,请先开启智能封面管道。

  • 上传视频。

    • 如果直接提交任务:将需要处理的视频上传至OSS。具体操作,请参见上传视频

    • 如果使用工作流自动提交:请先添加媒体Bucket,完成工作流创建后再上传视频。将OSS的Bucket在媒体处理MPS中绑定为输入媒体Bucket、输后媒体Bucket后,媒体处理MPS才有权限监听该Bucket上传完成的消息,以实现触发工作流执行和回写处理完成的文件。具体操作,请参见添加媒体Bucket

  • (可选)配置消息通知。如果您需要在任务完成后接收消息通知,请先配置MNS。具体操作,请参见设置消息通知

控制台提交智能生产任务

说明

智能生产任务中,只有智能封面任务可以通过MPS控制台提交任务或创建工作流,其他任务请通过API创建。

提交智能封面单任务

  1. 登录媒体处理控制台

  2. 在顶部菜单栏左侧选择地域。地域

  3. 在左侧导航栏,选择任务管理

  4. 选择智能封面,单击创建任务

  5. 设置智能封面参数。

    参数

    说明

    待处理文件地址

    单击选择,在Bucket下拉列表中,选择Bucket名称。路径下方会显示对应Bucket已经创建好的文件夹,在文件夹下选择一个文件作为输入路径。

    智能封面管道

    在下拉列表中选择管道名称。

    说明

    如果智能封面管道下拉列表中没有管道名称,请先开启智能封面专用管道。具体操作,请参见创建管道

    输出路径

    单击选择,在Bucket下拉列表中,选择Bucket名称。路径下方会显示对应Bucket已经创建好的文件夹,在文件夹下选择一个文件作为输出路径。

    说明

    当输出路径和待处理文件路径相同,如果文件不同名,则输出文件不会覆盖源文件。如果文件同名,是否覆盖由OSS配置决定,无需覆盖请参见禁止覆盖同名文件进行配置。配置后会导致同名文件转码完成后写入OSS失败,建议不要设置输出文件与源文件同名。

  6. 单击提交任务,完成创建智能封面任务。

    任务提交后您可以在当前页签下方列表中查看任务的执行状态以及配置信息和输入、输出地址等。

使用工作流提交智能封面任务

  1. 登录媒体处理控制台

  2. 在顶部菜单栏左侧选择地域。地域

  3. 在左侧导航栏,选择工作流 > 工作流编排

  4. 单击创建工作流

  5. 设置工作流基础信息。

    参数

    说明

    工作流名称

    在文本框中输入工作流名称。

    配置方案

    在下拉列表中选择自定义

  6. 设置输入节点。

    1. 单击输入节点右侧的笔形图标,进入输入设置页面。

    2. 设置输入参数。

      参数

      说明

      输入Bucket

      选择输入路径后自动显示。

      输入路径

      单击选择,在Bucket下拉列表中,选择Bucket名称。路径下方会显示对应Bucket已经创建好的文件夹,在文件夹下选择一个地址作为输入路径。

      转码管道

      在下拉列表中选择管道。

      说明
      • 此处设置的是转码、截图所使用的管道。智能封面任务需要使用的智能封面管道,请在后续节点中设置。

      • 如果下拉列表中没有管道名称,请先开启管道。具体操作,请参见创建管道

      (可选)消息通知

      单击开关按钮,选择消息队列或消息主题,在下拉列表中选择一个队列通知或主题通知。

      说明

      如果下拉列表中没有队列通知或主题通知,请先开启消息通知。具体操作,请参见设置工作流消息通知

    3. 单击确定,完成输入节点设置。

  7. 添加智能封面节点。

    1. 单击输入节点右侧加号图标选择智能封面

    2. 单击智能封面节点右侧笔形图标。智能

    3. 设置智能封面。

      参数

      说明

      名称

      在文本输入框中输入封面名称。

      智能封面管道

      在下拉列表中选择管道。

      说明

      如果智能封面管道下拉列表中没有管道名称,请先开启智能封面专用管道。具体操作,请参见创建管道

      输出Bucket

      选择输出路径后自动显示,不用手动设置。

      输出路径

      单击选择,选择OSS输出地址。

      (可选)设置封面

      单击开关按钮,将图片设为封面。

    4. 单击确定,完成智能封面节点设置。

  8. 设置发布节点。

    1. 单击发布节点右侧笔形图标。

    2. 设置发布类型。

      参数

      说明

      媒体发布类型

      选择媒体发布类型自动

      • 手动发布:工作流执行成功后,将媒体设置为未发布状态,之后您可以手动发布该媒体。手动发布媒体文件,请参见管理媒体

      • 自动发布:工作流执行成功后,将媒体设置为发布状态。

        说明
        • 发布含义:设置媒体所有播放资源、截图文件的访问权限继承所在Bucket的访问权限。

        • 不发布含义:媒体所有播放资源、截图文件的访问权限为私有。

    3. 单击确定,完成发布节点设置。

  9. 单击保存,完成工作流创建。

    创建完成后,当有符合条件的新文件进入指定路径时,会自动触发工作流执行。

工作流实例执行完成后,如需了解智能封面节点详细信息,请单击对应实例操作列详情,进入实例详情页面,找到并复制任务名称,在左侧导航栏任务管理>智能封面页签下选择按ID查询进行查询。image.png

API提交智能生产任务

image
  1. 提交智能生产作业。

    已成功上传至OSS的视频、图片、语音文件等,可以通过SubmitIProductionJob接口提交智能生产作业,通过指定FunctionName进行各项服务能力调用。详细参数信息请参见SubmitIProductionJob - 提交智能生产作业

  2. 接收回调消息。

    完成智能媒体审核作业后,如果配置了管道MNS消息队列事件通知,会向轻量消息队列(原 MNS)指定的队列或主题发送消息。详细信息请参见接收消息通知

  3. 查询作业结果。

    您可以通过QueryIProductionJob接口查询智能生产作业的状态和结果,根据智能生产任务ID进行查询。详细参数信息请参见QueryIProductionJob - 查询智能生产作业