媒体处理提供智能生产、媒体审核、视频DNA、智能标签等视频AI服务。本文为您介绍通过API实现上述功能的操作步骤。

转码准备

在进行任务之前,需要进行一些设置确保功能能够正常使用,如已设置请忽略。
  • 媒体处理操作的媒体资源均存放在OSS的Bucket中,需要添加媒体Bucket才可以在任务、工作流中选择对应的Bucket作为输入和输出路径。详细操作请参见添加媒体Bucket
  • 开启管道。如果管道列表中没有您需要的管道类型,请先开启所需类型的管道。
  • 将需要处理的视频上传至OSS。详细操作请参见上传视频
  • (可选)如您需要在作业完成后接收消息通知,请先配置消息通知服务。详细操作请参见设置消息通知

视频生产

视频生产服务基于媒体AI技术,提供多种形式媒体内容处理及内容生成能力,支持智能封面、智能横转竖、绿幕抠图、人像抠图、智能图标模糊、智能去字幕、字幕提取、副歌检测、音乐节奏检测、PPT拆条等多种媒体处理生成功能,提升媒体内容生产效率和质量。

  1. 提交智能生产作业。
    已成功上传至OSS的视频、图片、语音文件等,可以通过SubmitIProductionJob接口提交智能生产作业,通过指定FunctionName进行各项服务能力调用。详细参数信息请参见提交智能生产作业
  2. 接收回调信息。
    完成智能生产作业后,如果配置了管道MNS消息队列事件通知,会向消息服务指定的队列或主题发送消息。详细信息请参见接收消息通知
  3. 查询作业结果。
    您可以通过QueryIProductionJob接口查询智能生产作业的状态和结果,根据智能生产任务ID进行查询。详细参数信息请参见查询智能生产作业

媒体审核

媒体审核服务基于海量标注数据和深度学习算法实现,从语音、文字、视觉等多维度精准识别媒体文件中包含的违禁内容,包括色情、暴恐、政治敏感、广告识别等多个功能模块,同时支持视频图像文件内容质量审核功能,应用于短视频平台、直播平台、传媒审核等场景。

  1. 提交媒体审核作业。

    已成功上传到OSS的视频、图片、语音文件,可以通过SubmitMediaCensorJob接口提交智能媒体审核作业。详细参数信息请参见提交媒体审核作业

    说明 媒体审核的标准可配置支持不同审核策略,例如色情审核可配置高准确率、高召回率、严格色情忽略性感审核策略,涉政暴恐可配置具体管控场景等,如需调整审核标准可提交工单并提供UID、地域及详细的需求描述进行配置。
  2. 接收回调消息。
    完成智能媒体审核作业后,如果配置了管道MNS消息队列事件通知,会向消息服务指定的队列或主题发送消息。详细信息请参见接收消息通知
  3. 查询作业结果。
    您可以通过QueryMediaCensorJobDetail接口查询媒体审核作业的状态结果,根据媒体审核任务ID进行查询。详细参数信息请参见查询媒体审核作业详情

视频DNA

视频DNA通常是一个二进制串,用来唯一标记一个视频。您可以使用视频DNA服务提取并比对视频中的图像、音频等指纹特征,解决重复视频查找、视频片段查源、原创识别等问题。

  1. 建立视频DNA库。

    提交新建视频DNA库任务,返回新建DNA库信息,待DNA库新建完成后DNA库状态会更新为active。提交任务的时候需要绑定DNA库。详细参数信息请参见提交新建DNA库

    说明 视频DNA库是用于记录和存放视频DNA的库。视频DNA服务可以支持:
    • 按照用户(UID)维度进行视频DNA库的建立。
    • 多个用户(UID)共用一个视频DNA库。
    • 同一用户(UID)根据不同业务创建多个视频DNA库。
  2. 提交增量视频DNA任务。
    • 如果您的视频存量少于100万分钟,可以直接通过提交视频DNA作业接口提交任务。详情参见提交DNA作业
    • 如果您在实时情况下新增视频,也可以通过提交DNA作业接口进行处理。增量和存量可以一起通过该接口提交任务,完成视频DNA的处理。也可以待存量视频导入完成后,再通过提交DNA作业接口提交任务。
  3. 视频处理结果查询。

    对于通过增量处理接口提交的视频,视频DNA的处理结果,您可以通过查询DNA作业或回调接口DNA作业结果反馈

    处理结果中包含以下主要信息:
    • 作业是否有匹配到重复视频。
    • 匹配到重复视频,输出重复视频信息。
    • 视频之间重复的时码区间。
    • 视频的重复程度(重复度为介于0~1之间的数据)。

智能标签

智能标签,是通过分析视频中视觉、文字、语音、行为等信息,结合多模态信息融合及对齐技术,实现高准确率内容识别,自动输出视频的多维度内容标签,将非结构化信息转化为结构化信息,适用于媒资检索、个性化推荐、智能广告投放等场景。

  1. 通过模板配置分析类型。
    智能标签作业可以通过模板设置分析类型,在提交作业时指定模板ID。模板ID可以通过添加模板获取。
  2. 自定义人脸库设置。
    智能标签作业支持配置分析使用的公共人脸库或自定义人脸库范围,在提交作业时指定人脸库参数。自定义人脸库的具体操作,请参见注册⾃定义⼈脸
  3. 提交智能标签作业。
    对于已成功上传到媒体库的视频,可以通过API/SDK方式提交智能标签作业,详细参数信息请参见提交智能标签作业智能标签SDK
  4. 接收回调信息。
    智能标签作业完成后,如果配置了管道MNS消息队列事件通知,会向消息服务指定的队列或主题发送消息。详细信息请参见接收消息通知
  5. 查询作业结果。
    通过API/SDK方式查询智能标签作业的状态结果,按照智能标签任务ID进行查询。详细参数信息请参见查询智能标签作业