全部产品
  • 首页 > 
  • 什么是多媒体AI

什么是多媒体AI

什么是多媒体AI?

   
  1. 多媒体AIMultiMedia AI)是一款视频AI通用技术平台产品,结合视觉及多模态技术,实现视频审核、视频结构化、视频指纹搜索、视频生产等核心视频应用领域的基础功能,为客户在视频审核、版权保护、视频编目、视频搜索推荐、视频交互、视频辅助生产等应用场景种提供了核心能力,提高人员效率和流量效率。
  2. 多媒体AI产品实例(以下简称 媒体AI实例)是对应AI服务以及一个能匹配推荐性能的环境,包含 CPU、内存等最基础的计算组件,是媒体AI支撑给每个用户提供服务的实际操作实体。媒体AI实例是以提供的能力服务为核心,以云服务器为基础的概念。其他的资源,比如磁盘、IP、镜像、快照等,只有与计算资源(ECS等服务资源)结合后才能使用。

多媒体AI由底层算法服务层,中间逻辑神经层,上层应用处理层;

  • 底层算法服务层:整合封装人脸识别,语音识别,通用标签,视频分类,logo识别(台标)、动作识别、场景识别、涉黄识别、血腥识别等多项视觉理解算法,同时进行服务化集成,形成统一分析服务层,用于对输入内容进行结构化分析;
  • 中间逻辑神经层:通过上层输入的素材(clib,shot,sequence等)进行解析,同时将解析后的素材,调度转发对应底层算法服务,获取输出结果,同时将多个分析结果进行merge整合、交叉验证,完成后将merge后的结果数据向上输出;
  • 上层应用处理层:作为外部视频素材的统一输入通道,以API方式提供视频上传服务,同时约定上传格式以及大小等输入条件,提供视频分解服务,将上传的视频进行合理分解,供后端逻辑层进行调度分析;此外,上层应用层还提供了人脸库创建等工具型接口的透传,供用户实现应用配置;

下图是多媒体AI产品的示意图:技术架构图