全部产品
存储与CDN 数据库 安全 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网 钉钉智能硬件

基础概念

更新时间:2017-12-28 17:06:09

IMM使用的基本概念和术语

项目

项目,开发者使用智能媒体管理服务的基本单元。

比如,开发者希望开发相册网盘 APP,可以创建一个项目,关联存储和 IMM 数据处理能力,从而可以便捷的从应用的纬度进行管理。

数据源

数据源,为数据处理提供数据来源,当前支持 OSS 存储作为数据源。

它可以是整个 Bucket 、或者 OSS 资源的前缀,通过两种方式进行数据处理:

  • 主动访问。对于已经保存在云存储的对象,调用处理引擎进行分析处理。

  • 事件触发。当对象的新增、更新、删除等事件发生时,触发函数计算进行数据处理。

处理引擎

处理引擎,对数据进行加工处理,特别是图片和视频的数据处理,通过它能够从 OSS 影像数据中提取更多的元数据,产生更多的价值。

目前支持如下种类的处理引擎:

  • 分析类引擎。能够包括针对图片、视频的识别、分析,比如人脸检测、标签检测等。

  • 转换处理类引擎。能够对 Office 文件进行格式转换,图片进行缩略、切割等操作。

典型调用方式是针对单个对象进行分析、转换处理,并返回处理结果。

索引器

索引器,基于场景理解调用处理引擎分析元数据,并保存管理起来,提供索引查询能力。

当前有如下场景的索引器:

  • 人脸分组索引器。针对图片的人脸进行索引管理,把相同人脸的照片放在同一个分组。

  • 标签分组索引器。为图片提供标签的索引管理,支持按标签进行搜索和管理。

数据集

数据集,在索引器中针对一组元数据的集合,从而实现资源的隔离,支撑多租户的管理。例如,在网盘构建相册时,可以针对网盘的每个终端用户构建一个数据集,让该用户的人脸分组在该数据集内。

数据集包含2中状态:

  • Running。一旦创建,进入运行状态,在此状态时可以添加人脸信息到数据集中。
  • Deleting。调用删除请求后立即进入删除中状态,所有元数据删除完毕将不能查询到此数据集。

数据集创建后,支持 Get 查询数据集状态,Delete 删除数据集,List 遍历数据集请求。

请求类型

  • 同步请求,客户端发出请求后,阻塞等待结果返回。例如,处理引擎中的人脸检测,标签检测,它通常在几十毫秒、几百毫秒这样的秒级内返回。

  • 异步请求,为了解决同步任务时间太长导致客户端阻塞太久的问题,引入了异步请求机制;此时,客户端发出请求后,会快速返回 ID,避免阻塞太久。基于此 ID,可以查询异步请求的状态。例如,处理引擎中的大图处理请求,将需要几秒、甚至几十秒才能完成;索引器中的人脸分组作业请求,将需要几小时、甚至几天的时间,才能完成对某个桶的批量标签。

任务(Task)

任务 是一种异步请求,它执行某个单一请求的操作,例如处理引擎的大图处理请求、OFFICE 文档格式转换(把 PPTX 文档转换为 JPG)。

任务创建后,支持 Get 查询任务状态,Delete 删除任务,List 遍历任务请求。

作业(Job)

作业 是一种异步请求,它会执行多个请求,例如索引器的批量人脸分组、批量标签分组、批量鉴黄。您可以指定 OSS 的某个桶,然后调用批量人脸分组作业,然后作业会遍历桶内的对象,进行标签检测构建索引,帮您实现一键式的存量数据分析。

作业状态

如图所示,作业包含4中状态: Running、Finished、Stopped、Failed。在运行中遇到 Stop Event,例如作业执行请求到了一定的上限(通过它可以提示作业的调用次数,供您计算费用擦考)会触发 Stop Event,然后作业进入 Stopped 状态。在此状态下,如果希望继续执行,可以调用 Resume 命令恢复执行;否则,保留在该状态下或者删除作业。

本文导读目录