智能标签

智能标签,是通过分析视频中视觉、文字、语音、行为等信息,结合多模态信息融合及对齐技术,实现高准确率内容识别,自动输出视频的多维度内容标签,将非结构化信息转化为结构化信息,适用于媒资检索、个性化推荐、智能广告投放等场景。

功能概览

应用场景

准确高效的媒体资源检索。通过准确丰富的视频标签体系,对视频、图像、文本等媒体文件进行内容编目,支持通过关键词或标签文本,对素材库中的内容进行快速检索,提升视频资源检索效率与准确性。

  • 个性化推荐:精准、个性化的内容推荐。根据媒体文件内容标签,结合用户信息、行为数据及用户画像分析,进行内容精准匹配,实现视频个性化推荐,解决推荐冷启动问题,提升推荐准确率。

  • 智能广告投放:智能化、场景化的广告投放。根据媒体文件多模态内容分析及视频标签结果,自动识别广告位,与广告资源库内容进行匹配,实现广告智能投放,精准触达受众人群,提升广告转化率。

功能特性

使用限制

  • 服务地域请参见服务地域

  • 管道并发请参见使用限制

  • 智能标签可以处理的文件类型和格式如下:

    视频

    音频

    图片

    视频格式:avi、flv、mkv、mpg、mp4、ts、mov、mxf

    音频格式:mp3、wav

    图片格式:jpg、jpeg、png

    编码格式:MPEG2,、MPEG-4、H.264、H.265/HEVC

    不涉及

    不涉及

    视频时长:≤4小时

    音频时长:≤4小时

    不涉及

    视频大小:≤4 GB

    音频大小:≤400 MB

    图片大小:≤4 MB

    视频分辨率:240P~2160P,为保证分析效果,建议分辨率≥720P。

    不涉及

    图片分辨率:≤2160P

使用准备

在使用前需要进行一些设置确保功能能够正常使用,如已设置请忽略。

  • 创建管道。如果管道列表中没有智能标签管道,请先开启智能标签管道。

  • 上传视频。

    • 如果直接提交任务:将需要处理的视频上传至OSS。具体操作,请参见上传视频

    • 如果使用工作流自动提交:请先添加媒体Bucket,完成工作流创建后再上传视频。将OSS的Bucket在媒体处理MPS中绑定为输入媒体Bucket、输后媒体Bucket后,媒体处理MPS才有权限监听该Bucket上传完成的消息,以实现触发工作流执行和回写处理完成的文件。具体操作,请参见添加媒体Bucket

  • 创建智能标签模板

  • (可选)配置消息通知。如果您需要在任务完成后接收消息通知,请先配置MNS。具体操作,请参见设置消息通知

控制台提交智能标签任务

  1. 登录媒体处理控制台

  2. 在顶部菜单栏左侧选择地域。地域

  3. 在左侧导航栏,选择任务管理

  4. 选择智能标签,单击创建任务

  5. 设置参数。

参数

说明

待处理文件地址

单击选择,在Bucket下拉列表中,选择Bucket名称。路径下方会显示对应Bucket已经创建好的文件夹,在文件夹下选择一个文件作为输入路径。

智能标签管道

在下拉列表中选择管道名称。

说明

如果智能标签管道下拉列表中没有管道名称,请先开启智能标签专用管道。详细操作,请参见创建管道

标题

单击输入框,输入文件标题,标题内容会参与多模态识别进行视频分类分析。

模板

在下拉列表中选择模板名称。

说明

如果智能标签模板下拉列表中没有模板名称,请先创建智能标签模板。具体操作,请参见智能标签模板

返回OCR文字识别原始结果

单击开关按钮,切换是否返回文字识别结果。开启后,标签任务可返回OCR文字识别原始结果。

返回ASR语音识别原始结果

单击开关按钮,切换是否返回语音识别结果。开启后,标签任务可返回ASR语音识别原始结果。

  1. 单击提交任务,完成创建智能标签任务。

API提交智能标签任务

标签.png

  1. 通过模板配置分析类型。

    智能标签作业可以通过模板设置分析类型,在提交作业时指定模板ID。模板ID可以通过添加模板获取。

  2. 自定义人脸库设置。

    智能标签作业支持配置分析使用的公共人脸库或自定义人脸库范围,在提交作业时指定人脸库参数。自定义人脸库的具体操作,请参见注册⾃定义⼈脸

  3. 提交智能标签作业。

    对于已成功上传到OSS的视频、图片、语音文件,或第三方站点的视频URL,或视频点播(Vod)媒资地址,可以通过API/SDK方式提交智能标签作业,详细参数信息请参见提交智能标签作业智能标签SDK

  4. 接收回调信息。

    智能标签作业完成后,如果配置了管道MNS消息队列事件通知,会向轻量消息队列(原 MNS)指定的队列或主题发送消息。详细信息请参见接收消息通知

  5. 查询作业结果。

    通过API/SDK方式查询智能标签作业的状态结果,按照智能标签任务ID进行查询。详细参数信息请参见查询智能标签作业