智能媒资检索

功能说明

智能媒资检索，简称智能检索，又称为多模检索。通过AI算法对媒资内容的分析，无需人工对音视频内容打标，即可直接搜索音视频中出现的内容。

阿里云智能媒体服务的智能检索能力如下：

• 视频跨模态搜索，支持从视觉、音频、文本多个模态搜索

• 支持的媒资形式：视频、音频、图片

• 支持的搜索形式：关键词搜索、自然语言搜索、图片搜索

• 可支持高达数十万小时视频，搜索结果秒级响应

智能检索目前有以下几种搜索能力，对应的使用场景、成本和费用均有区别。

概念介绍

注：DNA搜索请直接参阅【媒体DNA的使用】章节

要使用智能检索，您需要了解以下概念：

用户使用逻辑如下图所示：

基于控制台的使用流程

准备工作：开启媒资智能分析

1. 登录智能媒体服务控制台，从左侧导航栏进入智能检索页面。

2. 点击右上角的智能检索配置按钮，打开配置页面：

   1. 如果您想使用标签检索，请开启媒资自动分析

   2. 如果您想使用大模型检索，请开启大模型自动分析

上传媒资

1. 登录智能媒体服务控制台，从左侧导航栏进入媒资库-音/视频页面。

2. 点击上传音/视频按钮，上传媒资。具体的上传操作说明，详见控制台上传。

3. 上传完成后，媒资会进行自动分析。分析完成后即可进行搜索。如果想确认自动分析是否完成，可点击媒资列表中的管理标签，进入详情页面，查看媒资的内容搜索入库状态。

搜索媒资

1. 登录智能媒体服务控制台，从左侧导航栏进入智能检索页面。

2. 切换下拉框，选择标签检索或是大模型检索：

   1. 如果是标签检索，建议query内容为词语或词组，如人名、地名、关键词等

   2. 如果是大模型检索，建议query内容为自然语言，例如“海边日出”、“大街上车来车往”

3. 点击结构表头中的媒体类型筛选图标，可选择检索音视频媒资还是图片媒资。

基于自建搜索库的使用流程

在控制台上使用，只能搜索智能媒体服务的默认媒资库。如果您的媒资库不在智能媒体服务中，又想使用智能检索，可以通过OpenAPI自建搜索库解决。

整体的使用流程：创建搜索库 - 创建搜索索引 - 插入媒资到搜索库 - 搜索

下面是具体的使用方式。

标签检索

1. 创建一个指定名字的搜索库，接口说明详见CreateSearchLib - 创建搜索库。

2. 在这个搜索库中创建索引，接口详见CreateSearchIndex - 创建搜索索引。对于标签检索，接口中的IndexType字段需填写aiLabel。

3. 使用SearchMediaByAILabel - 智能标签文本搜索接口搜索媒资，分为两个阶段：

   1. 第一次调用，选择粗搜模式，结果返回匹配的媒资列表

   2. 第二次调用，选择精搜模式，结果返回具体某个媒资中，匹配的片段列表

大模型搜索

1. 创建一个指定名字的搜索库，接口说明详见CreateSearchLib - 创建搜索库。

2. 在这个搜索库中创建索引，接口详见CreateSearchIndex - 创建搜索索引。对于大模型搜索，接口中的IndexType字段需填写mm。

3. 使用SearchMediaByMultimodal - 大模型搜索接口搜索媒资，结果返回匹配的媒资列表，以及每个媒资中匹配的片段。

相似人脸搜索

1. 创建一个指定名字的搜索库，接口说明详见CreateSearchLib - 创建搜索库。

2. 在这个搜索库中创建索引，接口详见CreateSearchIndex - 创建搜索索引。对于相似人脸搜索，接口中的IndexType字段需填写face。

3. 使用SearchMediaByFace - 人脸图片搜媒资接口搜索媒资，结果返回匹配的媒资列表。

4. 使用SearchMediaClipByFace - 人脸图片搜媒资片段接口进一步搜索某一个匹配媒资中，对应人脸出现的片段。结果会返回片段列表，以及人脸相关信息。

玩法技巧

人脸集锦视频制作

基于人脸检索生成人脸集锦的功能，是一种融合了人脸识别技术与创意表达手段的创新方式。该技术不仅能够迅速高效地从海量图片或视频中定位包含特定人脸的影像，还可以通过智能媒体服务的视频剪辑及高级模板功能，将这些片段或图像以独特而富有创意的方式组合成一段人脸集锦，从而记录生活中的精彩瞬间。实现这一玩法的技巧与步骤介绍详见人脸集锦视频制作教程