智能媒资检索

功能说明

智能媒资检索，简称智能检索，又称为多模检索。通过AI算法对媒资内容的分析，无需人工对音视频内容打标，即可直接搜索音视频中出现的内容。

阿里云智能媒体服务的智能检索能力如下：

• 视频跨模态搜索，支持从视觉、音频、文本多个模态搜索

• 支持的媒资形式：视频、音频、图片

• 支持的搜索形式：关键词搜索、自然语言搜索、图片搜索

• 可支持高达数十万小时视频，搜索结果秒级响应

智能检索目前有3种搜索能力，对应的使用场景、成本和费用均有区别。

概念介绍

要使用智能检索，您需要了解以下概念：

用户使用逻辑如下图所示：

基于控制台的使用流程

准备工作：开启媒资智能分析

1. 登录智能媒体服务控制台，从左侧导航栏进入智能检索页面。

2. 点击右上角的智能检索配置按钮，打开配置页面：

   1. 如果您想使用全量检索，请开启媒资自动分析

   2. 如果您想使用大模型检索，请开启大模型自动分析

上传媒资

1. 登录智能媒体服务控制台，从左侧导航栏进入媒资库-音/视频页面。

2. 点击上传音/视频按钮，上传媒资。具体的上传操作说明，详见控制台上传。

3. 上传完成后，媒资会进行自动分析。分析完成后即可进行搜索。如果想确认自动分析是否完成，可点击媒资列表中的管理标签，进入详情页面，查看媒资的内容搜索入库状态。

搜索媒资

1. 登录智能媒体服务控制台，从左侧导航栏进入智能检索页面。

2. 切换下拉框，选择全量检索或是大模型检索：

   1. 如果是全量检索，建议query内容为词语或词组，如人名、地名、关键词等

   2. 如果是大模型检索，建议query内容为自然语言，例如“海边日出”、“大街上车来车往”

3. 点击结构表头中的媒体类型筛选图标，可选择检索音视频媒资还是图片媒资。

基于自建搜索库的使用流程

在控制台上使用，只能搜索智能媒体服务的默认媒资库。如果您的媒资库不在智能媒体服务中，又想使用智能检索，可以通过OpenAPI自建搜索库解决。

整体的使用流程：创建搜索库 - 创建搜索索引 - 插入媒资到搜索库 - 搜索

下面是具体的使用方式。

全量搜索

1. 创建一个指定名字的搜索库，接口说明详见CreateSearchLib - 创建搜索库。

2. 在这个搜索库中创建索引，接口详见CreateSearchIndex - 创建搜索索引。对于全量搜索，接口中的IndexType字段需填写aiLabel。

3. 使用SearchMediaByAILabel - 智能标签文本搜索接口搜索媒资，分为两个阶段：

   1. 第一次调用，选择粗搜模式，结果返回匹配的媒资列表

   2. 第二次调用，选择精搜模式，结果返回具体某个媒资中，匹配的片段列表

大模型搜索

1. 创建一个指定名字的搜索库，接口说明详见CreateSearchLib - 创建搜索库。

2. 在这个搜索库中创建索引，接口详见CreateSearchIndex - 创建搜索索引。对于大模型搜索，接口中的IndexType字段需填写mm。

3. 使用SearchMediaByMultimodal - 大模型搜索接口搜索媒资，结果返回匹配的媒资列表，以及每个媒资中匹配的片段。

相似人脸搜索

1. 创建一个指定名字的搜索库，接口说明详见CreateSearchLib - 创建搜索库。

2. 在这个搜索库中创建索引，接口详见CreateSearchIndex - 创建搜索索引。对于相似人脸搜索，接口中的IndexType字段需填写face。

3. 使用SearchMediaByFace - 人脸图片搜媒资接口搜索媒资，结果返回匹配的媒资列表。

4. 使用SearchMediaClipByFace - 人脸图片搜媒资片段接口进一步搜索某一个匹配媒资中，对应人脸出现的片段。结果会返回片段列表，以及人脸相关信息。