向量检索介绍与使用

应用场景

向量检索适用于推荐系统、图像与视频检索、自然语言处理与语义搜索等场景。

• 检索增强生成（RAG）

  RAG是一种将检索能力和大模型能力结合在一起的AI框架，通过检索能力增强大模型输出结果的准确性，尤其是在私域数据或者专业数据领域可以大幅提升大模型输出结果的准确性。当前广泛应用于知识库场景。

• 推荐系统

  在电商、社交媒体、视频流媒体等平台中，用户行为、偏好、内容特征等内容可以编码为向量进行存储，然后通过向量检索快速找到与用户兴趣相匹配的产品、文章或视频，实现个性化推荐，提升用户满意度和留存率。

• 相似性检测（图像、视频和语音等）

  在图像，视频、语音、声纹和人脸识别等领域中，可以将这些非结构化的数据转换为向量表示，然后通过向量检索快速找到最相似的目标。例如，在电商平台中，用户上传一张图片后，系统能迅速找出具有类似样式、颜色或图案的商品图片。

• 自然语言处理与语义搜索

  在NLP领域，将文本转换为向量表示（例如Word2Vec、BERT嵌入等），然后通过向量检索理解查询语句的语义，并找出语义上最相关的文档、新闻、问答等内容，提升搜索结果的相关性和用户体验。

• 知识图谱与智能问答

  知识图谱节点和关系可以表示为向量，通过向量检索能够加速实体链接、关系推理以及智能问答系统的响应速度，使系统能够更准确地理解和回答复杂的问题。

功能概述

向量检索（KnnVectorQuery）使用数值向量进行近似最近邻查询，可以在大规模数据集中找到最相似的数据项。

向量检索继承了多元索引的所有特性，无需部署搭建系统，即开即用，按量付费。支持多元索引的流式构建，数据写入表后近实时可查询；支持高吞吐的新增、更新和删除；查询性能和采用HNSW算法的系统相当。

使用KnnVectorQuery功能查询数据时，您可以需要指定要查询相似度的向量、要匹配的向量字段以及要查询的最邻近TopK个值，来获取向量字段中与要查询相似度的向量最相似的TopK个值。您还可以组合使用其他非向量检索的查询功能来过滤查询结果。

产品核心优势

计费说明

公测期间，使用向量索引不引入额外的向量索引专用计费项，当前按照已有模式进行计费。

使用VCU模式（原预留模式）时，使用多元索引查询数据会消耗VCU的计算资源。使用CU模式（原按量模式）时，使用多元索引查询数据会消耗读吞吐量。更多信息，请参见多元索引计量计费。

前提条件

创建多元索引时已配置向量字段。具体操作，请参见创建多元索引。

注意事项

使用向量检索时，请注意如下事项：

• 向量字段类型的个数、维度等存在限制。更多信息，请参见多元索引限制。

• 由于多元索引服务端是多分区的，多元索引服务端的每个分区均会返回自身最邻近的TopK个值并在协调节点进行汇总，因此如果要使用Token翻页获取所有数据，则获取到的总行数与多元索引服务端的分区数有关。

• 目前支持使用向量检索功能的地域包括华东1（杭州）、华东2（上海）、华北1（青岛）、华北2（北京）、华北3（张家口）、华北6（乌兰察布）、华南1（深圳）、华南3（广州）、西南1（成都）、中国香港、日本（东京）、新加坡、马来西亚（吉隆坡）、印度尼西亚（雅加达）、菲律宾（马尼拉）、泰国（曼谷）、德国（法兰克福）、英国（伦敦）、美国（弗吉尼亚）、华东1 金融云、华东2 金融云、华北2 阿里政务云1。

接口

向量检索的接口为Search，具体的Query类型为KnnVectorQuery。

参数

使用方式

您可以使用控制台或者SDK进行向量检索。进行向量检索之前，您需要完成如下准备工作。

• 使用阿里云账号或者使用具有表格存储操作权限的RAM用户进行操作。如果需要为RAM用户授权表格存储操作权限，请参见通过RAM Policy为RAM用户授权进行配置。

  使用SDK方式和命令行工具方式进行操作时，如果当前无可用AccessKey，则需要为阿里云账号或者RAM用户创建AccessKey。具体操作，请参见创建AccessKey。

• 已创建数据表。具体操作，请参见数据表操作。

• 已为数据表创建多元索引。具体操作，请参见创建多元索引。

  在创建多元索引时需要配置向量字段。

• 使用SDK方式进行操作时，还需要完成初始化Client。具体操作，请参见初始化OTSClient。

private static void knnVectorQuery(SyncClient client) {
    SearchQuery searchQuery = new SearchQuery();
    KnnVectorQuery query = new KnnVectorQuery();
    query.setFieldName("Col_Vector");
    query.setTopK(10); // 返回最邻近的topK。
    query.setFloat32QueryVector(new float[]{0.1f, 0.2f, 0.3f, 0.4f});
    // 最邻近的向量需要满足Col_Keyword=hangzhou && Col_Long<4条件。
    query.setFilter(QueryBuilders.bool()
            .must(QueryBuilders.term("Col_Keyword", "hangzhou"))
            .must(QueryBuilders.range("Col_Long").lessThan(4))
    );
    searchQuery.setQuery(query);
    searchQuery.setLimit(10);
    // 按照分数排序。
    searchQuery.setSort(new Sort(Collections.singletonList(new ScoreSort())));
    SearchRequest searchRequest = new SearchRequest("<TABLE_NAME>", "<SEARCH_INDEX_NAME>", searchQuery);
    SearchRequest.ColumnsToGet columnsToGet = new SearchRequest.ColumnsToGet();
    columnsToGet.setColumns(Arrays.asList("Col_Keyword", "Col_Long"));
    searchRequest.setColumnsToGet(columnsToGet);
    // 访问Search接口。
    SearchResponse resp = client.search(searchRequest);
    for (SearchHit hit : resp.getSearchHits()) {
        // 打印分数。
        System.out.println(hit.getScore());
        // 打印数据。
        System.out.println(hit.getRow());
    }
}

相关文档

• 多元索引查询类型包括精确查询、多词精确查询、全匹配查询、匹配查询、短语匹配查询、范围查询、前缀查询、后缀查询、通配符查询、基于分词的通配符查询、多条件组合查询、地理位置查询、嵌套类型查询、向量检索、和列存在性查询，您可以选择合适的查询类型进行多维度数据查询。

  如果要对结果集进行排序或者翻页，您可以使用排序和翻页功能来实现。具体操作，请参见排序和翻页。

  如果要按照某一列对结果集做折叠，使对应类型的数据在结果展示中只出现一次，您可以使用折叠（去重）功能来实现。具体操作，请参见折叠（去重）。

• 如果要进行数据分析，例如求最值、求和、统计行数等，您可以使用 Search 接口的统计聚合功能或者 SQL 查询来实现。具体操作，请参见统计聚合和SQL查询。

• 如果要快速导出数据，而不关心整个结果集的顺序时，您可以使用 ParallelScan 接口和 ComputeSplits 接口实现多并发导出数据。具体操作，请参见并发导出数据。

附录1：与BoolQuery组合使用说明

KnnVectorQuery可以和BoolQuery自由组合使用，不同的组合使用方式会有不同的效果，以下对两种常见的使用方式进行说明。此处以一个Filter命中数据量较少的场景为例进行介绍。

假设表中有1亿张图片，其中用户“a”总计有5万张图片，但是近7天内仅有50张图片，用户“a”希望以图搜图的方式找到7天内最相似的10张图片。由下表说明可知KnnVectorQuery的Filter内部使用BoolQuery的组合使用方式能满足用户“a”的查询需求。

附录2：向量归一化示例

向量归一化的示例代码如下：

  public static float[] l2normalize(float[] v, boolean throwOnZero) {
    double squareSum = 0.0f;
    int dim = v.length;
    for (float x : v) {
      squareSum += x * x;
    }
    if (squareSum == 0) {
      if (throwOnZero) {
        throw new IllegalArgumentException("can't normalize a zero-length vector");
      } else {
        return v;
      }
    }
    double length = Math.sqrt(squareSum);
    for (int i = 0; i < dim; i++) {
      v[i] /= length;
    }
    return v;
  }