多元索引

查询方式

原理

场景

数据表主键

数据表类似于一个巨大的Map，它的查询能力也类似于Map，只能通过主键查询。

适用于可以确定完整主键（Key）或主键前缀（Key prefix）的场景。

二级索引

通过创建一张或多张索引表，使用索引表的主键列查询，相当于把数据表的主键查询能力扩展到了不同的列。

适用于能提前确定待查询的列，待查询列数量较少，且可以确定完整主键或主键前缀的场景。

多元索引

使用了倒排索引、BKD树、列存等结构，具备丰富的查询能力。

适用于除数据表主键和二级索引之外的其他所有查询和分析场景，例如非主键列的条件查询、任意列的自由组合查询、关系查询、全文检索、地理位置查询、模糊查询、嵌套结构查询、Null值查询、统计聚合等。

功能

说明

文档

任意列的查询（包括主键列和非主键列）

使用任意列进行数据查询，适用于大多数场景下的查询需求。

当使用主键列或主键列前缀查询无法满足需求时，您可以创建一个多元索引并在索引中添加要查询的字段，即可通过该列的值查询数据。

多元索引任意查询，例如基础查询等

多字段自由组合查询

灵活组合多个字段进行高效查询，适用于订单系统、日志分析、用户画像等需要多条件筛选的场景。

以订单场景为例，表中可能包含多达几十个字段。在关系型数据库中，为满足多种字段组合的查询需求，可能需要创建上百个索引。同时如果某种组合方式未提前预想到且未创建相应索引，则无法高效查询。

使用表格存储，只需创建一个多元索引并在索引中添加可能要查询的字段。查询时可自由组合这些字段。此外，多元索引还支持多种逻辑关系查询，例如And、Or、Not。

组合查询

地理位置查询

随着移动设备的普及，地理位置信息的价值越来越大，朋友圈、微博、外卖、运动、车联网等应用中均增加了地理位置功能，这些应用中的数据包含地理位置信息，因此需要相匹配的查询能力。

多元索引提供以下地理位置查询功能：

• Near：以一个点为原点，查询指定距离范围内的点，例如朋友圈中“附近的人”。

• Within：指定一个矩形框或多边形区域，查询该范围内的点。

基于上述功能，如果应用中需要地理位置相关查询，使用表格存储多元索引即可一站式解决，无需依赖其他数据库或搜索系统。

• 地理距离查询

• 地理长方形范围查询

• 地理多边形范围查询

全文检索

查找包含指定短语的数据，适用于大数据分析、内容搜索、知识管理、社交媒体分析、日志分析、智能问答系统、合规审查、个性化推荐等场景。

多元索引的分词能力可用于实现全文检索，但是多元索引只提供最基础的BM25相关性，不提供自定义相关性能力。因此，如果有复杂相关性的搜索需求，建议使用搜索系统实现，否则可以使用多元索引满足需求。

目前多元索引提供了单字分词、分隔符分词、最小数量语义分词、最大数量语义分词和模糊分词5种分词类型，请根据实际场景配置。此外，如需在返回结果中对关键词进行高亮显示，可使用摘要与高亮功能实现。

• 匹配查询

• 短语匹配查询

• 分词

• 摘要与高亮

向量检索

多元索引支持向量检索能力，您能够利用数值向量进行高效的近似最近邻查询，从而在大规模数据集中找到最相似的数据项。该功能适用于检索增强生成（RAG）、推荐系统、相似性检测（图像、视频和语音等）、自然语言处理等应用场景。

向量检索

模糊查询

多元索引提供了通配符查询、前缀查询和后缀查询功能，以满足用户不同场景的模糊查询需求。

• 通配符查询：类似于传统关系型数据库中的like语法，支持星号（*）和问号（?）两种通配符。

  对于查询模式为*word*的场景，您可以使用基于分词的通配符查询方式（即模糊分词和短语匹配查询组合使用）来实现性能更好的模糊查询。

• 前缀查询：按照前缀匹配所需内容，例如使用apple前缀查询数据会匹配到apple6s、applexr等内容。前缀查询除了支持中英文外，还支持其他语言。

• 后缀查询：按照后缀匹配所需内容，例如查询所有手机号码中以1234结束的手机号。

• 通配符查询

• 基于分词的通配符查询

• 前缀查询

• 后缀查询

列存在性查询（NULL查询）

查询某一列是否为空值，类似于NULL查询，适用于数据完整性检查、数据清洗等场景。

列存在性查询

嵌套查询

在线应用的数据中，除了常见的扁平化结构外，还存在一些更复杂的多层嵌套结构场景，例如图片标签。假设某个系统中存储了大量图片，每张图片包含多个实体（例如房子、轿车、人等），这些实体在图片中的位置和空间大小各不相同，因此每个实体的权重（score）也不同。这种情况下，每张图片均对应多个标签，每个标签由一个名称和一个权重分组成。

如果要根据标签中的条件筛选图片，可以使用嵌套类型查询功能。其中图片标签采用JSON格式存储，数据样例如下：

{
 "tags": [
   {
      "name": "car",
      "score": 0.78
   },
   {
      "name": "tree",
      "score": 0.24
   }
 ]
}

嵌套类型查询能够有效处理具有多层逻辑关系的数据存储与查询需求，为复杂数据建模提供了极大的灵活性和便利性。

对于包含嵌套类型的复杂数据结构（例如JSON）支持使用摘要与高亮功能来精准定位所需信息。

• 数组和嵌套类型

• 嵌套类型查询

去重

多元索引提供了查询结果的去重功能，能够有效提升结果的多样性。去重功能通过限制某个属性在单次查询结果中的最大出现次数，避免结果过度集中于某一特定值。例如，在电商搜索场景中，当搜索笔记本电脑时，可能会出现第一页全是同一品牌的商品，导致用户体验不佳，使用多元索引的去重功能可以避免此类情况。

折叠（去重）

排序

表格存储默认按照主键的字母序排序，如果需要按照其他字段进行排序，您可以使用多元索引的排序功能。

多元索引提供了丰富的排序能力，包括正序或逆序、单条件排序以及多条件排序等，所有排序均为全局排序。多元索引的默认返回结果按照表中主键的字母序排列。

• 排序和翻页

• 多元索引任意查询，例如基础查询等

数据总行数

使用多元索引查询数据时支持指定返回本次请求命中的数据行数。此功能可用于数据校验、运营等场景。

• 如果指定一个空查询条件，则所有已创建索引的数据均符合匹配条件，此时返回的数据总行数即为数据表中已创建索引的数据总行数。

• 如果数据写入已停止且数据均已创建索引，则返回的数据总行数即为数据表中的总行数。

• 全匹配查询

• 多元索引任意查询，例如基础查询等

统计聚合

多元索引提供常见的统计聚合功能，包括最大值（Max）、最小值（Min）、平均值（Avg）、求和（Sum）、统计行数（Count）、去重统计行数（DistinctCount）、分组（GroupBy）、百分位（Percentile）、直方图（Histogram）等功能，可以满足用户在轻量级分析场景对基本统计聚合的需求。

统计聚合

维度

按时间分表

原理

按照固定时间，例如“日”、“周”、“月”或者“年”分表，并为每个表建立一个多元索引，根据需要保留所需时间的数据表。

例如当数据需要保留6个月时，可以将每个月的数据保存在一张数据表中，例如table_1、table_2、table_3、table_4、table_5、table_6，并为每个数据表创建一个多元索引，每个数据表和多元索引中只会保存一个月的数据，只需要每个月删除6个月前的数据表即可。

当使用多元索引查询数据时，如果时间范围在某个表中，只需要查询对应表；如果时间范围在多个表中，需要对涉及的数据表均查询一次，再将查询结果合并。

原则

单表（单索引）大小不超过500亿行，当单表（单索引）大小不超过200亿行时，多元索引的查询性能最好。

优点

• 通过保留数据表的个数调节数据存储时长。

• 查询性能和数据量成正比，分表后每个表的数据大小有上限，查询性能更好，避免查询延迟太大或者超时。

分类

接口

描述

索引管理

CreateSearchIndex

创建一个多元索引。

UpdateSearchIndex

更新多元索引的配置，包括数据生命周期（TTL）和多元索引schema。

DescribeSearchIndex

获取多元索引的详细描述信息。

ListSearchIndex

列出多元索引的列表。

DeleteSearchIndex

删除某个多元索引。

数据查询

Search

全功能查询接口，支持多元索引的所有功能点，包括所有的查询功能以及排序、统计聚合等分析能力，其结果会按照指定的顺序返回。

• 查询功能：非主键列查询、列存在性查询、模糊查询、多条件组合查询、嵌套类型查询、地理位置查询、全文检索、向量检索

• 折叠（去重）

• 排序

• 统计聚合

• 数据总行数

ParallelScan

多并发数据导出接口，只包括所有的查询功能，舍弃了排序、统计聚合等分析能力，能将命中的数据以更快的速度全部返回。

相对于Search接口，ParallelScan可以提供更好的性能，单并发时性能（吞吐能力）是Search接口的5倍。

• 查询功能：非主键列查询、列存在性查询、模糊查询、多条件组合查询、嵌套类型查询、地理位置查询、全文检索

• 单请求支持多并发查询

多并发导出数据时，您还需要通过ComputeSplits接口获取当前ParallelScan单个请求的最大并发数。