VECTOR INDEX

创建VECTOR INDEX

为向量列创建索引，加速检索查询。创建命令如下：

CREATE VECTOR INDEX <index_name> 
ON <table_name> (<description_embedding>)
IDXPROPERTIES (
  'algorithm' = 'xxx', 
  'distance_type' = 'xxx', 
  'build_params' = 'xxx'
  ...
);

参数说明：

VECTOR INDEX 开启量化配置

VECTOR INDEX 支持在索引内部对向量进行量化，以减少索引存储和运行时内存，并降低检索过程中的内存访问开销。量化只改变索引内部的向量编码，不改变表中原始的VECTOR(FLOAT, dimension)数据，也不改变VECTOR_SEARCH的调用方式。MaxCompute VECTOR INDEX 支持以下两种检索方式：

• 单阶段检索：直接使用base_quantization_type完成图遍历和距离计算。索引结构简单，内存占用较低。

• 两阶段检索：先使用低精度base向量快速召回候选，再使用precise向量重新计算距离，在检索性能和召回率之间取得平衡。

常用量化参数组合如下：

量化主要带来以下收益：

• 减少索引文件大小和运行时内存占用。

• 降低索引加载和检索过程中的内存带宽开销。

• 提升CPU Cache利用率，使单个Worker能够加载和处理更多向量。

• 通过base量化和高精度reorder组合，在检索性能、资源成本和召回率之间灵活取舍。

推荐使用FP16创建HGraph索引，更多量化配置示例请参考示例：创建Vector Index，使用FP16量化、示例：创建Vector Index，使用RaBitQ低精度图遍历和高精度重排。

聚合VECTOR INDEX

INSERT OVERWRITE TABLE <table_name> [PARTITION <partition_spec>]
SELECT ......

数据准备

SET odps.sql.type.system.odps2=true;
SET odps.sql.type.vector.enable=true;

DROP TABLE IF EXISTS vector_test;
DROP VIEW IF EXISTS vector_test;

CREATE TABLE IF NOT EXISTS vector_test(
  c0 int,
  c1 vector(float, 2),
  c2 vector(float, 3)
) STORED AS aliorc 
TBLPROPERTIES (
  'table.format.version'='2', 
  'acid.data.retain.hours'='24',
  'columnar.nested.type'='true', 
  'transactional'='true'
);


INSERT OVERWRITE vector_test SELECT 1, vector(1.1F,2.2F), vector(1.1F,2.2F,3.3F) UNION ALL 
SELECT 2, vector(2.2F,3.3F), vector(2.2F,3.3F,4.4F) 
UNION ALL 
SELECT 3, vector(3.3F,4.4F), vector(3.3F,4.4F,5.5F);

示例：创建VECTOR INDEX，并插入数据

CREATE VECTOR INDEX c2_vector_index 
ON vector_test (c2) 
IDXPROPERTIES (
  'algorithm' = 'hgraph', 
  'distance_type' = 'cosine', 
  'build_params' = '{"max_degree": 16, "ef_construction": 128}');


ALTER TABLE vector_test REBUILD INDEX c2_vector_index; 


INSERT OVERWRITE vector_test SELECT 1, vector(1.1F,2.2F), vector(1.1F,2.2F,3.3F) 
UNION ALL  
SELECT 2, vector(2.2F,3.3F), vector(2.2F,3.3F,4.4F) 
UNION ALL 
SELECT 3, vector(3.3F,4.4F), vector(3.3F,4.4F,5.5F) 
UNION ALL 
SELECT 4, vector(4.4F,5.5F), vector(4.4F,5.5F,6.6F) 
UNION ALL 
SELECT 5, vector(5.5F,6.6F), vector(5.5F,6.6F,7.7F); 

示例：VECTOR INDEX重建

ALTER TABLE vector_test REBUILD INDEX c2_vector_index; 

SELECT * FROM vector_test; 
-- 返回结果
+------+------+------+
| c0   | c1   | c2   |
+------+------+------+
| 1    | [1.1, 2.2] | [1.1, 2.2, 3.3] |
| 2    | [2.2, 3.3] | [2.2, 3.3, 4.4] |
| 3    | [3.3, 4.4] | [3.3, 4.4, 5.5] |
| 4    | [4.4, 5.5] | [4.4, 5.5, 6.6] |
| 5    | [5.5, 6.6] | [5.5, 6.6, 7.7] |
+------+------+------+

示例：列出表的VECTOR INDEX

SHOW INDEXES ON vector_test;
-- 返回结果
{"Indexes": [{
            "createTime": 1779900024105,
            "id": "512d520**45e1c7ba8",
            "indexColumns": [{"name": "c2"}],
            "name": "c2_vector_index",
            "properties": {
                "algorithm": "hgraph",
                "build_params": "{\"max_degree\": 16, \"ef_construction\": 128}",
                "distance_type": "cosine"},
            "type": "VECTOR"}]}

示例：查看VECTOR INDEX的信息

DESC INDEX c2_vector_index ON vector_test;

-- 返回结果
+------------------------------------------------------------------------------------+
| Index Detail                                                                       |
+------------------------------------------------------------------------------------+
| name:                     c2_vector_index                                          |
| id:                       512d520**e1c7ba8                         |
| index_type:               VECTOR                                                   |
| index_columns:            c2                                                       |
| status:                   ACTIVE                                                   |
| coverage_percentage:      100%                                                     |
| storage_size_bytes:       6940                                                     |
| properties:               build_params={"max_degree": 16, "ef_construction": 128}, distance_type=cosine, algorithm=hgraph |
+------------------------------------------------------------------------------------+

示例：删除VECTOR INDEX

DROP INDEX c2_vector_index ON vector_test;

-- 返回结果
{"Indexes": []}

示例：创建Vector Index，使用FP16量化

CREATE VECTOR INDEX doc_vector_index
ON doc_table (embedding)
IDXPROPERTIES (
  'algorithm' = 'hgraph',
  'distance_type' = 'dot_product',
  'build_params' = '{
    "max_degree":48,
    "ef_construction":400,
    "base_quantization_type":"fp16"
  }'
);

-- 创建索引后，需要对存量数据执行索引重建
ALTER TABLE doc_table PARTITION (pt='20260730') REBUILD INDEX doc_vector_index;

示例：创建Vector Index，使用RaBitQ低精度图遍历和高精度重排

CREATE VECTOR INDEX doc_vector_index
ON doc_table (embedding)
IDXPROPERTIES (
  'algorithm' = 'hgraph',
  'distance_type' = 'dot_product',
  'build_params' ='{
    "max_degree":48,
    "ef_construction":400,
    "base_quantization_type":"rabitq",
    "use_reorder":true,
    "precise_quantization_type":"fp32"
  }'
);