使用MySQL协议进行向量检索

适用范围

使用本功能前，请确认您的集群版本需满足：内核版本为MySQL 8.0.2，且修订版本需为8.0.2.2.30及以上版本。

版本更新记录

不同内核版本支持的功能存在差异。建议升级至最新版本。

向量类型

-- 以下示例表示在表t1中定义列v1的向量维度为4
CREATE TABLE t1 (id INT PRIMARY KEY, v1 VECTOR(4));

SELECT STRING_TO_VECTOR('[1,2,3,4]');
+-------------------------------+
| STRING_TO_VECTOR('[1,2,3,4]') |
+-------------------------------+
|   �?   @  @@  �@              |
+-------------------------------+

SELECT HEX(STRING_TO_VECTOR('[1,2,3,4]'));
+------------------------------------+
| HEX(STRING_TO_VECTOR('[1,2,3,4]')) |
+------------------------------------+
| 0000803F000000400000404000008040   |
+------------------------------------+

SELECT VECTOR_TO_STRING(0x0000803F000000400000404000008040);
+------------------------------------------------------+
| VECTOR_TO_STRING(0x0000803F000000400000404000008040) |
+------------------------------------------------------+
| [1.00000e+00,2.00000e+00,3.00000e+00,4.00000e+00]    |
+------------------------------------------------------+

相关操作示例

CREATE TABLE t1 (id INT PRIMARY KEY, v1 VECTOR(4));

ALTER TABLE t1 ADD COLUMN v1 VECTOR(4);

INSERT INTO t1 VALUES (1, STRING_TO_VECTOR('[1.0, 2.0, 3.0, 4.0]')) ON DUPLICATE KEY UPDATE v1 = STRING_TO_VECTOR('[1.0, 2.0, 3.0, 4.0]');

UPDATE t1 SET v1 = STRING_TO_VECTOR('[1.0, 2.0, 3.0, 4.0]') WHERE id = 1;

DELETE FROM t1 WHERE v1 = STRING_TO_VECTOR('[1.0, 2.0, 3.0, 4.0]');

使用向量索引

PolarDB通过在列的COMMENT中定义特殊格式的字符串来创建向量索引。

前置条件

在使用向量索引之前，需先添添加列存索引只读节点，并为该列或整个表创建列存索引。即只有列存索引只读节点才能构建向量索引，以支持向量检索。

COMMENT 'imci_vector_index=向量索引算法(索引参数列表) [其他备注]'

-- 方案一：为整个表开启列存，然后在v1列上定义向量索引
CREATE TABLE t1 (
    id INT PRIMARY KEY,
    v1 VECTOR(4) COMMENT 'imci_vector_index=HNSW(metric=COSINE, max_degree=16)'
) COMMENT 'COLUMNAR=1';

-- 方案二：仅为v1列开启列存和向量索引
CREATE TABLE t1 (
    id INT PRIMARY KEY,
    description TEXT,
    v1 VECTOR(4) COMMENT 'COLUMNAR=1, imci_vector_index=HNSW(metric=COSINE)'
);

-- 假设现有表为t1
CREATE TABLE t1 (
    id int auto_increment PRIMARY KEY,
    v1 vector(4)
);

-- 方案一：添加表级列存索引同时修改VECTOR列备注信息指定向量索引算法及参数
ALTER TABLE t1 comment "COLUMNAR=1", MODIFY COLUMN v1 vector(4) COMMENT "imci_vector_index=HNSW(metric=COSINE,max_degree=16,ef_construction=300)";


-- 方案二：仅为v1列创建列存索引，列存索引初始化时会自动根据v1列上的备注信息创建向量索引
ALTER TABLE t1 MODIFY COLUMN v1 vector(4) COMMENT "COLUMNAR=1 imci_vector_index=HNSW(metric=COSINE,max_degree=16,ef_construction=300)";

向量查询

SELECT VECTOR_TO_STRING(v1) FROM t1;

DISTANCE(vector1, vector2, '<metric>')

SELECT DISTANCE(v1, STRING_TO_VECTOR('[1.2,2.3,3.4,4.5]'), 'COSINE') FROM t1;

-- 查找与目标最相似的10条记录SELECT id, VECTOR_TO_STRING(v1)FROM t1
ORDER BY DISTANCE(v1, STRING_TO_VECTOR('[...]'), 'COSINE')LIMIT 10;

SELECT id, VECTOR_TO_STRING(v1) FROM t1 ORDER BY DISTANCE(v1, STRING_TO_VECTOR('[1.2,2.3,3.4,4.5]'), 'COSINE') LIMIT 1;

包含谓词的向量查询

您可以使用额外的列作为谓词，来过滤向量查询结果。例如：

SELECT * FROM t1 WHERE id < 10 ORDER BY DISTANCE(v1, STRING_TO_VECTOR('[1.2, 2.3, 3.4, 4.5]'), 'COSINE') LIMIT 2;

在使用包含谓词的SQL语句进行向量查询时，可以通过调整相关参数的值来控制向量索引召回和谓词过滤的先后顺序。

执行方式

向量检索通常伴随其他属性的过滤。优化器会根据过滤条件的选择性，智能选择执行策略：

• 前置过滤（prefilter）：当过滤条件能大幅减少数据量时（如匹配行数小于imci_vector_search_prefilter_rows，默认10000），系统将首先对全表进行谓词过滤，以获取匹配的记录，然后对这些记录进行排序，最终按顺序返回由LIMIT指定的数量的记录。

• 后置过滤 （postfilter）：当过滤条件选择性较差时（如匹配率高于imci_vector_search_filter_pct，默认20%），系统将首先应用向量索引进行结果召回，然后对召回的结果进行谓词过滤。如果过滤后的结果数量少于LIMIT指定的数量，则需重复上述过程。

• 内联过滤（inline filter）：如果优化器未选择前置过滤或后置过滤的执行方式，那么将选择使用内联过滤的方式执行。系统将首先通过谓词对全表进行过滤，利用匹配记录的RowID构建bitmap过滤器。随后，将采用向量索引进行召回。在向量索引的检索过程中，通过bitmap过滤器进行筛选，以确保返回的最相似记录满足谓词条件。

自适应执行优化

由于优化器对谓词过滤所匹配行数的预估可能存在偏差，导致执行方式的选择可能并非最优。因此，采用自适应执行机制，在执行过程中根据实际匹配行数动态切换执行方式。

在使用内联过滤（inline filter）方式执行包含谓词的向量查询时，如果在进行谓词过滤全表后，实际匹配的记录数量低于imci_vector_search_prefilter_rows，则会动态切换为前置过滤方式进行执行。

分区优化

向量查询通常包含租户ID或标签等谓词条件。针对这类查询，可以采用LIST DEFAULT HASH的分区方式，为数据量较大的租户或标签构建独立的LIST分区，而为其他租户或标签构建DEFAULT HASH分区。优化器能够识别这类查询，并依据分区裁剪的结果，为较大租户或标签的向量查询选择后置过滤的执行方式，而为其他租户的向量查询则使用前置过滤或内联过滤的执行方式，尽可能为不同规模的租户或标签选择最优的执行方式。

参数说明

监控向量索引状态

向量索引数据构建任务与列存索引数据快照推进属于不同的后台任务。在持续写入的情况下，向量索引快照位点可能会滞后于列存数据快照。在执行向量检索之前，您需要确认向量索引的可用性。向量索引通过系统视图展示了向量索引的状态，包括向量索引快照位点以及向量列上向量索引的状态。

操作示例

1. 为确保以下在少量数据的情况下能够正常构建向量索引，需要在PolarDB控制台上将参数imci_vector_index_dump_rows_threshold设置为1。

2. 创建测试表并插入数据：

   CREATE TABLE t1 (
       id int auto_increment PRIMARY KEY,
       v1 vector(4) COMMENT "imci_vector_index=HNSW(metric=COSINE,max_degree=16,ef_construction=300)"
   ) comment "COLUMNAR=1";
   
   INSERT INTO t1 VALUES(1, STRING_TO_VECTOR('[1.1,1.2,1.3,1.4]')), (2, STRING_TO_VECTOR('[2,2.2,2.4,2.6]'));

3. 检查索引快照状态以及向量索引状态：

   SELECT schema_name,table_name,row_id FROM information_schema.imci_indexes;
   +-------------+------------+--------+
   | schema_name | table_name | row_id |
   +-------------+------------+--------+
   | test        | t1         |      2 |
   +-------------+------------+--------+
   1 row in set (0.00 sec)
   
   SELECT schema_name,table_name,vector_rows FROM information_schema.imci_index_stats;
   +-------------+------------+-------------+
   | schema_name | table_name | vector_rows |
   +-------------+------------+-------------+
   | test        | t1         |           2 |
   +-------------+------------+-------------+
   1 row in set (0.00 sec)
   
   SELECT schema_name,table_name,column_name,vectors FROM information_schema.imci_vector_index_stats;
   +-------------+------------+-------------+---------+
   | schema_name | table_name | column_name | vectors |
   +-------------+------------+-------------+---------+
   | test        | t1         | v1          |       2 |
   +-------------+------------+-------------+---------+
   1 row in set (0.00 sec)

4. 再执行如下写入数据：

   INSERT INTO t1 VALUES(3, STRING_TO_VECTOR("[8.8,8.88,8.888,8.8888]"));

   可以观察到INFORMATION_SCHEMA.IMCI_VECTOR_INDEX_STATS的相关查询返回结果中VECTORS字段的值为3（增加了1），表示上述INSERT的数据已被后台任务写入向量索引中：

   SELECT schema_name,table_name,column_name,vectors FROM information_schema.imci_vector_index_stats;
   +-------------+------------+-------------+---------+
   | schema_name | table_name | column_name | vectors |
   +-------------+------------+-------------+---------+
   | test        | t1         | v1          |       3 |
   +-------------+------------+-------------+---------+
   1 row in set (0.00 sec)

5. 接着重启列存索引只读节点后检查索引状态：

   重要

   重启列存索引只读节点会导致当前节点在短暂时间内不可用。

   SELECT schema_name,table_name,row_id,state FROM information_schema.imci_indexes;
   +-------------+------------+--------+-----------+
   | schema_name | table_name | row_id | state     |
   +-------------+------------+--------+-----------+
   | test        | t1         |      3 | COMMITTED |
   +-------------+------------+--------+-----------+
   1 row in set (0.00 sec)
   
   SELECT schema_name,table_name,vector_rows FROM information_schema.imci_index_stats;
   +-------------+------------+-------------+
   | schema_name | table_name | vector_rows |
   +-------------+------------+-------------+
   | test        | t1         |           3 |
   +-------------+------------+-------------+
   1 row in set (0.00 sec)
   
   SELECT schema_name,table_name,column_name,vectors FROM information_schema.imci_vector_index_stats;
   +-------------+------------+-------------+---------+
   | schema_name | table_name | column_name | vectors |
   +-------------+------------+-------------+---------+
   | test        | t1         | v1          |       0 |
   +-------------+------------+-------------+---------+
   1 row in set (0.00 sec)

   可以看到，IMCI_VECTOR_INDEX_STATS系统视图中VECTORS为0，同时向量索引快照位点为3。通过执行计划来确认向量索引的可用性，并在执行近似查询后再次检查向量索引状态：

   SET cost_threshold_for_imci = 0;
   
   
   EXPLAIN SELECT * FROM t1 ORDER BY DISTANCE(v1, STRING_TO_VECTOR("[1.2, 2.3, 3.4, 4.5]"), "COSINE") LIMIT 1;
   +----+-----------------------+------+--------+--------+---------------------------------------------------------------------------------------+
   | ID | Operator              | Name | E-Rows | E-Cost | Extra Info                                                                            |
   +----+-----------------------+------+--------+--------+---------------------------------------------------------------------------------------+
   |  1 | Select Statement      |      |        |        | IMCI Execution Plan (max_dop = 4, max_query_mem = 858993459)                          |
   |  2 | +-Compute Scalar      |      |        |        |                                                                                       |
   |  3 |   +-Limit             |      |        |        | Offset=0 Limit=1                                                                      |
   |  4 |     +-Sort            |      |        |        | Sort Key: VECTOR_DISTANCE(t1.v1,"[1.200000,2.300000,3.400000,4.500000]","COSINE") ASC |
   |  5 |       +-Vector Search | t1   |        |        |                                                                                       |
   +----+-----------------------+------+--------+--------+---------------------------------------------------------------------------------------+
   5 rows in set (0.00 sec)
   
   SELECT id, vector_to_string(v1) FROM t1 ORDER BY DISTANCE(v1, STRING_TO_VECTOR("[1.2, 2.3, 3.4, 4.5]"), "COSINE") LIMIT 1;
   +----+---------------------------------------------------+
   | id | vector_to_string(v1)                              |
   +----+---------------------------------------------------+
   |  2 | [2.00000e+00,2.20000e+00,2.40000e+00,2.60000e+00] |
   +----+---------------------------------------------------+
   1 row in set (0.00 sec)
   
   SELECT schema_name,table_name,column_name,vectors FROM information_schema.imci_vector_index_stats;
   +-------------+------------+-------------+---------+
   | schema_name | table_name | column_name | vectors |
   +-------------+------------+-------------+---------+
   | test        | t1         | v1          |       3 |
   +-------------+------------+-------------+---------+
   1 row in set (0.00 sec)

   可以观察到执行近似查询后向量索引被加载到内存，向量个数也恢复为3。

常见问题