IMCI全文索引使用说明

PolarDB IMCI 可以在创建表时指定列comment或通过DDL修改列comment来创建或修改或删除倒排索引。

一：创建全文索引

为需要进行文本检索的列创建全文索引，并根据业务需求选择分词器。

1. 创建测试表
   创建一个包含列存索引的表。

   CREATE TABLE t1 (
       id INT PRIMARY KEY,
       title VARCHAR(32) COMMENT "imci_fts(type=2)"
   )CHARSET utf8mb4 COMMENT 'columnar=1';

2. （可选）修改全文索引
   通过ALTER TABLE语句将title列添加全文索引，并指定使用 jieba 分词器的搜索引擎模式。

   ALTER TABLE t1 MODIFY title VARCHAR(32) COMMENT "imci_fts(type=2,mode=0)";

3. （可选）验证分词效果
   在选择分词器前，可使用 dbms_imci.fts_tokenize 函数预览不同分词器对文本的处理效果。

   -- 英文文本，默认 token 分词
   CALL dbms_imci.fts_tokenize("I am Chinese");
   -- 结果：["I", "am", "Chinese"]
   
   -- 英文文本，使用 jieba 分词
   CALL dbms_imci.fts_tokenize("I am Chinese", "type=2");
   -- 结果：["Chinese"] （仅识别中文词汇）
   
   -- 中文文本，ngram 分词（长度2）
   CALL dbms_imci.fts_tokenize("我是中国人", "type=1");
   -- 结果：["我是", "是中", "中国", "国人"]
   
   -- 中文文本，jieba 全模式
   CALL dbms_imci.fts_tokenize("我是中国人", "type=2,mode=1");
   -- 结果：["中国", "国人"] 

   CALL dbms_imci.fts_tokenize("I am PolarDB");
   -- 结果：["i", "am", "polardb"]  
   
   CALL dbms_imci.fts_tokenize("I am PolarDB", "type=1");
   -- 结果：["i ", " a", "am", "m ", " p", "po", "ol", "ar", "rd", "db"]
   
   CALL dbms_imci.fts_tokenize("I am PolarDB", "type=2");
   -- 结果：["PolarDB"]
   
   CALL dbms_imci.fts_tokenize("I am PolarDB", "type=2,mode=1");
   -- 结果： ["polardb"]

二：执行全文检索查询

索引创建后，IMCI 会在后台完成构建。构建完成后，即可通过 MATCH...AGAINST 或优化的 LIKE 语句执行文本查询。

1. 使用MATCH...AGAINST查询：

   -- 插入示例数据
   INSERT INTO t1 VALUES 
   (16, 'polarDB全文索引功能title'), 
   (17, '数据库title性能优化');
   -- 查询 title 列包含“索引”的记录
   SELECT * FROM t1 WHERE MATCH(title) AGAINST("title");

   通过EXPLAIN查看执行计划，可以看到 FtsTableScan 算子，表示查询已命中全文索引。

   mysql> explain SELECT * FROM t1 WHERE MATCH(title) AGAINST("title") AND id > 10;
   +----+------------------------+------+-----------------------------------------------------------------+
   | ID | Operator               | Name | Extra Info                                                      |
   +----+------------------------+------+-----------------------------------------------------------------+
   |  1 | Select Statement       |      | IMCI Execution Plan (max_dop = 32, max_query_mem = 41230008320) |
   |  2 | └─Compute Scalar       |      |                                                                 |
   |  3 |   └─FILTER             |      | Cond: (t1.id > 10)                                              |
   |  4 |     └─FtsTableScan     | t1   | Term: ("title") Fallback: (t1.title LIKE "%title%")             |
   +----+------------------------+------+-----------------------------------------------------------------+

   Fallback表示对于尚未被索引的增量数据，系统会自动使用LIKE补充扫描，保证结果完整性。

2. 加速LIKE查询：
   为兼容已有业务代码，IMCI 支持将特定的LIKE查询自动转换为 MATCH...AGAINST 以进行加速。

   mysql> SET imci_convert_like_to_match = on;
   mysql> explain SELECT * FROM t1 WHERE title  LIKE "%title%";
   +----+------------------------+------+-----------------------------------------------------------------+
   | ID | Operator               | Name | Extra Info                                                      |
   +----+------------------------+------+-----------------------------------------------------------------+
   |  1 | Select Statement       |      | IMCI Execution Plan (max_dop = 32, max_query_mem = 41230008320) |
   |  2 | └─Compute Scalar       |      |                                                                 |
   |  3 |   └─FILTER             |      | Cond: (t1.title LIKE "%title%")                                 |
   |  4 |     └─FtsTableScan     | t1   | Term: ("title") Fallback: (t1.title LIKE "%title%")             |
   +----+------------------------+------+-----------------------------------------------------------------+

   执行计划同样会显示 FtsTableScan 算子，证明 LIKE 查询已被成功加速。

3. match转为like：

   在缺少全文索引，为确保查询仍能正确执行，同时尽可能利用已有索引时，IMCI可能会将MATCH转换为LIKE，执行计划显示为全表扫描。

   mysql> SET imci_enable_query_fts_like = on;
   mysql> explain SELECT * FROM t1 WHERE MATCH(title) AGAINST("title");
   +----+----------------------+------+-----------------------------------------------------------------+
   | ID | Operator             | Name | Extra Info                                                      |
   +----+----------------------+------+-----------------------------------------------------------------+
   |  1 | Select Statement     |      | IMCI Execution Plan (max_dop = 32, max_query_mem = 41230008320) |
   |  2 | └─Compute Scalar     |      |                                                                 |
   |  3 |   └─Table Scan       | t1   | Cond: (title LIKE "%title%")                                    |
   +----+----------------------+------+-----------------------------------------------------------------+

三：管理与监控索引

查询索引的构建状态、元数据信息，并在不再需要时删除索引。

1. 监控索引构建进度和状态：

   -- 查看所有倒排索引
   SHOW imci indexes fulltext;
   SELECT * FROM information_schema.imci_fts_indexes;
   
   -- 查看指定倒排索引
   SHOW imci indexes fulltext FOR [db_name].[table_name];
   SELECT * FROM information_schema.imci_fts_indexes 
   WHERE schema_name='[db_name]' AND table_name='[table_name]';
   
   -- 查看指定倒排索引的元数据
   SELECT * FROM information_schema.imci_fts_index_metas 
   WHERE schema_name='[db_name]' AND table_name='[table_name]' AND column_name='[column_name]';
   
   -- 查看指定倒排索引的段数据
   SELECT * FROM information_schema.imci_fts_index_segs 
   WHERE schema_name='[db_name]' AND table_name='[table_name]' AND column_name='[column_name]';
   
   -- 查看指定倒排索引的列存数据
   SELECT * FROM information_schema.imci_fts_index_packs 
   WHERE schema_name='[db_name]' AND table_name='[table_name]' AND column_name='[column_name]';

2. 删除全文索引：
   如果不再需要某个列的全文索引，可以通过修改列的COMMENT将其删除。

   ALTER TABLE t1 MODIFY title VARCHAR(255) COMMENT 'imci_fts(enable=0)';

四：核心配置参数说明