列存索引新版

前提条件

需开通以下引擎，并满足版本要求：

快速示例

假设要对海量数据表 my_tbl 进行高效并行数据分析，您需要为该表创建列存索引。

示例表结构：

+------------+-------------+---------+----------------+
| TABLE_NAME | COLUMN_NAME |  TYPE   | IS_PRIMARY_KEY |
+------------+-------------+---------+----------------+
| my_tbl     | pk0         | INT     | true           |
| my_tbl     | pk1         | VARCHAR | true           |
| my_tbl     | pt_d        | VARCHAR | true           |
| my_tbl     | col0        | INT     | false          |
| my_tbl     | col1        | VARCHAR | false          |
+------------+-------------+---------+----------------+

• pk0：数据标识，具有较大基数，适合作为 bucket 分区键。

• pt_d：数据产生的日期，通常按天进行分析，适合作为枚举分区键。

语法

CREATE INDEX index_name USING COLUMNAR ON table_name(column_list)
PARTITION BY ENUMERABLE (partition_expression)
WITH (properties);

参数说明：

索引列

索引列必须包含宽表的全部主键字段。

支持的数据类型：TINYINT、SMALLINT、INTEGER、BIGINT、LONG、FLOAT、DOUBLE、VARCHAR、BINARY、VARBINARY、BOOLEAN、DECIMAL、JSON、DATE、TIMESTAMP。

其中 JSON 类型在列存侧存储为 VARCHAR。

分区配置

分区表达式用于指定索引数据按照枚举算法进行分区，提升查询时的检索效率。分区表达式包括枚举分区表达式和 bucket 分区表达式。

PARTITION BY ENUMERABLE (dt, bucket(200, uid))

属性配置

数据同步

仅增量同步示例：

CREATE INDEX my_tbl_idx USING COLUMNAR ON my_tbl(pk0, pk1, pt_d, col0, col1)
PARTITION BY ENUMERABLE (pt_d, bucket(128, pk0))
WITH (
  `lindorm_columnar.user.index.database` = 'my_db',
  `lindorm_columnar.user.index.table` = 'my_tbl',
  `lindorm_columnar.user.index.type` = 'LCE',
  `lindorm_columnar.user.syncer.skip.fullsync` = 'true'
);

JSON 字段展开

使用 json_extract 函数将 JSON 字段展开为独立列，便于在列存引擎中进行高效查询和分析。

{
  "a": {
    "b": {
      "c": "hello,world",
      "d": 123
    },
    "e": false
  },
  "f": 3.14
}

CREATE INDEX my_tbl_idx USING COLUMNAR ON my_tbl(
  pk0, pk1, pt_d,
  json_extract_string(json_col, '$.a.b.c'),
  json_extract_long(json_col, '$.a.b.d'),
  json_extract_boolean(json_col, '$.a.e'),
  json_extract_double(json_col, '$.f')
)
PARTITION BY ENUMERABLE (pt_d, bucket(16, pk0))
WITH (
  `lindorm_columnar.user.index.database` = 'my_db',
  `lindorm_columnar.user.index.table` = 'my_tbl',
  `lindorm_columnar.user.index.type` = 'LCE'
);

`lindorm_columnar.user.syncer.lci.json.syncOriginalJsonContent` = 'true'

CREATE INDEX my_tbl_idx USING COLUMNAR ON my_tbl(
  pk0, pk1, pt_d, json_col,
  json_extract_string(json_col, '$.a.b.c'),
  json_extract_long(json_col, '$.a.b.d')
)
PARTITION BY ENUMERABLE (pt_d, bucket(16, pk0))
WITH (
  `lindorm_columnar.user.index.database` = 'my_db',
  `lindorm_columnar.user.index.table` = 'my_tbl',
  `lindorm_columnar.user.index.type` = 'LCE',
  `lindorm_columnar.user.syncer.lci.json.syncOriginalJsonContent` = 'true'
);

语法

通过 HINT 指定走列存索引查询，而非查询宽表原始数据。

SELECT /*+ _use_ldps_(cg_name), _columnar_index_ */ ...
FROM index_database.index_table
WHERE ...;

其中 cg_name 为计算引擎 OLAP 资源组的名称。

示例

-- 聚合查询
SELECT /*+ _use_ldps_(cg_name), _columnar_index_ */ 
  pk1, COUNT(*), SUM(col0)
FROM my_db.my_tbl
WHERE pt_d = '2024-01-01'
GROUP BY pk1;

-- 明细查询
SELECT /*+ _use_ldps_(cg_name), _columnar_index_ */ *
FROM my_db.my_tbl
WHERE pt_d = '2024-01-01' AND pk0 = 12345
LIMIT 100;

查看索引

SHOW INDEX FROM table_name;

输出包含索引状态、同步进度等信息。

修改索引

添加列：

ALTER INDEX index_name ON table_name ADD COLUMNS (col1, col2);

删除索引

DROP INDEX index_name ON table_name;