列存索引

复杂分区表达式

假设示例表my_ts_tbl的表结构如下：

+------------+-------------+---------+----------------+
| TABLE_NAME | COLUMN_NAME |  TYPE   | IS_PRIMARY_KEY |
+------------+-------------+---------+----------------+
| my_ts_tbl  | id          | INT     | true           |
| my_ts_tbl  | ts          | LONG    | true           |
| my_ts_tbl  | col0        | VARCHAR | false          |
| my_ts_tbl  | col1        | INT     | false          |
+------------+-------------+---------+----------------+

在创建列存索引时，若宽表数据的主键字段不能直接作为列存索引的普通分区表达式，可以在普通分区表达式中包含计算逻辑，示例如下。

• 对宽表所有字段创建列存索引，将列存索引数据按时间戳字段ts按天分区：

  CREATE INDEX my_ts_idx USING COLUMNAR ON my_ts_tbl(*)
  PARTITION BY ENUMERABLE (ifnull(substring(from_unixtime(ts), 0, 10), 'unknown') AS dt, bucket(128, id))
  WITH (`lindorm_columnar.user.index.database` = 'my_ts_index_db',
        `lindorm_columnar.user.index.table` = 'my_ts_index_tbl');

• 列存索引创建完成后，您可以在查询语句中指定过滤条件并查询列存索引中的数据。

  SELECT /*+ _use_ldps_ */ COUNT(1)
  FROM lindorm_columnar.my_ts_index_db.my_ts_index_tbl
  WHERE dt = '2020-06-06';

仅为增量数据构建列存索引

如果您需要跳过宽表中的存量数据，只为增量数据构建列存索引，可以指定参数lindorm_columnar.user.syncer.skip.fullsync = 'true'，示例如下：

CREATE INDEX my_tbl_idx USING COLUMNAR ON my_tbl(*)
PARTITION BY ENUMERABLE (pk1, pk2, bucket(128, pk0))
WITH (`lindorm_columnar.user.index.database` = 'my_index_db',
      `lindorm_columnar.user.index.table` = 'my_index_tbl',
      `lindorm_columnar.user.syncer.skip.fullsync` = 'true');

JSON字段展开存储

列存索引支持在数据同步时，将JSON类型的字段展开存储，支持静态展开存储与动态展开存储两种方式。

假设示例表my_json_tbl的表结构如下：

+-------------+-------------+--------+----------------+
| TABLE_NAME  | COLUMN_NAME |  TYPE  | IS_PRIMARY_KEY |
+-------------+-------------+--------+----------------+
| my_json_tbl | id          | BIGINT | true           |
| my_json_tbl | col1        | INT    | false          |
| my_json_tbl | json_col    | JSON   | false          |
+-------------+-------------+--------+----------------+

执行以下语句插入JSON数据：

UPSERT INTO my_json_tbl (id,col1,json_col) VALUES(2,2,'{"a": {"b": {"c": "hello,world", "d": 123}, "e": false }, "f": 3.14}');

json_col的结构如下：

{
  "a": {
    "b": {
      "c": "hello,world",
      "d": 123
    },
    "e": false
  },
  "f": 3.14
}

CREATE INDEX columnar_idx USING COLUMNAR ON my_json_tbl(*) 
PARTITION BY ENUMERABLE (ifnull(id%16, 0) as dt, bucket(16,id)) 
WITH (
  `lindorm_columnar.user.syncer.lci.jsonMapping.json_col` = 'a.b.c VARCHAR, a.e BOOLEAN ,f DOUBLE',
  `lindorm_columnar.user.index.database` = 'my_index_db',
  `lindorm_columnar.user.index.table` = 'my_index_tbl');

CREATE INDEX columnar_idx USING COLUMNAR ON my_json_tbl(*) 
PARTITION BY ENUMERABLE (ifnull(id%16, 0) as dt, bucket(16,id)) 
WITH (
  `lindorm_columnar.user.syncer.lci.dynamicJsonColumns` = 'json_col',
  `lindorm_columnar.user.index.database` = 'my_index_db',
  `lindorm_columnar.user.index.table` = 'my_index_tbl');

当您为JSON字段配置为静态展开存储或者动态展开存储后，原始JSON字段将不会存储到列存表中。同时，列存表存储的JSON展开名会以其对应JSON字段名为前缀。

例如当您通过`lindorm_columnar.user.syncer.lci.jsonMapping.json_col` = 'a.b.c VARCHAR, a.e BOOLEAN'，为列存索引指定JSON静态展开存储后。此时列存表中将不会有名为json_col的列，而会有以下列：

• 名为json_col.a.b.c的列：类型为STRING，存储json_col字段中a.b.c的值。

• 名为json_col.a.e的列：类型为BOOLEAN，存储json_col字段中a.e的值。

如果您仍希望同步原始JSON字段，或不期望列存表存储的JSON展开字段名以对应JSON字段名为前缀，可以通过以下方式实现：

表结构变更动态感知（公测中）

列存索引可以在数据同步时，动态感知数据表的表结构变更，并影响列存表的表结构。在创建列存索引时，您可以指定`lindorm_columnar.user.syncer.lci.dynamicSchema` = 'true'，来定义列存表结构与主表结构保持一致。示例如下：

CREATE INDEX my_tbl_idx USING COLUMNAR
ON my_tbl(*) 
PARTITION BY ENUMERABLE (pt_d, bucket(128, pk0))
WITH (
  `lindorm_columnar.user.index.database` = 'my_index_db',
  `lindorm_columnar.user.index.table` = 'my_index_tbl',
  `lindorm_columnar.user.syncer.lci.dynamicSchema` = 'true');

为列存表添加列（公测中）

创建列存索引后，您可以通过ALTER INDEX语法为列存索引添加字段而无需重建索引，支持为列存索引添加普通字段或者JSON字段静态展开的Mapping列。

假设表my_json_tbl的结构如下：

+-------------+-------------+---------+----------------+
|  TABLE_NAME | COLUMN_NAME |  TYPE   | IS_PRIMARY_KEY |
+-------------+-------------+---------+----------------+
| my_json_tbl | id          | BIGINT  | true           |
| my_json_tbl | col1        | INT     | false          |
| my_json_tbl | col2        | VARCHAR | false          |
| my_json_tbl | json_col1   | JSON    | false          |
| my_json_tbl | json_col2   | JSON    | false          |
+--------------+-------------+---------+----------------+

您可以通过以下SQL语句创建列存索引：

CREATE INDEX columnar_idx USING COLUMNAR ON my_json_tbl(id, col1, json_col1) 
PARTITION BY ENUMERABLE (ifnull(id%16, 0) as dt, bucket(16,id)) 
WITH (
  `lindorm_columnar.user.syncer.lci.jsonMapping.json_col1` = 'a.b.c VARCHAR, a.e BOOLEAN',
  `lindorm_columnar.user.index.database` = 'my_index_db',
  `lindorm_columnar.user.index.table` = 'my_index_tbl');

此时，在列存表中未包含 col2、json_col2相关的列。您可以通过以下语句为列存索引添加普通字段：

ALTER INDEX IF EXISTS columnar_idx ON my_json_tbl ADD COLUMNS(col2);

您也可以通过以下语句为列存索引添加JSON字段的静态映射规则：

ALTER INDEX IF EXISTS columnar_idx ON my_json_tbl
ADD COLUMNS (
  json_extract_long(json_col2, '$.key1'),
  json_extract_boolean(json_col2, '$.key2'),
  json_extract_double(json_col2, '$.key3.key4')
);