宽表引擎数据

主键查询

主键查询根据主键列对数据进行过滤，支持全主键等值点查、前缀主键范围扫描等访问模式。宽表引擎对主键查询进行了原生优化，可实现毫秒级定位。

-- 建表
CREATE TABLE orders (
  user_id     VARCHAR NOT NULL,
  order_id    VARCHAR NOT NULL,
  amount      DOUBLE,
  status      VARCHAR,
  region      VARCHAR,
  create_time VARCHAR,
  PRIMARY KEY(user_id, order_id)
);

-- 全主键等值点查
SELECT * FROM orders WHERE user_id = 'u001' AND order_id = 'o10001';

-- 前缀主键范围扫描
SELECT * FROM orders WHERE user_id = 'u001' AND order_id >= 'o10001';

-- 部分主键扫描
SELECT * FROM orders WHERE user_id >= 'u001';

非主键查询

非主键查询根据非主键列进行过滤。默认情况下走全表扫描；根据过滤列的查询类型，可选择创建二级索引或搜索索引，OLAP 资源组自动利用索引加速查询，无需修改 SQL。

-- 建表
CREATE TABLE orders (
  user_id     VARCHAR NOT NULL,
  order_id    VARCHAR NOT NULL,
  amount      DOUBLE,
  status      VARCHAR,
  region      VARCHAR,
  create_time VARCHAR,
  PRIMARY KEY(user_id, order_id)
);

基于二级索引的非主键查询

二级索引适用于等值、范围、模糊匹配等结构化过滤场景。

-- 为 status 列创建二级索引，覆盖 amount、region，避免回表
CREATE INDEX idx_status ON orders(status) INCLUDE(amount, region);

-- 等值过滤（命中二级索引）
SELECT user_id, order_id, amount, region FROM orders WHERE status = 'SHIPPED';

-- 范围过滤（命中二级索引）
SELECT user_id, order_id, amount FROM orders WHERE status >= 'S' AND status < 'T';

-- 模糊匹配（命中二级索引）
SELECT user_id, order_id, amount, region FROM orders WHERE status LIKE 'SH%';

基于搜索索引的非主键查询

搜索索引适用于 string 类型字段的等值、精确匹配，以及 text 类型字段的分词全文检索（MATCH）。

-- 为 region 创建搜索索引（string 类型，支持等值和 LIKE）
CREATE INDEX idx_search USING SEARCH ON orders(region(type=string, indexed=true));

-- 等值过滤（命中搜索索引）
SELECT * FROM orders WHERE region = 'Beijing';

-- LIKE 过滤（命中搜索索引，string 类型支持）
SELECT * FROM orders WHERE region LIKE 'Bei%';

-- MATCH 全文检索（命中搜索索引）
SELECT * FROM orders WHERE region MATCH 'Beijing Shanghai';

全文检索

对宽表中的文本字段创建搜索索引后，可通过 MATCH 语法对普通字段和 JSON 字段进行全文检索。OLAP 资源组自动将检索条件下推至搜索索引，实现高效的倒排召回。

MATCH 表达式支持以下匹配规则：

-- 建表（含文本字段和 JSON 字段）
CREATE TABLE orders (
  user_id     VARCHAR NOT NULL,
  order_id    VARCHAR NOT NULL,
  amount      DOUBLE,
  status      VARCHAR,
  region      VARCHAR,
  create_time VARCHAR,
  user_json   VARCHAR,
  PRIMARY KEY(user_id, order_id)
);

-- 为 region 创建搜索索引（string 类型，支持精确匹配和 LIKE）
-- 为 user_json 内的 address 字段启用中文分词全文检索
CREATE INDEX search_idx USING SEARCH ON orders(
  region(type=string, indexed=true),
  user_json(type=text, analyzer=ik, indexed=true)
);

-- 包含 'Beijing' 或 'Shanghai'
SELECT * FROM orders WHERE region MATCH 'Beijing Shanghai';

-- 必须包含 'Beijing'，不能包含 'Shanghai'
SELECT * FROM orders WHERE region MATCH '+Beijing -Shanghai';

-- 包含完整短语 'Beijing Chaoyang'
SELECT * FROM orders WHERE region MATCH '"Beijing Chaoyang"';

-- 必须包含 'Beijing'，且包含 'Chaoyang' 或 'Haidian'
SELECT * FROM orders WHERE region MATCH '+Beijing +(Chaoyang Haidian)';

-- JSON 字段包含 'Beijing'（对列直接使用 MATCH，搜索索引覆盖整列内容）
SELECT * FROM orders WHERE user_json MATCH 'Beijing';

复杂分析

OLAP 资源组支持对宽表数据进行大规模聚合、多表关联、窗口计算等复杂分析。为宽表创建列存索引后，分析查询所需的列数据将从列式存储高效读取，大幅降低 I/O，OLAP 资源组自动完成索引路由，无需修改 SQL。

-- 建表（region 作为主键前缀，便于按地区分区）
CREATE TABLE orders (
  region      VARCHAR NOT NULL,
  user_id     VARCHAR NOT NULL,
  order_id    VARCHAR NOT NULL,
  amount      DOUBLE,
  status      VARCHAR,
  create_time VARCHAR,
  PRIMARY KEY(region, user_id, order_id)
);

-- 创建列存索引，按 region 普通分区 + user_id 哈希分桶（128桶）
-- 注意：PARTITION BY ENUMERABLE 中的字段须为主键字段
CREATE INDEX columnar_idx
USING COLUMNAR
ON orders(*)
PARTITION BY ENUMERABLE (
    region,
    bucket(128, user_id)
)
WITH (
    `lindorm_columnar.user.index.database` = 'mydb',
    `lindorm_columnar.user.index.table` = 'orders'
);

-- 大范围聚合分析（命中列存索引）
SELECT
    region,
    COUNT(*)       AS order_cnt,
    SUM(amount)    AS gmv,
    AVG(amount)    AS aov
FROM orders
WHERE region IN ('Shanghai', 'Beijing')
GROUP BY region
ORDER BY gmv DESC;

-- UNION 查询
(SELECT user_id, order_id, amount, status, region FROM orders WHERE region = 'Beijing')
UNION ALL
(SELECT user_id, order_id, amount, status, region FROM orders WHERE status LIKE 'SH%');

向量检索

如果宽表引擎数据已经构建了基础特性，可通过OLAP资源组发起对该表的向量检索——基于向量相似度完成数据召回。

查询格式：

SELECT /*+ _l_force_vector_index_(${PROPERTIES}) */ ${SELECT_LIST}[,_vector_score_(${EMBEDDING_COLUMN}, ${TARGET_VECTOR})]
FROM ${TABLE_NAME}
WHERE ${CONDITION}
ORDER BY ${DISTANCE_FUNCTION}(${EMBEDDING_COLUMN}, ${TARGET_VECTOR})
LIMIT ${K}

语法说明：

1. 变量含义：

   变量名	变量含义
   ${SELECT_LIST}	查询目标列。
   _vector_score_(${EMBEDDING_COLUMN}, ${TARGET_VECTOR})	返回相似分数，其中EMBEDDING_COLUMN,和TARGET_VECTOR两个参数需要和DISTANCE_FUNCTION的参数相同。
   ${TABLE_NAME}	目标表。
   ${CONDITION}	标量过滤条件。
   ${DISTANCE_FUNCTION}	相似距离函数，目前支持l2_distance, cosine_similarity, innerproduct_distance。
   ${EMBEDDING_COLUMN}	构建向量索引列。
   ${TARGET_VECTOR}	目标向量 （字符串表达的浮点数组）。
   ${PROPERTIES}	向量检索的支持的参数，比如k=10, lvector.min_score=0。

2. 距离函数：支持 l2_distance, cosine_similarity, innerproduct_distance 。

3. Hint：通过 /*+ _l_force_vector_index_(...) */ 查询向量索引和配置向量查询参数，支持的参数如下：

   参数	是否必填	说明
   k	是	返回最相似的K个数据，请注意参数k和LIMIT需要保持一致。
   lvector.min_score	否	相似度阈值，要求返回的向量得分大于该值。返回的向量得分范围为[0,1]。 取值范围：[0,+inf]。默认值为0。
   lvector.ef_search	否	HNSW算法中，索引查询时动态列表的长度。只能用于HNSW算法。 取值范围：[1,1000]。默认值为100。
   lvector.nprobe	否	要查询的聚类单元（cluster units）的数量。请根据您的召回率要求，对该参数的值进行调整已达到理想效果。值越大，召回率越高，搜索性能越低。 取值范围：[1,method.parameters.nlist]。无默认值。 重要 仅适用于ivfpq算法。
   lvector.reorder_factor	否	使用原始向量创建重排序（reorder）。ivfpq算法计算的距离为量化后的距离，会有一定的精度损失，需要使用原始向量进行重排序。比例为k * reorder_factor ，通常用于提升召回精度，但会增加性能开销。 取值范围：[1,200]。默认值为10。 重要 - 仅适用于ivfpq算法。 - k值较小时可以设置为5，如果k大于100，直接设置为1即可。
   lvector.client_refactor	否	是否不在每个分片（Shard）内进行重排序，而是在系统上层进行重排序，进而提升系统性能。取值如下： - true：是。 - false（默认值）：否。
   lvector.filter_type	否	融合查询使用的模式。取值如下： - pre_filter：先过滤结构化数据，再查询向量数据。 - post_filter：先查询向量数据，再过滤结构化数据。

宽表表结构示例：

-- 已建好如下宽表，已对 item_embedding 列创建向量索引
+----------------+---------------------+------+-------+---------+---------------+---------+
| Field          | Type                | Null | Key   | Default | Extra         | Comment |
+----------------+---------------------+------+-------+---------+---------------+---------+
| user_id        | VARCHAR(1073741824) | No   | true  | NULL    | partition key |         |
| order_id       | VARCHAR(1073741824) | No   | true  | NULL    | partition key |         |
| amount         | DOUBLE              | Yes  | false | NULL    |               |         |
| status         | VARCHAR(1073741824) | Yes  | false | NULL    |               |         |
| region         | VARCHAR(1073741824) | Yes  | false | NULL    |               |         |
| create_time    | VARCHAR(1073741824) | Yes  | false | NULL    |               |         |
| item_embedding | VARCHAR(1073741824) | Yes  | false | NULL    |               |         |
+----------------+---------------------+------+-------+---------+---------------+---------+

数据查询：

-- 根据输入特征向量，检索最相似的前 10 个商品订单
SELECT /*+ _l_force_vector_index_(k=10, lvector.min_score=0) */
    user_id,
    order_id
FROM orders
WHERE region='Beijing'
ORDER BY l2_distance(item_embedding, '[0.077, 0.941, 0.917, 0.347, 0.331, 0.309, 0.127, 0.990]')
LIMIT 10;

-- 根据输入特征向量，检索最相似的前 10 个商品订单，并返回相似分数
SELECT /*+ _l_force_vector_index_(k=10, lvector.min_score=0) */
    user_id,
    order_id,
    _vector_score_(item_embedding, '[0.077, 0.941, 0.917, 0.347, 0.331, 0.309, 0.127, 0.990]')
FROM orders
WHERE region='Beijing'
ORDER BY l2_distance(item_embedding, '[0.077, 0.941, 0.917, 0.347, 0.331, 0.309, 0.127, 0.990]')
LIMIT 10;