创建列存表

建表语法

create_table_statement :: =  CREATE TABLE [IF NOT EXISTS] table_name 
                            '('
                                  column_definition,
                                  (',' column_definition )* 
                                  [',' PRIMARY KEY '(' pk_list ')']  
                             ')'
                             PARTITION BY LIST '(' part_list ')'
                             [ WITH '(' table_options ')' ]

column_definition ::= column_name data_type [NOT NULL]
pk_list           ::= column_name [, column_name ...]
part_expr         ::= `bucket`(bucket_num, column_name)
                    | `identity`(column_name)
                    | `year`(column_name)
                    | `month`(column_name)
                    | `day`(column_name)
                    | `hour`(column_name)
table_options     ::= attr_def [, attr_def ...]
attr_def          ::= `attr_name` = 'attr_value'

语法要点

• PRIMARY KEY (...)：可选。不指定时，表示创建非主键表。

• PARTITION BY LIST (...)：必选。用于指定 Base 层的分区规则。

• WITH (...)：可选。用于设置表属性，例如关闭 Delta 层或调整文件配置。

• 格式要求：表属性名使用反引号 ` ` 包裹，属性值使用单引号 ' ' 包裹。

字段类型

支持的数据类型，请参考数据类型。

分区函数

支持以下分区函数：

分区字段选择建议

• 优先选择高基数列：例如用户ID、设备ID等，作为分区字段，这有利于数据打散和负载均衡。

• 主键表约束：如果创建的是主键表，分区键必须来自主键列。

• 时间维度查询：如果查询常按时间范围过滤，可优先考虑使用 year、month、day、hour 等时间分区函数。

• 分区函数需要用反引号 ` ` 包裹。

Delta 层相关属性

Delta 层用于承接实时写入与查询。如果业务对数据新鲜度要求高，请保留 Delta 层；如果主要是离线分析，可关闭 Delta 层以提高写入效率。

配置建议：

• 实时场景：要求“写入后尽快可查”，建议保留默认配置。

• 离线场景：对数据新鲜度无要求，建议建表时显式关闭 Delta 层，以减少开销、提升写入效率：

  WITH (
    `column.engine.delta_store.memstore.skip_write.enabled` = 'true',
    `column.engine.delta_store.query.enabled` = 'false'
  )

数据文件与快照相关属性

用于控制底层数据文件的格式、压缩方式和快照保留策略。

配置建议：

对于复杂的 ETL 任务，或对底层 Snapshot 文件有较强依赖的场景（例如数据管道中某个步骤依赖上一个快照），建议将 column.engine.lce.history.expire.max-snapshot-age-ms 配置得更长一些，例如设置为 6 小时：

WITH (
  `column.engine.lce.history.expire.max-snapshot-age-ms` = '21600000'
)

查看表结构

使用 DESCRIBE 或 DESC 命令查看表的字段定义：

DESCRIBE TABLE tableName;
-- 或简写为
DESC tableName;

查看表属性

使用 SHOW TABLE VARIABLES 命令查看表的属性：

-- 查看所有属性
SHOW TABLE VARIABLES FROM tableName;

-- 按条件过滤，例如查看分区规则
SHOW TABLE VARIABLES FROM tableName LIKE 'PARTITION_KEY';

-- 查看以 'column.engine' 开头的所有已设置属性
SHOW TABLE VARIABLES FROM tableName LIKE 'column.engine%';

示例一：创建销售订单主键表

电商或零售场景中，销售订单表通常需要按订单 ID 精确查询，适合建立主键表。

CREATE TABLE IF NOT EXISTS order_detail (
  order_id    VARCHAR NOT NULL,
  user_id     VARCHAR NOT NULL,
  created_at  TIMESTAMP NOT NULL,
  product_id  VARCHAR,
  category    VARCHAR,
  quantity    BIGINT,
  amount      DECIMAL(15, 2),
  status      VARCHAR,
  PRIMARY KEY(order_id, user_id, created_at)
)
PARTITION BY LIST(`bucket`(100, order_id));

示例二：创建设备测量数据非主键表

物联网场景中，设备持续上报传感器测量数据，写入量大、主要用于聚合分析，适合建立非主键表。

CREATE TABLE IF NOT EXISTS measurement (
  device_id   VARCHAR NOT NULL,
  region      VARCHAR NOT NULL,
  ts          TIMESTAMP NOT NULL,
  metric      VARCHAR NOT NULL,
  value       DOUBLE,
  unit        VARCHAR
)
PARTITION BY LIST(`bucket`(100, device_id));

示例三：创建离线分析场景的销售汇总表

数仓场景中，销售汇总数据通常通过批量 ETL 写入，对实时性没有要求，可以关闭 Delta 层以提升写入效率。

CREATE TABLE IF NOT EXISTS sale_summary (
  shop_id      VARCHAR NOT NULL,
  region       VARCHAR NOT NULL,
  sale_date    DATE NOT NULL,
  category     VARCHAR NOT NULL,
  total_sales  DECIMAL(15, 2),
  order_count  BIGINT,
  return_rate  DOUBLE
)
PARTITION BY LIST(`bucket`(50, shop_id), `day`(sale_date))
WITH (
  `column.engine.delta_store.memstore.skip_write.enabled` = 'true',
  `column.engine.delta_store.query.enabled` = 'false'
);