Iceberg外表（XIHE SQL）

语法

CREATE TABLE [IF NOT EXISTS] <db>.<table> (
    <col1>  <type1>  [COMMENT '<comment>'],
    <col2>  <type2>  [COMMENT '<comment>'],
    ...
)
[COMMENT '<table_comment>']
[PARTITIONED BY (<partition_expr1>[, <partition_expr2>, ...])]
STORED AS ICEBERG
[LOCATION '<oss_path>']                           -- 外湖必填
[TBLPROPERTIES (
    'format-version'    = '<2|3>',                 -- 默认2
    'catalog_type'      = 'ADB',                   -- 内湖必填
    'adb_lake_bucket'   = '<bucket_name>',          -- 内湖必填
    ...
)];

TBLPROPERTIES中可配置的表属性如下：

外湖建表示例

-- 创建数据库
CREATE DATABASE IF NOT EXISTS lake_db;

-- 创建外湖Iceberg表
CREATE TABLE lake_db.orders (
    order_id     BIGINT       COMMENT '订单ID',
    user_id      BIGINT       COMMENT '用户ID',
    status       STRING       COMMENT '订单状态',
    total_amount DECIMAL(18, 2) COMMENT '订单金额',
    created_at   TIMESTAMP    COMMENT '下单时间'
)
COMMENT '订单主表'
PARTITIONED BY (dt DATE)
STORED AS ICEBERG
LOCATION 'oss://<YOUR-BUCKET>/warehouse/lake_db/orders/';

内湖建表示例

CREATE TABLE lake_db.orders (
    order_id     BIGINT       COMMENT '订单ID',
    user_id      BIGINT       COMMENT '用户ID',
    status       STRING       COMMENT '订单状态',
    total_amount DECIMAL(18, 2) COMMENT '订单金额',
    created_at   TIMESTAMP    COMMENT '下单时间'
)
COMMENT '订单主表'
PARTITIONED BY (dt DATE)
STORED AS ICEBERG
TBLPROPERTIES (
    'catalog_type'    = 'ADB',
    'adb_lake_bucket' = 'adb-lake-cn-<region>-xxxx'
);

CTAS建表（CREATE TABLE AS SELECT）

CTAS在建表的同时写入查询结果，列名和类型从SELECT推导。

CREATE TABLE lake_db.orders_copy
PARTITIONED BY (dt DATE)
STORED AS ICEBERG
LOCATION 'oss://<YOUR-BUCKET>/warehouse/lake_db/orders_copy/'
AS SELECT * FROM lake_db.orders;

分区管理

Iceberg的分区与传统Hive分区有本质区别：

Iceberg支持identity分区（直接使用列值）和基于现有列的转换函数分区。写入时无需指定分区值，引擎根据列值自动路由。

使用day(created_at)分区时，无需单独维护dt列，Iceberg自动从created_at提取日期做分区：

CREATE TABLE lake_db.orders_by_day (
    order_id     BIGINT,
    user_id      BIGINT,
    status       STRING,
    total_amount DECIMAL(18, 2),
    created_at   TIMESTAMP
)
PARTITIONED BY (day(created_at))
STORED AS ICEBERG
LOCATION 'oss://<YOUR-BUCKET>/warehouse/lake_db/orders_by_day/';

其他DDL操作

-- 查看表的完整建表语句
SHOW CREATE TABLE lake_db.orders;

-- 查看列结构
DESCRIBE lake_db.orders;

-- 删除表
DROP TABLE IF EXISTS lake_db.orders;

-- 删除数据库（库内不能有表，否则报错）
DROP DATABASE IF EXISTS lake_db;

INSERT INTO（追加写入）

INSERT INTO lake_db.orders
SELECT * FROM VALUES
    (1001, 501, 'paid', 299.90, TIMESTAMP '2026-06-11 10:00:00', DATE '2026-06-11'),
    (1002, 502, 'pending', 158.00, TIMESTAMP '2026-06-11 10:05:00', DATE '2026-06-11'),
    (1003, 503, 'shipped', 450.00, TIMESTAMP '2026-06-11 10:10:00', DATE '2026-06-12')
AS t(order_id, user_id, status, total_amount, created_at, dt);

INSERT OVERWRITE（覆写）

对分区表执行INSERT OVERWRITE时，Iceberg采用动态分区覆写策略——仅覆盖SELECT结果中涉及的分区，其余分区数据不受影响。

-- 仅覆盖dt='2026-06-11'分区的数据，其他分区不受影响
INSERT OVERWRITE lake_db.orders
SELECT * FROM VALUES
    (2001, 601, 'paid', 999.00, TIMESTAMP '2026-06-11 12:00:00', DATE '2026-06-11')
AS t(order_id, user_id, status, total_amount, created_at, dt);

DELETE（行级删除）

Iceberg表支持基于条件的行级删除。

DELETE FROM lake_db.orders WHERE status = 'cancelled';

基本查询

SELECT * FROM lake_db.orders WHERE dt = DATE '2026-06-11';

SELECT dt, COUNT(*) AS cnt, SUM(total_amount) AS total
FROM lake_db.orders
GROUP BY dt;

分区裁剪

当WHERE条件中包含分区列或分区转换函数时，引擎自动进行分区裁剪，只扫描相关分区的数据文件。

-- identity分区：直接匹配分区列
SELECT * FROM lake_db.orders WHERE dt = DATE '2026-06-11';

-- day(col)分区：匹配时间范围
SELECT * FROM lake_db.orders_by_day
WHERE created_at >= TIMESTAMP '2026-06-11 00:00:00'
  AND created_at <  TIMESTAMP '2026-06-12 00:00:00';

谓词下推

Iceberg将WHERE条件中的谓词下推到数据文件层面，利用Parquet文件内部的统计信息（min/max/null count）过滤不满足条件的row group，减少实际读取的数据量。

谓词下推生效条件：

• WHERE条件中的列存在统计信息。

• 谓词为简单比较（=、<、>、<=、>=、IN、BETWEEN）。

• 列类型与统计信息类型匹配。

-- 谓词下推生效：order_id有min/max统计信息
SELECT * FROM lake_db.orders
WHERE order_id = 1001;

-- 范围谓词下推
SELECT * FROM lake_db.orders
WHERE total_amount BETWEEN 100 AND 500;

查询注意事项

• 分区裁剪仅对WHERE条件中直接引用分区列或分区转换函数的场景生效。

• 复杂谓词（如函数调用、OR条件）可能影响谓词下推效果。

• 跨Iceberg表JOIN性能取决于数据量和分区设计。