使用轻量压缩提升整型数据查询性能

更新时间:
复制 MD 格式

云原生数据仓库AnalyticDB PostgreSQL版Beam存储引擎提供的轻量压缩(LightInt)功能,可以将整型数据(int16/int32/int64)以轻量编码方式压缩,在保持高压缩率的同时支持不解压过滤(pushdown),显著提升高选择性过滤查询的性能。

注意事项

  • 仅存储弹性模式v7.5.0.1及以上版本支持轻量压缩功能。

  • 轻量压缩仅支持整型数据类型(int2/smallint、int4/integer、int8/bigint)。

  • 在表级别指定compresstype='auto',如果实例级别开启beam_default_enable_lightint则不需要手动配置,会自动完成配置。该参数目前处于灰度期间,如需实例级别开启,请提交工单联系技术支持开启, 否则按照下属表级别配置进行开启。

  • 使用其他压缩类型(如lz4、zstd)时,需手动添加表级和列级选项以启用轻量压缩。

使用方法

方式一:使用 auto 压缩类型(推荐)

在表级别指定compresstype='auto',如果实例级别开启beam_default_enable_lightint则不需要手动配置,会自动完成配置;如果beam_default_enable_lightint未开启,则需要表级别追加enable_lightint=1表级选项。

CREATE TABLE lineitem (
    l_orderkey      integer NOT NULL,
    l_partkey       integer NOT NULL,
    l_suppkey       integer NOT NULL,
    l_linenumber    integer NOT NULL,
    l_quantity      double precision NOT NULL,
    l_extendedprice double precision NOT NULL,
    l_discount      double precision NOT NULL,
    l_shipdate      date NOT NULL,
    l_comment       character varying(44) NOT NULL
)
USING beam WITH (compresstype = 'auto', enable_lightint=1)
DISTRIBUTED BY (l_orderkey);

执行后可以通过pg_class.reloptions确认表级别启用了轻量压缩:

SELECT relname, reloptions FROM pg_class WHERE relname = 'lineitem';
-- reloptions: {compresstype=auto,compresslevel=1,ctidversion=2,enable_lightint=1}

方式二:手动启用(非 auto 压缩类型)

如果使用lz4、zstd等其他压缩类型,需要同时设置表级别和列级别选项:

CREATE TABLE store_sales (
    ss_sold_date_sk    integer NOT NULL,
    ss_sold_time_sk    integer NOT NULL,
    ss_item_sk         integer NOT NULL,
    ss_customer_sk     integer NOT NULL,
    ss_cdemo_sk        integer NOT NULL,
    ss_hdemo_sk        integer NOT NULL,
    ss_addr_sk         integer NOT NULL,
    ss_store_sk        integer NOT NULL,
    ss_promo_sk        integer NOT NULL,
    ss_ticket_number   bigint NOT NULL,
    ss_quantity        integer NOT NULL,
    ss_list_price      numeric(7,2),
    ss_coupon_amt      numeric(7,2)
)
USING beam WITH (
    compresstype = 'lz4',
    compresslevel = 1,
    enable_lightint = 1      -- 表级别启用轻量压缩
)
DISTRIBUTED BY (ss_item_sk);

若只需对特定列启用轻量压缩,可以指定列级别编码:

CREATE TABLE sales_detail (
    id          integer NOT NULL,
    product_id  integer NOT NULL ENCODING (compresstype='lightint'),
    quantity    integer NOT NULL ENCODING (compresstype='lightint'),
    price       numeric(10,2),
    order_date  date
)
USING beam WITH (
    compresstype = 'lz4',
    enable_lightint = 1       -- 表级别启用
)
DISTRIBUTED BY (id);

性能对比

以下为TPC-H 20G数据集上LightInt与LZ4压缩的性能对比。

压缩大小(lineitem 表)

表

压缩方式

存储空间 (MB)

lineitem

LZ4

6123

lineitem

LightInt

4796

查询耗时

查询

LZ4 (秒)

LightInt (秒)

Q12

2838.35

1943.16

Q21

4244.14

2681.55

TPC-H 20G整体查询耗时提升15%以上,其中高选择性过滤查询受益最为显著,zone skip机制可跳过大量不满足过滤条件的chunk,避免完整解压的开销。

相关参数

参数

默认值

说明

beam_enable_lightint_pushdown

on

启用不解压过滤下推,对 seq scan 和 index scan 生效。

beam_default_enable_lightint

off

默认开启lightint选项。

-- 开启不解压下推过滤
SET beam_enable_lightint_pushdown = on;
set beam_default_enable_lightint = on;

使用建议

  • 推荐使用compresstype=auto结合实例级别开关配置开启beam_default_enable_lightint:系统自动为整型列启用轻量压缩,无需额外配置。

  • 高选择性查询场景开启pushdown:对于以过滤查询为主的场景,建议SET beam_enable_lightint_pushdown = on以获得最佳性能。