使用轻量压缩提升整型数据查询性能
云原生数据仓库AnalyticDB PostgreSQL版Beam存储引擎提供的轻量压缩(LightInt)功能,可以将整型数据(int16/int32/int64)以轻量编码方式压缩,在保持高压缩率的同时支持不解压过滤(pushdown),显著提升高选择性过滤查询的性能。
注意事项
仅存储弹性模式v7.5.0.1及以上版本支持轻量压缩功能。
轻量压缩仅支持整型数据类型(int2/smallint、int4/integer、int8/bigint)。
在表级别指定
compresstype='auto',如果实例级别开启beam_default_enable_lightint则不需要手动配置,会自动完成配置。该参数目前处于灰度期间,如需实例级别开启,请提交工单联系技术支持开启, 否则按照下属表级别配置进行开启。使用其他压缩类型(如
lz4、zstd)时,需手动添加表级和列级选项以启用轻量压缩。
使用方法
方式一:使用 auto 压缩类型(推荐)
在表级别指定compresstype='auto',如果实例级别开启beam_default_enable_lightint则不需要手动配置,会自动完成配置;如果beam_default_enable_lightint未开启,则需要表级别追加enable_lightint=1表级选项。
CREATE TABLE lineitem (
l_orderkey integer NOT NULL,
l_partkey integer NOT NULL,
l_suppkey integer NOT NULL,
l_linenumber integer NOT NULL,
l_quantity double precision NOT NULL,
l_extendedprice double precision NOT NULL,
l_discount double precision NOT NULL,
l_shipdate date NOT NULL,
l_comment character varying(44) NOT NULL
)
USING beam WITH (compresstype = 'auto', enable_lightint=1)
DISTRIBUTED BY (l_orderkey);执行后可以通过pg_class.reloptions确认表级别启用了轻量压缩:
SELECT relname, reloptions FROM pg_class WHERE relname = 'lineitem';
-- reloptions: {compresstype=auto,compresslevel=1,ctidversion=2,enable_lightint=1}方式二:手动启用(非 auto 压缩类型)
如果使用lz4、zstd等其他压缩类型,需要同时设置表级别和列级别选项:
CREATE TABLE store_sales (
ss_sold_date_sk integer NOT NULL,
ss_sold_time_sk integer NOT NULL,
ss_item_sk integer NOT NULL,
ss_customer_sk integer NOT NULL,
ss_cdemo_sk integer NOT NULL,
ss_hdemo_sk integer NOT NULL,
ss_addr_sk integer NOT NULL,
ss_store_sk integer NOT NULL,
ss_promo_sk integer NOT NULL,
ss_ticket_number bigint NOT NULL,
ss_quantity integer NOT NULL,
ss_list_price numeric(7,2),
ss_coupon_amt numeric(7,2)
)
USING beam WITH (
compresstype = 'lz4',
compresslevel = 1,
enable_lightint = 1 -- 表级别启用轻量压缩
)
DISTRIBUTED BY (ss_item_sk);若只需对特定列启用轻量压缩,可以指定列级别编码:
CREATE TABLE sales_detail (
id integer NOT NULL,
product_id integer NOT NULL ENCODING (compresstype='lightint'),
quantity integer NOT NULL ENCODING (compresstype='lightint'),
price numeric(10,2),
order_date date
)
USING beam WITH (
compresstype = 'lz4',
enable_lightint = 1 -- 表级别启用
)
DISTRIBUTED BY (id);性能对比
以下为TPC-H 20G数据集上LightInt与LZ4压缩的性能对比。
压缩大小(lineitem 表)
表 | 压缩方式 | 存储空间 (MB) |
lineitem | LZ4 | 6123 |
lineitem | LightInt | 4796 |
查询耗时
查询 | LZ4 (秒) | LightInt (秒) |
Q12 | 2838.35 | 1943.16 |
Q21 | 4244.14 | 2681.55 |
TPC-H 20G整体查询耗时提升15%以上,其中高选择性过滤查询受益最为显著,zone skip机制可跳过大量不满足过滤条件的chunk,避免完整解压的开销。
相关参数
参数 | 默认值 | 说明 |
| on | 启用不解压过滤下推,对 seq scan 和 index scan 生效。 |
| off | 默认开启lightint选项。 |
-- 开启不解压下推过滤
SET beam_enable_lightint_pushdown = on;
set beam_default_enable_lightint = on;使用建议
推荐使用
compresstype=auto结合实例级别开关配置开启beam_default_enable_lightint:系统自动为整型列启用轻量压缩,无需额外配置。高选择性查询场景开启pushdown:对于以过滤查询为主的场景,建议
SET beam_enable_lightint_pushdown = on以获得最佳性能。