hll插件支持的数据类型HyperLogLog(hll)可以帮助您快速预估PV、UV等业务指标。
背景信息
hll插件支持一种可变长、类似集合的数据类型HyperLogLog(hll),常用于在指定精度下返回近似的distinct值,例如,1280字节的hll数据类型可以高精度地估计出近百亿的distinct值。hll适合互联网广告分析或其他有类似预估分析计算需求的行业,可以快速预估PV、UV等业务指标。
创建hll插件
CREATE EXTENSION hll;
基础操作
- 创建一个含有hll字段的表,命令如下:
CREATE TABLE agg (id INT PRIMARY KEY, userids hll);
- 将int数据类型转换为hll_hashval类型,命令如下:
SELECT 1::hll_hashval;
基本操作符
- hll类型支持如下操作符:
- =
- !=
- <>
- ||
- #
示例如下:
SELECT hll_add_agg(1::hll_hashval) = hll_add_agg(2::hll_hashval); SELECT hll_add_agg(1::hll_hashval) || hll_add_agg(2::hll_hashval); SELECT #hll_add_agg(1::hll_hashval);
- hll_hashval类型支持如下操作符:
- =
- !=
- <>
示例如下:
SELECT 1::hll_hashval = 2::hll_hashval; SELECT 1::hll_hashval <> 2::hll_hashval;
基本函数
- 支持hll_hash_boolean、hll_hash_smallint和hll_hash_bigint等hash函数,示例如下:
SELECT hll_hash_boolean(true); SELECT hll_hash_integer(1);
- 支持hll_add_agg函数,可以将int转换为hll格式,示例如下:
SELECT hll_add_agg(1::hll_hashval);
- 支持hll_union函数,可以将hll并集,示例如下:
SELECT hll_union(hll_add_agg(1::hll_hashval), hll_add_agg(2::hll_hashval));
- 支持hll_set_defaults函数,可以设置精度,示例如下:
SELECT hll_set_defaults(15,5,-1,1);
- 支持hll_print函数,用于打印debug信息,示例如下:
SELECT hll_print(hll_add_agg(1::hll_hashval));
删除hll插件
DROP EXTENSION hll;
示例
CREATE TABLE access_date (acc_date DATE UNIQUE, userids hll);
INSERT INTO access_date
SELECT current_date, hll_add_agg(hll_hash_integer(user_id))
FROM generate_series(1,10000) t(user_id);
INSERT INTO access_date
SELECT current_date-1, hll_add_agg(hll_hash_integer(user_id))
FROM generate_series(5000,20000) t(user_id);
INSERT INTO access_date
SELECT current_date-2, hll_add_agg(hll_hash_integer(user_id))
FROM generate_series(9000,40000) t(user_id);
SELECT #userids FROM access_date WHERE acc_date=current_date;
?column?
------------------
9725.852733707077
(1 row)
SELECT #userids FROM access_date WHERE acc_date=current_date-1;
?column?
------------------
14968.65968832792
(1 row)
SELECT #userids FROM access_date WHERE acc_date=current_date-2;
?column?
------------------
29361.520914991113
(1 row)