hll插件支持的数据类型HyperLogLog(hll)可以帮助您快速预估PV、UV等业务指标。

背景信息

hll插件支持一种可变长、类似集合的数据类型HyperLogLog(hll),常用于在指定精度下返回近似的distinct值,例如,1280字节的hll数据类型可以高精度地估计出近百亿的distinct值。hll适合互联网广告分析或其他有类似预估分析计算需求的行业,可以快速预估PV、UV等业务指标。

创建hll插件

CREATE EXTENSION hll;

基础操作

  • 创建一个含有hll字段的表,命令如下:
    CREATE TABLE agg (id INT PRIMARY KEY, userids hll);
  • 将int数据类型转换为hll_hashval类型,命令如下:
    SELECT 1::hll_hashval;

基本操作符

  • hll类型支持如下操作符:
    • =
    • !=
    • <>
    • ||
    • #

    示例如下:

    SELECT hll_add_agg(1::hll_hashval) = hll_add_agg(2::hll_hashval);
    SELECT hll_add_agg(1::hll_hashval) || hll_add_agg(2::hll_hashval);
    SELECT #hll_add_agg(1::hll_hashval);
  • hll_hashval类型支持如下操作符:
    • =
    • !=
    • <>

    示例如下:

    SELECT 1::hll_hashval = 2::hll_hashval;
    SELECT 1::hll_hashval <> 2::hll_hashval;

基本函数

  • 支持hll_hash_boolean、hll_hash_smallint和hll_hash_bigint等hash函数,示例如下:
    SELECT hll_hash_boolean(true);
    SELECT hll_hash_integer(1);
  • 支持hll_add_agg函数,可以将int转换为hll格式,示例如下:
    SELECT hll_add_agg(1::hll_hashval);
  • 支持hll_union函数,可以将hll并集,示例如下:
    SELECT hll_union(hll_add_agg(1::hll_hashval), hll_add_agg(2::hll_hashval));
  • 支持hll_set_defaults函数,可以设置精度,示例如下:
    SELECT hll_set_defaults(15,5,-1,1);
  • 支持hll_print函数,用于打印debug信息,示例如下:
    SELECT hll_print(hll_add_agg(1::hll_hashval));

删除hll插件

DROP EXTENSION hll;

示例

CREATE TABLE access_date (acc_date DATE UNIQUE, userids hll);
INSERT INTO access_date
     SELECT current_date, hll_add_agg(hll_hash_integer(user_id))
     FROM generate_series(1,10000) t(user_id);
INSERT INTO access_date
     SELECT current_date-1, hll_add_agg(hll_hash_integer(user_id))
     FROM generate_series(5000,20000) t(user_id);
INSERT INTO access_date
     SELECT current_date-2, hll_add_agg(hll_hash_integer(user_id))
     FROM generate_series(9000,40000) t(user_id);

SELECT #userids FROM access_date WHERE acc_date=current_date;
     ?column?
------------------
 9725.852733707077
(1 row)

SELECT #userids FROM access_date WHERE acc_date=current_date-1;
     ?column?
------------------
 14968.65968832792
(1 row)

SELECT #userids FROM access_date WHERE acc_date=current_date-2;
     ?column?
------------------
 29361.520914991113
(1 row)