文档

BSI函数

更新时间:

本文为您介绍Hologres中BSI(Bit-sliced Index)扩展函数的使用。

原理介绍

BSI本质上是对(cid::int, value::bigint)键值数据的压缩。下面以表数据为例为您介绍BSI的原理与结构。

cid

value(十进制)

value(二进制)

1

3

0011

2

6

0110

3

4

0100

4

10

1010

5

7

0111

6

NULL

-

表中包含cid和value列。其中,value的最大值为10,即二进制最大位数为4位,因此将所有value的二进制值补充为4位。然后对二进制数据从低位向高位遍历,记录每位值为1时对应的cid数组的roaringbitmap,形成位切片索引Bit-sliced Index(BSI)。上表数据最终建立了如下切片索引:

  • slice 0:roaringbitmap '{1,5}'

  • slice 1:roaringbitmap '{1,2,4,5}'

  • slice 2:roaringbitmap '{2,3,5}'

  • slice 3:roaringbitmap '{4}'

此外,BSI中还会存储如下信息:

  • Existence bitmap(ebm):存储cid数组(值非空)的roaringbitmap,本示例中为roaringbitmap '{1,2,3,4,5}'。

  • max:value的最大值,本示例为10。

  • min:value的最小值,本示例为3。

  • bitCount:value的二进制位数,本示例为4。

基于上述原理与示例,如果已经通过RoaringBitmap进行位图计算,得到某个人群圈选结果为crowd='{1,3,5}',通过BSI即可继续针对value的高效计算,快速得到结果。比如:

  • 计算圈选的人群对应的value之和:rb_and_cardinality(crowd, slice0) * 20 + ... + rb_and_cardinality(crowd, slice3) * 23 = 14

  • 计算圈选的人群对应的value的Top 2:

    crowd & slice3 = NULL
    crowd & slice2 = {3,5}		-- top2为{3,5}
    {3,5} & slice1 = {5}		-- top1为{5}

通过BSI算法,对键值数据进行压缩存储,可以将cid的RoaringBitmap计算与value的计算完美结合,有效提升用户画像分析场景下“属性标签”与“行为标签”结合的计算效率。基于BSI函数的用户画像分析方案请参见画像分析 - BSI优化方案(Beta)

使用限制

  • 仅Hologres V2.1版本起支持BSI函数,如果您的实例版本为V2.1以下版本,请先升级实例版本,详情请参见实例升级

  • 需要Superuser执行以下语句开启两个Extension。创建Extension是DB级别,一个DB只需要开启一次即可。

    --创建extension。创建bsi需要先创建roaringbitmap
    CREATE EXTENSION roaringbitmap;
    CREATE EXTENSION bsi;
    
    --删除extension
    DROP EXTENSION roaringbitmap;
    DROP EXTENSION bsi;
    重要

    不推荐使用DROP EXTENSION <extension_name> CASCADE;命令级联卸载Extension。CASCADE(级联)删除命令不仅会删除指定扩展本身,还会一并清除扩展数据(例如PostGIS数据、RoaringBitmap数据、Proxima数据、Binlog数据、BSI数据等)以及依赖该扩展的对象(包括元数据、表、视图、Server数据等)。

函数列表

BSI构造函数

函数名

输入

输出

描述

示例

返回结果

bsi_build

integer[], bigint[]

bsi

通过两个一维数据创建一个BSI。

SELECT bsi_iterate(bsi_build('{1,2,3}','{2,4,6}'));
{1,2}
{2,4}
{3,6}

bsi_add_value

bsi, integer, bigint

bsi

为BSI增加一个键值对。

SELECT bsi_iterate(bsi_add_value(bsi_build('{1,2,3}','{2,4,6}'),4,8));
{1,2}
{2,4}
{3,6}
{4,8}

BSI展开函数

函数名

输入

输出

描述

示例

返回结果

bsi_iterate

bsi

set of integer[]

将BSI按键值展开。

SELECT bsi_iterate(bsi_build('{1,2,3}','{2,4,6}'));
{1,2}
{2,4}
{3,6}

bsi_show

bsi/bytea, integer

text

将BSI按键值展开,并展示前integer个键值对。

SELECT bsi_show(bsi_build('{1,2,3}','{2,4,6}'),2);
1=2,2=4...left 1

BSI查询函数

函数名

输入

输出

描述

示例

返回结果

bsi_ebm

bsi/bytea

roaringbitmap

查询BSI的ebm数组的roaringbitmap。

SELECT rb_to_array(bsi_ebm(bsi_build('{1,2,3}','{2,4,6}')));
{1,2,3}

bsi_eq

bsi, bigint [, bytea]

roaringbitmap

查询BSI value等于bigint的部分,返回对应ebm数组的roaringbitmap。

如果有第三入参roaringbitmap类型序列化的bytea,则先查询BSI的ebm和bytea的交集部分,再进行比较查询。

SELECT rb_to_array(bsi_eq(bsi_build('{1,2,3,4}','{2,4,4,8}'),4));
{2,3}

bsi_filter

bsi/bytea, bytea

bsi

查询BSI的ebm和指定bytea的交集部分,返回新的BSI。

SELECT bsi_iterate(bsi_filter(bsi_build('{1,2,3}','{2,4,6}'),rb_build('{1,2}')));
{1,2}
{2,4}

bsi_ge

bsi, bigint [, bytea]

roaringbitmap

查询BSI的value大于等于bigint的部分,返回对应ebm组成的roaringbitmap。

如果有第三入参roaringbitmap类型序列化的bytea,则先查询BSI的ebm和bytea的交集部分,再进行比较查询。

SELECT rb_to_array(bsi_ge(bsi_build('{1,2,3,4}','{2,4,4,8}'),4));
{2,3,4}

bsi_gt

bsi, bigint [, bytea]

roaringbitmap

查询BSI的value大于bigint的部分,返回对应ebm组成的roaringbitmap。

如果有第三入参roaringbitmap类型序列化的bytea,则先查询BSI的ebm和bytea的交集部分,再进行比较查询。

SELECT rb_to_array(bsi_gt(bsi_build('{1,2,3,4}','{2,4,4,8}'),4));
{4}

bsi_le

bsi, bigint [, bytea]

roaringbitmap

查询BSI的value小于等于bigint的部分,返回对应ebm组成的roaringbitmap。

如果有第三入参roaringbitmap类型序列化的bytea,则先查询BSI的ebm和bytea的交集部分,再进行比较查询。

SELECT rb_to_array(bsi_le(bsi_build('{1,2,3,4}','{2,4,4,8}'),4));
{1,2,3}

bsi_lt

bsi, bigint [, bytea]

roaringbitmap

查询BSI的value小于bigint的部分,返回对应ebm组成的roaringbitmap。

如果有第三入参roaringbitmap类型序列化的bytea,则先查询BSI的ebm和bytea的交集部分,再进行比较查询。

SELECT rb_to_array(bsi_lt(bsi_build('{1,2,3,4}','{2,4,4,8}'),4));
{1}

bsi_neq

bsi, bigint [, bytea]

roaringbitmap

查询BSI的value不等于bigint的部分,返回对应ebm组成的roaringbitmap。

如果有第三入参roaringbitmap类型序列化的bytea,则先查询BSI的ebm和bytea的交集部分,再进行比较查询。

SELECT rb_to_array(bsi_neq(bsi_build('{1,2,3,4}','{2,4,4,8}'),4));
{1,4}

bsi_range

bsi, bigint, bigint [, bytea]

roaringbitmap

查询BSI的value介于两个bigint之间(两端闭区间)的部分,返回对应ebm组成的roaringbitmap。

如果有第三入参roaringbitmap类型序列化的bytea,则先查询BSI的ebm和bytea的交集部分,再进行比较查询。

SELECT rb_to_array(bsi_range(bsi_build('{1,2,3,4}','{2,4,4,8}'),3,5));
{2,3}

bsi_compare

text, bsi, [bytea,] bigint, bigint

roaringbitmap

对BSI进行比较过滤查询。

  • text定义比较类型,支持LT/LE/GT/GE/EQ/NEQ/RANGE。

  • bytea(可选)用于对bsi进行过滤。

  • bigint定义用于比较的值,仅RANGE比较需要两个bigint入参。

SELECT rb_to_array(bsi_compare('RANGE',bsi_build('{1,2,3,4}','{2,4,4,8}'),3,5));
{2,3}

BSI聚合分析函数

函数名

输入

输出

描述

示例

返回结果

bsi_add

bsi, bsi

bsi

将两个BSI相同ebm对应的value相加,返回新的BSI。

SELECT bsi_iterate(bsi_add(bsi_build('{1,2,3}','{2,4,6}'),bsi_build('{1,2}','{2,4}')));
{1,4}
{2,8}
{3,6}

bsi_add_agg

bsi

bsi

求和聚合计算。

SELECT bsi_iterate(bsi_add_agg(bsi_build('{1,2,3}','{2,4,6}')));
{1,2}
{2,4}
{3,6}

bsi_merge

bsi, bsi

bsi

将两个BSI合并,要求两个BSI的ebm没有交集。

SELECT bsi_iterate(bsi_merge(bsi_build('{1,2}','{2,4}'),bsi_build('{3,4}','{6,8}')));
{1,2}
{2,4}
{3,6}
{4,8}

bsi_merge_agg

bsi

bsi

合并聚合计算,要求BSI的ebm没有交集。

SELECT bsi_iterate(bsi_merge_agg(bsi_build('{1,2,3}','{2,4,6}')));
{1,2}
{2,4}
{3,6}

bsi_stat

bigint[], bsi/bytea [, bytea]

text

BSI value的分布统计。分布区间根据输入的边界值数组切分。

如果有第三入参roaringbitmap类型序列化的bytea,则先查询BSI的ebm和bytea的交集部分,再进行分布统计。

SELECT bsi_stat('{1,3,5}',bsi_build('{1,2,3,4}','{2,4,6,8}'));
(0,1]=0;(1,3]=1;(3,5]=1;(5,8]=2

bsi_sum

bsi/bytea [, bytea]

bigint[]

返回BSI value之和sum以及ebm基数cardinality组成的数组。

如果有第二入参roaringbitmap类型序列化的bytea,则先查询BSI的ebm和bytea的交集部分,再计算sum与基数。

SELECT bsi_sum(bsi_build('{1,2,3,4}','{2,4,6,8}'));
{20,4}

bsi_topk

bsi/bytea, [bytea, ] integer

roaringbitmap

返回BSI top k个最大value对应的ebm组成的roaringbitmap。

如果有第二入参roaringbitmap类型序列化的bytea,则先查询BSI的ebm和bytea的交集部分,再计算top K。

SELECT rb_to_array(bsi_topk(bsi_build('{1,2,3,4,5}','{2,4,6,8,10}'),3));
{3,4,5}

bsi_transpose

bsi/bytea [, bytea]

roaringbitmap

返回BSI的value转置结果,即去重后组成的roaringbitmap。

如果有第二入参roaringbitmap类型序列化的bytea,则先查询BSI的ebm和bytea的交集部分,再计算转置。

SELECT rb_to_array(bsi_transpose(bsi_build('{1,2,3,4,5}','{2,4,4,8,8}')));
{2,4,8}

bsi_transpose_with_count

bsi/bytea [, bytea]

bsi

将BSI的value转置并统计次数,返回新的BSI。

如果有第二入参roaringbitmap类型序列化的bytea,则先查询BSI的ebm和bytea的交集部分,再计算转置并统计。

SELECT bsi_iterate(bsi_transpose_with_count(bsi_build('{1,2,3,4,5}','{2,4,4,8,8}')));
{2,1}
{4,2}
{8,2}
  • 本页导读 (1)