阿里云首页 工业大脑开放平台

贝叶斯AB测试

功能说明

贝叶斯AB测试组件用于比较A、B两种方案哪个更好。

计算逻辑原理

  • A/B测试:A/B测试简单来说,就是为同一个目标制定两个方案,让一部分用户使用A方案,一部分用户应用B方案,记录下用户的使用情况,看哪个方案更符合设计。

    A方案的转化率可以看做一个二项分布p1,传统的频率学派认为p是固定不变的,为所有转化的总数除以实验总数。然而贝叶斯学派不会假设p是固定不变的,引入一个Beta分布作为二项分布的共轭先验,通过调整Beta分布参数,动态调整p的值。

  • Beta分布:Beta分布是二项分布的共轭先验,描述了二项分布中p取值的可能性。Beta(m,n)代表着m+n次试验,m次A,n次B的概率分布。在频率派认为抛100次硬币,16次正面朝上;抛50次硬币,8次正面朝上,正面概率都是p=0.16。但是贝叶斯学派不这么认为,也即Beta(16,84)和Beta(8, 42)是不一样的概率分布。

  • 贝叶斯A/B测试:贝叶斯的观点是:1. 以上两种情况的概率都小于0.16,因为试验次数越少,真实的正面和反面的差距就可能越大;2. 试验次数越少,上面的概率密度越平缓,因为少的试验次数不能增大决策信心;3. 试验次数越大,上面的概率密度图的均值更应该接近0.16,符合大数定律。

使用流程说明

完成输入输出配置和参数配置。

类型说明

参数名

输入数据类型

输出数据类型

数据源类型

A

整数或浮点数

说明

若存在非数值数据,则会抛出异常

  • p_value:浮点数

  • winner:字符

IGate测点

B

整数或浮点数

说明

若存在非数值数据,则会抛出异常

IGate测点

参数说明

IN端口

参数名

参数描述

IN

A

输入A方案的数据。

必填。

B

输入B方案的数据。

必填。

OUT端口

参数名

参数描述

OUT

p_value

A方案比B方案优的概率。

winner

更优的方案。

其他

参数名

参数描述

参数默认值

参数范围

采样时长

读取历史IGate数据时长,单位:秒。

必填。

60

[1,99999999]

下限

划定正样本区间下界。

必填。

-10

[-99999999,99999999]

上限

划定正样本区间上界。

必填。

10

[-99999999,99999999]