文档

流程控制-AB测试组件

更新时间:

AB测试组件可以通过测试比较方案的效果,帮助您进行方案决策。支持同时测试最多30个方案。

AB测试的具体方法:为使用户达成同一个目标事件,制定N个方案,将参与测试的用户随机分成N组,分别同时应用这N个方案。一段时间后,分别统计应用方案后的N组用户达成目标事件的几率,几率高的组对应的方案胜出。

例如:将同一个人群随机分为两组,各50%用户,向两组发送不同的推广短信话术,测试哪种话术下销量更高。

配置步骤:

  1. 单击AB测试组件,在右侧弹出的面板中进行配置,如下图所示。image

  2. 输入步骤名称。

  3. 为每个分组设置分组名称和人数占比,单击新建分组可以增加一个分组。

    说明

    支持设置2~30个分组,且所有分组的人数占比总和必须等于100%。

  4. 设置结束条件:

    • 一直执行,直到用户全部参与完成AB测试,或直到所属的自动化营销活动结束。

    • 进入AB测试总人数达到您指定的人数后,AB测试结束,其余用户不再随机进入分组,而是全部直接进入一个确定的分组。

      此时,您需要选择让其余用户进入哪个分组:

      • 根据AB测试的结果,进入执行目标达成率最高的分组。

      • 进入您指定的分组。

  5. 单击确定,画布上将相应地为每一个分组生成一条空白分支,并最终汇合到“测试目标”节点,如下图所示。1325221

  6. 按照您的方案设置每一条分支,如下图所示。

    分支中可以进行对组件的操作,例如添加、复制粘贴、删除组件,但不支持在分支中再增加连线。

    549
  7. 单击“测试目标”节点,在右侧弹出的面板中设置测试目标,如下图所示。image

    1. 指定判断用户达成目标事件前,等待的时间,支持设置相对时间或指定时间。

      • 相对时间:用户执行完上一个组件后,等待一段时间再进行判断,单位支持分钟、小时、天。

      • 指定时间:等待至一个确定的时间点,在该时间点进行判断。

    2. 说明

      对于指定时间,若当用户进入“测试目标”节点时,设置的时间点已经过去,则不等待,直接判断。

    3. 设置目标事件,与行为事件组件的配置方法相似:

      说明

      用户的行为事件数据由APP、小程序、网页等应用采集后上报至Quick Audience,请参见事件上报(新版)事件管理(老版)

      参数

      说明

      事件来源

      事件名称

      选择事件。

      限制属性

      支持设置事件属性要求。

      打开限制属性开关,然后设置事件属性要求,满足属性要求时才算作达成目标。

      单击增加属性,可以增加一条属性要求,多条属性要求之间支持或者两种关系,单击左侧的对应文字可以进行切换。

      限制次数

      支持设置同一用户多次满足事件和属性要求后才算作达成目标。

      打开限制次数开关,然后输入次数。

    4. 设置计划的目标达成率,用于运行后与每个分组的实际目标达成率做对比。

      说明

      目标达成率=分组中达成目标事件的用户数÷分组人数×100%

    5. 选择是否按达标情况营销:

      • 是:生成“达成”和“未达成”两个分组,根据用户是否达成了目标,执行不同的后续操作,如下图所示。image

      • 否:所有用户共用一条后续链路,如下图所示。image

    6. 单击确定,完成“测试目标”节点配置。

AB测试执行动作分析

AB测试组件运行后,测试目标节点将记录本次执行的每个分组的测试目标达成情况,以便您依据目标达成率选择方案。

如下图所示,测试目标节点上方将展示本次执行数据,包含胜出的分组、所有分组的目标达成总人数和流入总人数。

image

单击执行数据区域,右侧将弹出执行动作分析面板,分别展示每个分组的流入人数、目标达成人数、目标达成率,并与计划的目标达成率对比,如下图所示。图中,参照组1的目标达成率较高,因此,推荐采用参照组1对应的方案。

说明
  • 由于进入每个组的人数可能不同,请以目标达成率为评价方案效果的主要参考指标。

  • 若AB测试节点的结束条件设置了进入AB测试的最大总人数,则可能有部分用户未参与随机分组的AB测试,此时可在右上角选择展示全部用户的数据,或选择测试用户仅展示参与了AB测试的用户的数据。

image
  • 本页导读 (0)