实验配置与决策

实验流程

PAIRec的实验操作流程及生命周期大致如下:

image.png

当您第一次进入实验导览页面,实验引导功能将引导您完成一次完整的实验设置,主要包含以下5个步骤:

image.png
  1. 创建实验室

    在指定的环境和场景中,创建实验室,填写相关信息,决定实验室类型、分桶方式并开始实验。

    说明

    实验室类型:

    Base实验室将作为兜底实验室,当存在流量无法匹配实验室时,将默认访问Base实验室配置;否则以非Base实验室为主。建议必有一个Base实验室。

    分桶方式:

    UID HASH:根据 uid 的 hash 值分桶;

    UID分桶:根据 uid 的末尾数字分桶;

    过滤条件分桶:kv 表达式分桶,如 gender=man。

  2. 设置实验组

    实验组是实验的集合,一个实验组下有多个实验间互为对照,每一份不同的配置对应一个实验。image.png

  3. 配置实验参数

    指定实验的相关信息以及给实验分配流量,即可完成实验配置。此外,您可以指定调试用户,在实验未上线前,您可以通过调试用户测试当前实验可用性。image.png

  4. 调试与效果观察

    通过调试用户观察测试实验是否可用,之后即可正式上线实验,接入正式流量了。

    重要

    实验上线需要实验所在实验组、实验组所在实验室都为上线状态,才可上线。

    上线实验室image.png

    上线实验组image.png

    上线实验image.png

  5. 实验决策

    当通过一段时间的观察后,发现某个实验配置下效果较优且稳定,您可对该实验进行推全。如果某个实验效果较差,您可对该实验执行下线操作。从而完成实验决策。image.png

此外,在您可以通过实验卡片右上角的按钮进行上线、删除等操作

image.png