实验流程
PAI-Rec的实验操作流程及生命周期大致如下:

当您第一次进入实验导览页面,实验引导功能将引导您完成一次完整的实验设置,主要包含以下5个步骤:
-
创建实验室
在指定的环境和场景中,创建实验室,填写相关信息,决定实验室类型、分桶方式并开始实验。
创建实验室表单还包含以下配置项:运行环境(可选日常、预发、生产)、分桶数量、流量分配(桶号从0开始)及分层设置。
说明Base实验室将作为兜底实验室,当存在流量无法匹配实验室时,将默认访问Base实验室配置;否则以非Base实验室为主。建议必有一个Base实验室。
UID HASH:根据 uid 的 hash 值分桶;
UID分桶:根据 uid 的末尾数字分桶;
过滤条件分桶:kv 表达式分桶,如 gender=man。
-
设置实验组
实验组是实验的集合,一个实验组下有多个实验间互为对照,每一份不同的配置对应一个实验。在设置实验组页面,选择分层,填写实验组名称和介绍(不超过256字符),选择是否需要AA实验组,确认负责人,设置调试用户(手动输入用户ID或通过人群ID指定),配置定向人群(可选所有人、指定过滤条件、人群ID或随机流量占比),选择分流对象(用户ID或时间段),在实验组配置代码编辑器中编写配置内容,预留桶号根据系统分配。完成后单击下一步进入配置实验参数步骤。
-
配置实验参数
指定实验的相关信息以及给实验分配流量,即可完成实验配置。此外,您可以指定调试用户,在实验未上线前,您可以通过调试用户测试当前实验可用性。设置基准实验的实验名称、介绍、流量分配百分比、桶号(根据占比系统分配)、调试用户(支持手动输入或人群ID两种方式,手动输入时多个用户以逗号隔开)以及实验配置代码。如需添加更多实验组,单击新增普通实验。完成后单击下一步进入调试与效果观察阶段。
-
调试与效果观察
通过调试用户观察测试实验是否可用,之后即可正式上线实验,接入正式流量了。
重要实验上线需要实验所在实验组、实验组所在实验室都为上线状态,才可上线。
上线实验室在实验室管理页面,绿色边框的实验室卡片表示已上线状态,灰色边框表示未上线状态。如需上线实验室,在目标实验室卡片的工具栏中单击上线图标即可将该实验室上线。
上线实验组在实验管理页面,依次展开目标场景、实验室和分层的折叠面板,找到待操作的实验组,单击实验组右上角的上线图标(向上箭头按钮)即可完成实验组上线。
上线实验:在实验分层页面的实验组中,单击目标实验卡片上的查看实验进入实验详情页,然后单击右上角的上线图标发布该实验。
-
实验决策
当通过一段时间的观察后,发现某个实验配置下效果较优且稳定,您可对该实验进行推全。如果某个实验效果较差,您可对该实验执行下线操作。从而完成实验决策。在实验决策阶段,进入实验操作台查看基准实验详情(包括实验标识、状态、流量分配、调试用户、实验配置等)。根据实验效果执行两步操作:效果正向时,先调整流量分配进行扩流;效果稳定后,单击推全图标将实验推至全量。
此外,在您可以通过实验卡片右上角的按钮进行上线、删除等操作
实验组卡片右上角的操作按钮具体包括添加、复制、编辑、导入和删除。