实验是流量分配的核心单元,包含多个可灵活配置流量占比的实验版本,确保所有版本的流量占比总和为100%。每个实验版本可设置多个实验参数,根据流量分配策略,每个请求将被路由到特定的实验版本,从而获取相应的实验参数。实验不仅具有明确的生命周期管理,包括开始时间和结束时间,而且还分配在实验层上,可占据实验层所有流量或随机占据部分流量。此外,实验支持白名单功能,确保白名单内的用户直接参与此实验流程。本文为您介绍如何创建和管理实验。
前提条件
创建实验
进入A/B实验(ABTest)页面。
登录PAI控制台。
在左侧导航栏单击工作空间列表,在工作空间列表页面中单击待操作的工作空间名称,进入对应工作空间内。
在工作空间页面的左侧导航栏选择
,进入A/B实验(ABTest)页面。
在A/B实验(ABTest)页面的左侧导航栏中,选择
。在右侧页面中,单击新建实验。
在新建实验页面,配置以下参数。
在基本信息配置向导页面,配置以下参数,参数配置完成后单击下一步。
参数
描述
名称
自定义实验名称。
描述
为该实验添加一些详细说明,用于区分不同的实验。
实验项目
在下拉列表中,选择已创建的实验项目。如果没有可选的实验项目,您可以单击新建项目进行创建。
实验层
选择实验项目后,才能选择实验层。在下拉列表中,选择已创建的实验层。如果没有可选的实验层,您可以单击新建实验层进行创建。
流量分配
实验流量占比,取值范围为0%~100%,表示占据实验层流量的百分比。
实验周期
选择实验的开始日期和结束日期。
实验人群
实验白名单设置:
您可以手动输入分流用户的UID,输入完成后按下回车键。支持输入单个用户或多个用户,且多个用户之间以半角逗号(,)分隔,例如
UID1,UID2
。您也可以在下拉列表中选择已创建的人群,如果没有可选的人群,您可以单击新建人群进行创建。
在实验配置向导页面,配置以下参数,参数配置完成后单击下一步。
在此页面,您最多可配置5个版本,包括1个对照版本和多个实验版本。您可以为每个版本设置流量占比和实验参数,如下表所示:
参数
描述
流量分配
选中均匀分配复选框,配置的版本将均分实验流量。
版本配置
流量占比
占据整体实验流量的百分比。
版本名称
实验版本的名称。
版本描述
为版本添加一些详细说明,用于区分不同的版本。
实验人群
实验白名单设置:
您可以手动输入分流用户的UID,输入完成后按下回车键。支持输入单个用户或多个用户,且多个用户之间以半角逗号(,)分隔,例如
UID1,UID2
。您也可以在下拉列表中选择已创建的人群,如果没有可选的人群,您可以单击新建人群进行创建。
参数配置
您可以配置多个实验参数。首先在对照版本中添加参数并设置参数类型,之后相同的实验参数和类型将自动出现在其余实验版本中。您需要在每个版本中设置参数值,以比较不同参数值的效果差异。
在实验指标配置向导页面,配置核心指标和关注指标。
支持选择1个核心指标并配置多个关注指标,也可以不进行配置。一旦配置了指标,实验报告将会显示这些指标在不同实验版本上的数据差异。
单击完成,即可在实验列表中看到已创建的实验,此时的实验状态为准备中。
管理实验
实验创建成功后,您可以在实验列表中查看已创建的实验,并对其进行以下管理操作。
查看实验详情
实验创建成功后,您可以单击目标实验名称,进入实验详情页面。在该页面查看实验的基本信息和实验报告:
在基本信息页签,您可以查看实验的基本信息和实验版本相关参数。您也可以单击编辑按钮修改相关配置。
在实验报告页签,查看该实验的报告。关于报告内容的更多详细介绍,请参见查看实验报告。
启动实验
您可以在实验列表中查看已创建成功的实验,实验初始状态为准备中。您需要按照以下操作步骤启动实验:
单击目标实验操作列下的启动。
在提示对话框中,单击确定。
如果当前时间在实验的开始和结束时间内,则实验状态将变为运行中。
如果当前时间在实验开始时间之前,则实验状态将变为待运行。直到实验开始时间后,系统会自动将实验状态变更为运行中。
如果当前时间在实验结束时间之后,则实验状态将变为已停止。
克隆实验
您可以在原始实验操作列下单击克隆,以创建一个新的实验。新实验将复用原始实验的配置,避免重新输入和配置相同的参数。
删除实验
仅非运行中状态的实验支持删除操作。您可以单击目标实验操作列下的删除,以删除无用的实验。
删除实验后不可恢复,请谨慎操作。
相关文档
创建并启动实验后,您可以定期查看实验报告,详情请参见查看实验报告。