新建实验

实验是流量分配的核心单元,包含多个可灵活配置流量占比的实验版本,确保所有版本的流量占比总和为100%。每个版本可设置多个参数,根据流量分配策略,每个请求将被路由到特定的实验版本,从而获取相应的参数。实验具有明确的生命周期管理,包括开始和结束时间,并支持白名单功能,确保特定用户直接参与实验。本文为您介绍如何创建和管理实验。

前提条件

创建实验

  1. 登录PAI控制台,在页面上方选择目标地域,并在右侧选择目标工作空间,然后单击进入ABTest

  2. A/B实验(ABTest)页面的左侧导航栏中,选择实验管理 > 实验列表,然后在右侧页面,单击新建实验

  3. 新建实验页面,配置以下参数。

    1. 基本信息配置向导页面,配置以下参数,参数配置完成后单击下一步

      参数

      描述

      名称

      自定义实验名称。

      描述

      为该实验添加一些详细说明,用于区分不同的实验。

      实验项目

      在下拉列表中,选择已创建的实验项目。如果没有可选的实验项目,您可以单击新建项目进行创建。

      实验层

      选择实验项目后,才能选择实验层。在下拉列表中,选择已创建的实验层。如果没有可选的实验层,您可以单击新建实验层进行创建。

      流量分配

      实验流量占比,取值范围为0%~100%,表示占据实验层流量的百分比。

      实验周期

      选择实验的开始日期和结束日期。

      实验人群

      实验白名单设置:

      • 您可以手动输入分流用户的UID,输入完成后按下回车键。支持输入单个用户或多个用户,且多个用户之间以半角逗号(,)分隔,例如UID1,UID2

      • 您也可以在下拉列表中选择已创建的人群,如果没有可选的人群,您可以单击新建人群进行创建。

    2. 实验配置向导页面,配置以下参数,参数配置完成后单击下一步

      在此页面,您最多可配置5个版本,包括1个对照版本和最多4个实验版本。您可以为每个版本设置流量占比和实验参数,如下表所示:

      参数

      描述

      流量分配

      选中均匀分配复选框,配置的版本将均分实验流量。

      版本配置

      流量占比

      占据整体实验流量的百分比。

      版本名称

      实验版本的名称。

      版本描述

      为版本添加一些详细说明,用于区分不同的版本。

      实验人群

      实验白名单设置:

      • 您可以手动输入分流用户的UID,输入完成后按下回车键。支持输入单个用户或多个用户,且多个用户之间以半角逗号(,)分隔,例如UID1,UID2

      • 您也可以在下拉列表中选择已创建的人群,如果没有可选的人群,您可以单击新建人群进行创建。

      参数配置

      您可以配置多个实验参数。首先在对照版本中添加参数并设置参数类型,之后相同的实验参数和类型将自动出现在其余实验版本中。您需要在每个版本中设置参数值,以比较不同参数值的效果差异。

    3. 实验指标配置向导页面,配置核心指标关注指标

      支持选择1个核心指标并配置多个关注指标,实验报告将会显示这些指标在不同实验版本上的数据差异。您也可以不选择任何指标。

  4. 单击完成,即可在实验列表中看到已创建的实验,此时的实验状态准备中

管理实验

实验创建成功后,您可以在实验列表中查看并管理已创建的实验。

查看实验详情

单击目标实验名称,进入实验详情页面,查看实验的基本信息和实验报告:

  • 基本信息页签,查看实验的基本信息和实验版本相关参数。您也可以单击编辑按钮修改配置。

  • 实验报告页签,查看实验报告

启动实验

实验初始状态为准备中,您需要按照以下操作步骤启动实验:

  1. 单击目标实验操作列下的启动

  2. 提示对话框中,单击确定,实验状态将根据当前时间自动变更为运行中待运行已停止

    • 如果当前时间在实验的开始和结束时间内,实验状态将变为运行中

    • 如果当前时间在实验开始时间之前,实验状态将变为待运行。实验开始后,系统将自动将状态变更为运行中

    • 如果当前时间在实验结束时间之后,实验状态将变为已停止

克隆实验

在原始实验操作列下单击克隆,创建一个新的实验,复用原始实验的配置。

删除实验

仅非运行中状态的实验支持删除操作。单击目标实验操作列下的删除,删除无用的实验。

重要

删除实验后不可恢复,请谨慎操作。

相关文档

创建并启动实验后,您可以定期查看实验报告,详情请参见查看实验报告