新建实验

实验是流量分配的核心单元,包含多个可灵活配置流量占比的实验版本,确保所有版本的流量占比总和为100%。每个实验版本可设置多个实验参数,根据流量分配策略,每个请求将被路由到特定的实验版本,从而获取相应的实验参数。实验不仅具有明确的生命周期管理,包括开始时间和结束时间,而且还分配在实验层上,可占据实验层所有流量或随机占据部分流量。此外,实验支持白名单功能,确保白名单内的用户直接参与此实验流程。本文为您介绍如何创建和管理实验。

前提条件

创建实验

  1. 进入A/B实验(ABTest)页面。

    1. 登录PAI控制台

    2. 在左侧导航栏单击工作空间列表,在工作空间列表页面中单击待操作的工作空间名称,进入对应工作空间内。

    3. 在工作空间页面的左侧导航栏选择模型部署 > A/B实验(ABTest),进入A/B实验(ABTest)页面。

  2. A/B实验(ABTest)页面的左侧导航栏中,选择实验管理 > 实验列表

  3. 在右侧页面中,单击新建实验

  4. 新建实验页面,配置以下参数。

    1. 基本信息配置向导页面,配置以下参数,参数配置完成后单击下一步

      参数

      描述

      名称

      自定义实验名称。

      描述

      为该实验添加一些详细说明,用于区分不同的实验。

      实验项目

      在下拉列表中,选择已创建的实验项目。如果没有可选的实验项目,您可以单击新建项目进行创建。

      实验层

      选择实验项目后,才能选择实验层。在下拉列表中,选择已创建的实验层。如果没有可选的实验层,您可以单击新建实验层进行创建。

      流量分配

      实验流量占比,取值范围为0%~100%,表示占据实验层流量的百分比。

      实验周期

      选择实验的开始日期和结束日期。

      实验人群

      实验白名单设置:

      • 您可以手动输入分流用户的UID,输入完成后按下回车键。支持输入单个用户或多个用户,且多个用户之间以半角逗号(,)分隔,例如UID1,UID2

      • 您也可以在下拉列表中选择已创建的人群,如果没有可选的人群,您可以单击新建人群进行创建。

    2. 实验配置向导页面,配置以下参数,参数配置完成后单击下一步

      在此页面,您最多可配置5个版本,包括1个对照版本和多个实验版本。您可以为每个版本设置流量占比和实验参数,如下表所示:

      参数

      描述

      流量分配

      选中均匀分配复选框,配置的版本将均分实验流量。

      版本配置

      流量占比

      占据整体实验流量的百分比。

      版本名称

      实验版本的名称。

      版本描述

      为版本添加一些详细说明,用于区分不同的版本。

      实验人群

      实验白名单设置:

      • 您可以手动输入分流用户的UID,输入完成后按下回车键。支持输入单个用户或多个用户,且多个用户之间以半角逗号(,)分隔,例如UID1,UID2

      • 您也可以在下拉列表中选择已创建的人群,如果没有可选的人群,您可以单击新建人群进行创建。

      参数配置

      您可以配置多个实验参数。首先在对照版本中添加参数并设置参数类型,之后相同的实验参数和类型将自动出现在其余实验版本中。您需要在每个版本中设置参数值,以比较不同参数值的效果差异。

    3. 实验指标配置向导页面,配置核心指标关注指标

      支持选择1个核心指标并配置多个关注指标,也可以不进行配置。一旦配置了指标,实验报告将会显示这些指标在不同实验版本上的数据差异。

  5. 单击完成,即可在实验列表中看到已创建的实验,此时的实验状态准备中

管理实验

实验创建成功后,您可以在实验列表中查看已创建的实验,并对其进行以下管理操作。

查看实验详情

实验创建成功后,您可以单击目标实验名称,进入实验详情页面。在该页面查看实验的基本信息和实验报告:

  • 基本信息页签,您可以查看实验的基本信息和实验版本相关参数。您也可以单击编辑按钮修改相关配置。

  • 实验报告页签,查看该实验的报告。关于报告内容的更多详细介绍,请参见查看实验报告

启动实验

您可以在实验列表中查看已创建成功的实验,实验初始状态为准备中。您需要按照以下操作步骤启动实验:

  1. 单击目标实验操作列下的启动

  2. 提示对话框中,单击确定

    • 如果当前时间在实验的开始和结束时间内,则实验状态将变为运行中

    • 如果当前时间在实验开始时间之前,则实验状态将变为待运行。直到实验开始时间后,系统会自动将实验状态变更为运行中

    • 如果当前时间在实验结束时间之后,则实验状态将变为已停止

克隆实验

您可以在原始实验操作列下单击克隆,以创建一个新的实验。新实验将复用原始实验的配置,避免重新输入和配置相同的参数。

删除实验

仅非运行中状态的实验支持删除操作。您可以单击目标实验操作列下的删除,以删除无用的实验。

重要

删除实验后不可恢复,请谨慎操作。

相关文档

创建并启动实验后,您可以定期查看实验报告,详情请参见查看实验报告