基础术语

本术语表按拼音首字母顺序对术语进行排序。

变量

进行客户端实验时,变量需从实时发布(Mobile Delivery Service,简称 MDS)动态配置推送到 App。而在服务端实验和网关实验中,变量需自定义。

方案推全

在完成实验后,您可以根据实验结果,选择某个方案,并将其应用至全部流量,这个过程就是推全。

实验

实验是 AB 测试中的核心概念。一个实验代表了一次 AB 实验,为了完成一个实验,需要至少两个方案进行对比,然后按照指标结果决定对哪个方案进行推全。

实验方案

一个方案可能代表一种算法、一种界面样式或者是一种业务逻辑。实验方案通过其中包含的变量来控制和区分这些差别。不同的实验版本作用在不同的用户上,通过人群同质比较来完成一次实验。

实验室

您可在实验室中管理一组实验,实验室类型分为客户端实验和服务端实验。

调试

实验创建完成后,在正式开始运行前所进行的调试,目的是检验所创建的实验是否可正常运行。

指标

指标用于判断实验结果。系统默认指标有三个,分别为系统指标 PV、系统指标 UV 与 7 日留存。您还可以通过移动分析(Mobile Analysis Service,简称 MAS)的自定义事件创建 MAS 指标或复合指标。

自定义事件

在 MAS 中事件用于记录用户在 App 内的一个动作。您可以在任意动作(如点击按钮)触发时,埋入一个自定义事件。而通过自定义的条件所创建的事件即为自定义事件,可引入 AB 实验,作为实验指标。

置信度

置信度也叫置信水平。置信区间给出的是被测量参数的测量值的可信程度,即置信区间中所要求的“一定概率”,这个概率被称为置信水平。

置信区间

置信区间是指由样本统计量所构造的总体参数的估计区间。在统计学中,一个概率样本的置信区间(Confidence interval)是对这个样本的某个总体参数的区间估计。置信区间展现的是这个参数的真实值有一定概率落在测量结果的周围的程度,其给出的是被测量参数的测量值的可信程度,即前面所要求的“一个概率”。