全部产品

A/B测试报表

更新时间:2020-10-27 11:17:04

说明

目前Opensearch对下A/B Test进行的数据统计指标包括:核心指标,流量指标,行为指标,成交指标,用户分析指标,五个维度:

核心指标

指标名 定义 计算公式 依赖 意义
搜索PV PageView:发送搜索请求且成功的次数(翻页也属于搜索请求) 每发送一个搜索请求返回成功记1   当日进行搜索(且搜索成功)的次数
搜索UV UserView:访问过搜索结果页的用户数 同一个用户无论访问多少次都只记1 依赖通过SDK/API搜索时,搜索请求设置user_id参数 当日进行搜索的用户数
翻页率 翻页请求占搜索PV的比例 翻页请求PV/搜索PV   翻页请求占总搜索PV的比例,衡量搜索召回、排序的效果
无结果率 返回的Item数为0的比例 返回的item数为0的搜索PV/搜索PV   搜索无结果的比例,衡量搜索召回效果/内容丰富度
PV-CTR 每次搜索的点击率 IPV/搜索PV 依赖开通数据采集功能,并且上传了用户点击行为数据 搜索结果的点击情况,衡量搜索召回、排序的效果
UV-CTR 点击用户率 IPV_UV/搜索UV 依赖开通数据采集功能,并且上传了用户点击行为数据 用户对搜索结果的点击情况,衡量搜索召回、排序的效果
TOP5 PV-CTR 前五位Item的点击率(不计翻页后的点击) 前五位Item的IPV/搜索PV 依赖开通数据采集功能,并且上传了用户点击行为数据 前五个Item的点击情况,衡量搜索排序效果
人均搜索PV 访问搜索的用户平均搜索成功的次数 搜索PV/搜索UV 依赖通过SDK/API搜索时,搜索请求设置user_id参数 用户平均搜索次数,搜索次数多一方面体现用户对搜索感兴趣,另一方面体现用户无法通过较少的搜索满足需求
次日留存率 搜索用户第二天仍进行搜索的用户占比 UV(t-1)∩UV(t)/UV(t-1) 依赖通过SDK/API搜索时,搜索请求设置user_id参数 反映用户搜索粘性

流量指标

指标名 定义 计算公式 依赖 意义
搜索PV PageView:发送搜索请求且成功的次数(翻页也属于搜索请求) 每发送一个搜索请求返回成功记1   当日进行搜索(且搜索成功)的次数
搜索UV UserView:访问过搜索结果页的用户数 同一个用户无论访问多少次都只记1 依赖通过SDK/API搜索时,搜索请求设置user_id参数 当日进行搜索的用户数
人均搜索PV 访问搜索的用户平均搜索成功的次数 搜索PV/搜索UV 依赖通过SDK/API搜索时,搜索请求设置user_id参数 用户平均搜索次数,搜索次数多一方面体现用户对搜索感兴趣,另一方面体现用户无法通过较少的搜索满足需求
Item曝光次数 Item(搜索结果页面上的商品/内容)的展现次数。在翻页或者加载的过程中,如果结果重复出现在第二页算一个新的曝光PV,结果不去重 如果开通数据采集功能并上传了曝光数据,则每次曝光记1否则,记每次返回的Item数 依赖开通数据采集功能,并且上传了用户曝光行为数据/也可不开通或上传,但数据准确度降低 当日搜索结果的曝光次数
Query数 所有用户搜索的Query按用户去重后的结果 用户搜索的去重Query数总和两个用户搜索了同一Query记2 依赖通过SDK/API搜索时,搜索请求设置user_id参数如果搜索请求中设置了raw_query,则使用raw_query;否则采用名字是default索引上的value作为query,如果没有default索引,则query全是空 用户搜索的Query总数(减小翻页、重复搜索的影响)
人均Query数 人均搜索的去重Query数 Query数/搜索UV 依赖通过SDK/API搜索时,搜索请求设置user_id参数 人均搜索的Query数(减小翻页、重复搜索的影响)
独立Query数 所有用户搜索的独立Query数量 用户搜索的所有Query去重后的数量,多个用户搜索同一Query记1 依赖通过SDK/API搜索时,搜索请求设置raw_query参数/或无需设置如果搜索请求中设置了raw_query,则使用raw_query;否则采用名字是default索引上的value作为query,如果没有default索引,则query全是空 反映Query的丰富度
翻页率 翻页请求占搜索PV的比例 翻页请求PV/搜索PV   翻页请求占总搜索PV的比例,衡量搜索召回、排序的效果
无结果率 返回的Item数为0的比例 返回的item数为0的搜索PV/搜索PV   搜索无结果的比例,衡量搜索召回效果/内容丰富度
少结果率 返回的Item数小于等于5的比例 返回的item数小于等于5的搜索PV/搜索PV   搜索少结果的比例,衡量搜索召回效果/内容丰富度
请求失败次数 发送搜索请求但因为被限流等原因请求失败的次数 每请求失败一次记1   反映应用是否需要扩容或进行其他调整
请求失败率 发送搜索请求但因为被限流等原因请求失败的比例 请求失败次数/(搜索PV+请求失败次数)   反映应用是否需要扩容或进行其他调整

行为指标

指标名 定义 计算公式 依赖 意义
IPV ItemPageView。Item点击次数 每点击一次记1 依赖开通数据采集功能,并且上传了用户点击行为数据 搜索结果的点击次数
IPV_UV 在搜索结果页中点击了Item的用户数 同一个用户无论点击多少次都只记1 依赖开通数据采集功能,并且上传了用户点击行为数据(注:上传数据时需要指定user_id参数) 搜索结果的点击用户数
人均IPV 搜索用户平均从搜索页面中点击商品的次数。 IPV/搜索UV 依赖开通数据采集功能,并且上传了用户点击行为数据(注:上传数据时需要指定user_id参数) 搜索结果的人均点击次数
PV-CTR 每次搜索的点击率 IPV/搜索PV 依赖开通数据采集功能,并且上传了用户点击行为数据 搜索结果的点击情况,衡量搜索召回、排序的效果
UV-CTR 点击用户率 IPV_UV/搜索UV 依赖开通数据采集功能,并且上传了用户点击行为数据 用户对搜索结果的点击情况,衡量搜索召回、排序的效果
Item-CTR Item(搜索结果页面上的商品/内容)点击率 IPV/Item曝光次数 依赖开通数据采集功能,并且上传了用户点击行为数据 搜索结果的点击情况,衡量搜索召回、排序的效果
有点击PV占比 有点击的PV占比 有点击的搜索PV/搜索PV 依赖开通数据采集功能,并且上传了用户点击行为数据 搜索结果的点击情况,衡量搜索召回、排序的效果
TOP3 PV-CTR 前三位Item的点击率(不计翻页后的点击) 前三位Item的IPV/搜索PV 依赖开通数据采集功能,并且上传了用户点击行为数据 前三个Item的点击情况,衡量搜索排序效果
TOP5 PV-CTR 前五位Item的点击率(不计翻页后的点击) 前五位Item的IPV/搜索PV 依赖开通数据采集功能,并且上传了用户点击行为数据 前五个Item的点击情况,衡量搜索排序效果
TOP10 PV-CTR 前十位Item的点击率(不计翻页后的点击) 前十位Item的IPV/搜索PV 依赖开通数据采集功能,并且上传了用户点击行为数据 前十个Item的点击情况,衡量搜索排序效果
收藏数 由搜索直接引导的对商品进行收藏的次数 每收藏一次记1 依赖开通数据采集功能,并且上传了用户收藏(bhv_type=”collect”)行为数据 衡量搜索召回、排序效果和引导收藏效果
收藏转化率 收藏行为的转化率 收藏数/搜索PV 依赖开通数据采集功能,并且上传了用户收藏(bhv_type=”collect”)行为数据 衡量搜索召回、排序效果和引导收藏效果
加购数 由搜索直接引导的把商品加入购物车的次数 每加购一次记1 依赖开通数据采集功能,并且上传了用户 加入购物车,加入书架,加入歌单(bhv_type=”cart”)行为数据 衡量搜索召回、排序效果和引导加购效果
加购转化率 加入购物车行为的转化率 加购数/搜索PV 依赖开通数据采集功能,并且上传了用户 加入购物车,加入书架,加入歌单(bhv_type=”cart”)行为数据 衡量搜索召回、排序效果和引导加购效果
点赞数 由搜索直接引导的对商品进行点赞的次数 每点赞一次记1 依赖开通数据采集功能,并且上传了用户点赞(bhv_type=”like”)行为数据 衡量搜索召回、排序效果和引导点赞效果
点赞转化率 点赞行为的转化率 点赞数/搜索PV 依赖开通数据采集功能,并且上传了用户点赞(bhv_type=”like”)行为数据 衡量搜索召回、排序效果和引导点赞效果
评论数 由搜索直接引导的对商品进行评论的次数 每评论一次记1 依赖开通数据采集功能,并且上传了用户评论(bhv_type=”comment”)行为数据 衡量搜索召回、排序效果和引导评论效果
评论转化率 评论行为的转化率 评论数/搜索PV 依赖开通数据采集功能,并且上传了用户评论(bhv_type=”comment”)行为数据 衡量搜索召回、排序效果和引导评论效果

成交指标

指标名 定义 计算公式 依赖 意义
搜索引导GMV 由搜索直接引导的成交金额 成交金额的总和 依赖开通数据采集功能,并且上传了用户购买(bhv_type=”buy”)行为数据 衡量搜索召回、排序效果和引导购买效果
搜索引导成交UV 由搜索直接引导的有购买行为的用户数 同一个用户无论成交多少次都只记1 依赖开通数据采集功能,并且上传了用户购买(bhv_type=”buy”)行为数据(注:上传数据时需要指定user_id参数) 衡量搜索召回、排序效果和引导购买效果
搜索引导客单价 通过搜索直接引导成交的每个用户的平均成交额 搜索引导GMV/搜索引导成交UV 依赖开通数据采集功能,并且上传了用户购买(bhv_type=”buy”)行为数据 衡量搜索召回、排序效果和引导购买效果
下单转化率 搜索用户中有购买行为的用户占比 搜索引导成交UV/搜索UV 依赖开通数据采集功能,并且上传了用户购买(bhv_type=”buy”)行为数据 衡量搜索召回、排序效果和引导购买效果
点击成交率 有点击行为的用户中有购买行为的用户占比 搜索引导成交UV/IPV_UV 依赖开通数据采集功能,并且上传了用户购买(bhv_type=”buy”)行为数据 衡量搜索召回、排序效果和引导购买效果

用户分析指标

指标名 定义 计算公式 依赖 意义
次日留存率 搜索用户第二天仍进行搜索的用户占比 UV(t-1)∩UV(t)/UV(t-1) 依赖通过SDK/API搜索时,搜索请求设置user_id参数 反映用户搜索粘性
跳失用户率 指使用搜索的用户中没有点击的比例 (UV-IPV_UV)/搜索UV 依赖开通数据采集功能,并且上传了用户点击行为数据(注:上传数据时需要指定user_id参数) 衡量搜索召回、排序效果

使用介绍

  1. 单日数据默认展现最近一天各个数据指标的情况。可通过日期控件选择展示指标的日期。目前数据采集数据产出暂时为T+1天,上传行为数据后第二天才能查看报表。
  2. 数据对比以折线图的方式默认展现最近3天各个数据指标的变化。可通过日期控件选择展示指标的时间跨度。可通过点击图表中指标的icon勾选在图表中展示的指标项。
  3. 查看方法:点击导航栏“报表统计—->A/B测试报表”,选择应用、实验组、实验、指标类型及时间,查看统计图表。1