说明
目前OpenSearch对下拉提示进行的数据统计指标包括:核心指标,流量指标,点击指标, 引导搜索指标,Query分析指标,五个维度:
核心指标
指标名 | 定义 | 计算公式 | 依赖 | 意义 |
下拉提示PV | 请求下拉提示且返回成功的次数,不包括返回错误的请求 | 每请求且返回成功一次记1 | 当日请求下拉提示(且返回成功)的次数 | |
下拉提示UV | 请求下拉提示且返回成功的用户数,不包括返回错误的请求 | 同一个用户无论请求多少次都只记1 | 依赖通过SDK/API请求时,下拉提示请求上传user_id参数 | 当日请求过下拉提示的用户数 |
无召回结果率 | 下拉提示返回成功但结果为空的比例 | 下拉提示返回成功但结果为空的PV/下拉提示PV | 下拉提示无召回结果的比例,衡量下拉提示效果、内容丰富度 | |
请求报错次数 | 由于被限流等原因导致返回错误的请求次数 | 每请求报错一次记1 | 反映下拉提示是否需要扩容或进行其他调整 | |
下拉提示PV-CTR | 下拉提示的点击率 | 下拉提示IPV/下拉提示PV | 依赖通过SDK/API应用搜索时,搜索请求设置raw_query参数和 from_request_id参数 | 下拉提示的点击情况,衡量下拉提示召回、排序的效果 |
下拉提示UV-CTR | 下拉提示点击用户率 | 下拉提示IPV_UV/下拉提示UV | 依赖通过SDK/API请求时,搜索请求设置raw_query参数和 from_request_id参数,以及下拉提示请求上传user_id参数 | 用户对下拉提示结果的点击情况,衡量下拉提示召回、排序的效果 |
下拉提示TOP3 PV-CTR | 下拉提示top3结果的点击率 | 下拉提示top3结果的IPV/下拉提示PV | 依赖通过SDK/API应用搜索时,搜索请求设置raw_query参数和 from_request_id参数 | 下拉提示TOP3结果的点击情况,衡量下拉提示排序效果 |
引导搜索PV占比 | 点击下拉提示结果进行搜索的次数占比 | 引导搜索PV/搜索PV | 依赖通过SDK/API应用搜索时,搜索请求设置raw_query参数和 from_request_id参数 | 下拉提示引导的搜索次数占比,衡量下拉提示召回、排序效果 |
引导搜索PV-CTR | 下拉提示引导搜索的点击率 | 下拉提示引导搜索的搜索IPV/引导搜索PV | 依赖通过SDK/API应用搜索时,搜索请求设置raw_query参数和 from_request_id参数,依赖开通数据采集功能,并且上传了用户点击行为数据 | 衡量下拉提示引导搜索的召回、排序效果 |
流量指标
指标名 | 定义 | 计算公式 | 依赖 | 意义 |
下拉提示PV | 请求下拉提示且返回成功的次数,即不包括被限流等原因导致返回错误的请求 | 每请求且返回成功一次记1 | 当日请求下拉提示(且返回成功)的次数 | |
下拉提示UV | 请求下拉提示且返回成功的用户数,即不包括被限流等原因导致返回错误的请求 | 同一个用户无论请求多少次都只记1 | 依赖通过SDK/API请求时,下拉提示请求上传user_id参数 | 当日请求过下拉提示的用户数 |
无召回结果率 | 下拉提示返回成功但结果为空的比例 | 下拉提示返回成功但结果为空的PV/下拉提示PV | 下拉提示无召回结果的比例,衡量下拉提示效果、内容丰富度 | |
少召回结果率 | 下拉提示返回成功但结果数小于<期望返回条数(hits)的比例 | 下拉提示返回成功但结果数小于<期望返回条数的PV/下拉提示PV | 下拉提示少召回结果的比例,衡量下拉提示效果、内容丰富度 | |
请求报错次数 | 由于被限流等原因导致返回错误的请求次数 | 每请求报错一次记1 | 反映下拉提示是否需要扩容或进行其他调整 | |
请求报错率 | 由于被限流等原因导致返回错误的请求比例 | 请求报错次数/(下拉提示PV+请求报错次数) | 反映下拉提示是否需要扩容或进行其他调整 |
点击指标
指标名 | 定义 | 计算公式 | 依赖 | 意义 |
下拉提示IPV | 下拉提示结果被点击的次数 | 每点击一次记1 | 依赖通过SDK/API应用搜索时,搜索请求设置raw_query参数和 from_request_id参数 | 下拉提示结果的点击次数 |
下拉提示IPV_UV | 点击下拉提示结果的用户数 | 同一个用户无论点击多少次都只记1 | 依赖通过SDK/API请求时,搜索请求设置raw_query参数和 from_request_id参数,以及下拉提示请求上传user_id参数 | 下拉提示结果的点击用户数 |
下拉提示PV-CTR | 每次下拉提示的点击率 | 下拉提示IPV/下拉提示PV | 依赖通过SDK/API应用搜索时,搜索请求设置raw_query参数和 from_request_id参数 | 下拉提示的点击情况,衡量下拉提示召回、排序的效果 |
下拉提示UV-CTR | 下拉提示点击用户率 | 下拉提示IPV_UV/下拉提示UV | 依赖通过SDK/API请求时,搜索请求设置raw_query参数和 from_request_id参数,以及下拉提示请求上传user_id参数 | 用户对下拉提示结果的点击情况,衡量下拉提示召回、排序的效果 |
下拉提示TOP1 PV-CTR | 下拉提示top1结果的点击率 | 下拉提示top1结果的IPV/下拉提示PV | 依赖通过SDK/API应用搜索时,搜索请求设置raw_query参数和 from_request_id参数 | 下拉提示TOP1结果的点击情况,衡量下拉提示排序效果 |
下拉提示TOP3 PV-CTR | 下拉提示top3结果的点击率 | 下拉提示top3结果的IPV/下拉提示PV | 依赖通过SDK/API应用搜索时,搜索请求设置raw_query参数和 from_request_id参数 | 下拉提示TOP3结果的点击情况,衡量下拉提示排序效果 |
下拉提示TOP5 PV-CTR | 下拉提示top5结果的点击率 | 下拉提示top5结果的IPV/下拉提示PV | 依赖通过SDK/API应用搜索时,搜索请求设置raw_query参数和 from_request_id参数 | 下拉提示TOP5结果的点击情况,衡量下拉提示排序效果 |
引导搜索指标
指标名 | 定义 | 计算公式 | 依赖 | 意义 |
引导搜索PV | 点击下拉提示结果进行搜索的次数(翻页也算搜索请求) | 每搜索一次记1 | 依赖通过SDK/API应用搜索时,搜索请求设置raw_query参数和 from_request_id参数 | 下拉提示引导的搜索次数,衡量下拉提示召回、排序效果 |
引导搜索PV占比 | 点击下拉提示结果进行搜索的次数占比 | 引导搜索PV/搜索PV | 依赖通过SDK/API应用搜索时,搜索请求设置raw_query参数和 from_request_id参数 | 下拉提示引导的搜索次数占比,衡量下拉提示召回、排序效果 |
引导搜索UV | 点击下拉提示结果进行搜索的用户数 | 同一个用户无论搜索多少次都只记1 | 依赖通过SDK/API应用搜索时,搜索请求设置user_id参数,raw_query参数和 from_request_id参数 | 下拉提示引导的搜索用户数,衡量下拉提示召回、排序效果 |
引导搜索UV占比 | 点击下拉提示结果进行搜索的用户占比 | 引导搜索UV/搜索UV | 依赖通过SDK/API应用搜索时,搜索请求设置user_id参数,raw_query参数和 from_request_id参数 | 下拉提示引导的搜索用户占比,衡量下拉提示召回、排序效果 |
引导搜索无结果率 | 下拉提示引导但搜索无结果的比例 | 下拉提示引导且无结果的搜索PV/引导搜索PV | 依赖通过SDK/API应用搜索时,搜索请求设置raw_query参数和 from_request_id参数 | 下拉提示引导搜索但无结果的次数,衡量下拉提示召回效果/内容丰富度 |
引导搜索PV-CTR | 下拉提示引导搜索的点击率 | 下拉提示引导搜索的搜索IPV/引导搜索PV | 依赖通过SDK/API应用搜索时,搜索请求设置raw_query参数和 from_request_id参数依赖开通数据采集功能,并且上传了用户点击行为数据 | 衡量下拉提示引导搜索的召回、排序效果 |
引导搜索有点击PV占比 | 下拉提示引导搜索且有点击的搜索PV的比例 | 下拉提示引导且有点击的搜索PV/引导搜索PV | 依赖通过SDK/API应用搜索时,搜索请求设置raw_query参数和 from_request_id参数依赖开通数据采集功能,并且上传了用户点击行为数据 | 下拉提示引导的搜索有点击占比,衡量下拉提示召回、排序效果,引导搜索的召回、排序效果 |
引导搜索GMV | 下拉提示引导搜索的成交金额 | 下拉提示引导搜索成交金额的总和 | 依赖开通数据采集功能,并且上传了用户购买(bhv_type=”buy”)行为数据 | 衡量下拉提示召回、排序效果,和引导购买效果 |
引导搜索收藏转化率 | 下拉提示引导搜索的收藏转化率 | 下拉提示引导搜索收藏数/引导搜索PV | 依赖开通数据采集功能,并且上传了用户收藏(bhv_type=”collect”)行为数据 | 衡量下拉提示召回、排序效果,和引导收藏效果 |
引导搜索加购转化率 | 下拉提示引导搜索的加购转化率 | 下拉提示引导搜索加购数/引导搜索PV | 依赖开通数据采集功能,并且上传了用户加入购物车,加入书架,加入歌单(bhv_type=”cart”)行为数据 | 衡量下拉提示召回、排序效果,和引导加购效果 |
引导搜索点赞转化率 | 下拉提示引导搜索的点赞转化率 | 下拉提示引导搜索点赞数/引导搜索PV | 依赖开通数据采集功能,并且上传了用户点赞(bhv_type=”like”)行为数据 | 衡量下拉提示召回、排序效果,和引导点赞效果 |
引导搜索评论转化率 | 下拉提示引导搜索的评论转化率 | 下拉提示引导搜索评论数/引导搜索PV | 依赖开通数据采集功能,并且上传了用户评论(bhv_type=”comment”)行为数据 | 衡量下拉提示召回、排序效果,和引导购买效果 |
Query分析指标
维度/分类 | 指标名 | 定义 | 计算公式 | 依赖 | 意义 |
无召回结果词 | Query | 下拉提示返回成功但结果为空的请求词 | 下拉提示返回成功但结果为空的下拉提示PVtop100的请求词 | 下拉提示无结果的Query,衡量下拉提示召回效果、内容丰富度 | |
下拉提示PV | 该Query的请求次数 | 每请求且返回成功一次记1 | 下拉提示无结果Query的搜索次数,衡量无结果问题的严重程度 | ||
少召回结果词 | Query | 下拉提示返回成功但结果数小于<期望返回条数(hits)的请求词 | 下拉提示返回成功但结果数小于<期望返回条数(hits)的下拉提示PVtop100的请求词 | 下拉提示少结果的Query,衡量下拉提示召回效果、内容丰富度 | |
下拉提示PV | 该Query的请求次数 | 每请求且返回成功一次记1 | 下拉提示少结果Query的搜索次数,衡量少结果问题的严重程度 |
使用介绍
单日数据默认展现最近一天各个数据指标的情况。可通过日期控件选择展示指标的日期。目前下拉提示业务指标产出暂时为T+1天,即明天才能查看今天的下拉提示业务指标数据。
数据对比以折线图的方式默认展现最近7天各个数据指标的变化。可通过日期控件选择展示指标的时间跨度。可通过点击图表中指标的icon勾选在图表中展示的指标项。
查看方法:点击导航栏“统计报表—->下拉提示报表”,选择应用、模型名称、指标类型及时间,查看统计图表。