在切入正式流量前需要注意以下几点:
1、保证切流的随机性;
2、避免其他流量的掺杂,控制变量对比效果。
3、由于推荐返回的结果是根据某个user_id的感兴趣程度从高到低返回,所以不要推荐结果做重排序等操作。
4、预留QPS及弹性计费说明。
5、区分流量埋点是根据电商行业中的trace_id字段进行区分,切到智能推荐的流量则(trace_id=Alibaba)、您自行运营/自研那部分流量(trace_id=selfhold)。如果您有明确的逻辑区分,可以把您运营/自有的算法等方式可以通过上报不同的trace_id值进行区分。
6、可根据实例仪表盘对比智能推荐的效果变化,以及通过场景报表对比智能推荐和您自研的推荐效果。
如果您是先启动实例后再推送增量行为数据:
建议积累1-2周的行为数据后再观察推荐效果。
如果您是通过历史数据启动实例,且确保数据可用性显示正常:
则可于次日观察推荐效果。
一、概念解释
trace_id: 对应的是电商行业行为数据中的trace_id字段,用于区分回传的行为是Alibaba智能推荐产生的流量,还是用户自研系统产生的流量。trace_id具体使用方式见 官档-数据规范-trace_id字段含义。
跨渠道用户:即出现在多个桶中的用户指标,为保证推荐效果的可对比性,需要随机切分用户流量,且避免用户混合访问双方流量,因此此指标应该为0。
举例说明:一个user_id=1的用户,回传了两条行为数据,bhv_type均为expose,但是trace_id分别为Alibaba和selfhold,则我们判断,user_id=1的用户,看到的推荐结果,两次分别是自研系统推荐以及阿里推荐系统推荐,则该用户跨渠道了。
scene_id:对应的是行为数据中的scene_id字段。
二、实例仪表盘
通过实例仪表盘可以查看智能推荐的效果,方便跟过去做对比以及及时了解业务数据状况。
I 用户维度指标
当您进入实例仪表盘功能后,默认展示如上图的用户维度指标。
指标释义:
PV_CTR:Click-Through-Rate)即点击通过率,计算公式:总点击数/总曝光数。(不去重)
UV_CTR:基于用户的点击率,计算公式:有点击用户/总浏览用户。
PV_CVR(转化率): 购买次数/点击次数。
UV_CVR(转化率):购买用户数/点击用户数活跃item数:统计时间内产生过行为的商品总数。
日环比: 该值和前一日取值对比。
周同比: 该值和上周同一日取值对比。
最高: 查询时间段内最大取值。
最低: 查询时间段内最小取值。
均值: 查询时间段内,所有天的平均值。
日活用户:一天回传有行为的用户数。
月活用户:三十天内回传有行为的用户数
II 商品维度指标
点击此处可以查看当前实例的商品维度指标。您可以在此处查看不同场景下触发用户行为的商品类型分布:以及触发用户行为的商品一级类目/二级类目分布情况:
III 自定义分析指标
在您选定好期望分析的指标后,点击“开始分析”。
三、场景报表
如果您的场景是在控制台进行创建的,可以在这里查看每个场景的效果指标。
通过场景报表可以查看这个场景的各项指标如:点击率、转化率、用户活跃度、整体流量规模、流量转化率、人均流量。
可以勾选出您内部运营的那部分流量(trace_id=selfhold),来查看效果,与智能推荐(trace_id=Alibaba)这边的效果进行对比。
指标:
整体流量规模中指标如下:
曝光pv:客户回传行为中变量(传入查询的指定日期)的曝光次数总计。
点击pv:客户回传行为中变量(传入查询的指定日期)的点击次数总计。
收藏pv:客户回传行为中变量(传入查询的指定日期)的收藏次数总计。
分享pv: 客户回传行为中变量(传入查询的指定日期)的分享次数总计。
评论pv:客户回传行为中变量(传入查询的指定日期)的评论次数总计曝光uv:客户回传行为中变量(传入查询的指定日期)的曝光人数总计。
点击uv:客户回传行为中变量(传入查询的指定日期)的点击人数总计。
收藏uv:客户回传行为中变量(传入查询的指定日期)的收藏人数总计。
分享uv: 客户回传行为中变量(传入查询的指定日期)的分享人数总计。
评论uv:客户回传行为中变量(传入查询的指定日期)的评论人数总计。