切流与效果观察

在切入正式流量前需要注意以下几点:

1、保证切流的随机性; 2、避免其他流量的掺杂,控制变量对比效果。 3、由于推荐返回的结果是根据某个user_id的感兴趣程度从高到低返回,所以不要推荐结果做重排序等操作。 4、预留QPS及配置弹性QPS计费

5、区分流量埋点是根据数据规范中的trace_id字段进行区分,切到智能推荐的流量则(trace_id=Alibaba)、您自行运营/自研那部分流量(trace_id=selfhold)。如果您有明确的逻辑区分,可以把您运营/自有的算法等方式可以通过上报不同的trace_id值进行区分。

6、可根据实例仪表盘对比智能推荐的效果变化,以及通过场景报表对比智能推荐和您自研的推荐效果。

如果您是先启动实例后再推送增量行为数据:

建议积累1-2周的行为数据后再观察推荐效果。

如果您是通过历史数据启动实例,且数据质量报告显示正常

则可于次日观察推荐效果。

一、概念解释

trace_id: 对应的是数据规范行为数据中的trace_id字段,用于区分回传的行为是Alibaba智能推荐产生的流量,还是用户自研系统产生的流量。trace_id具体使用方式见 官档-数据规范-trace_id字段含义。

跨渠道用户: 即出现在多个桶中的用户指标,为保证推荐效果的可对比性,需要随机切分用户流量,且避免用户混合访问双方流量,因此此指标应该为0。

举例说明:一个user_id=1的用户,回传了两条行为数据,bhv_type均为expose,但是trace_id分别为Alibaba和selfhold,则我们判断,user_id=1的用户,看到的推荐结果,两次分别是自研系统推荐以及阿里推荐系统推荐,则该用户跨渠道了。

scene_id:对应的是行为数据中的scene_id字段。

二、实例仪表盘

通过实例仪表盘可以查看智能推荐的效果,方便跟过去做对比以及及时了解业务数据状况。实例仪表盘

I 用户维度指标

当您进入实例仪表盘功能后,默认展示如上图的用户维度指标。

指标释义:

PV_CTR:Click-Through-Rate)即点击通过率,计算公式:总点击数/总曝光数。(不去重)

UV_CTR:基于用户的点击率,计算公式:有点击用户/总浏览用户。

PV_CVR(转化率): 购买次数/点击次数。

UV_CVR(转化率) :购买用户数/点击用户数活跃item数:统计时间内产生过行为的商品总数。

日环比: 该值和前一日取值对比。

周同比: 该值和上周同一日取值对比。

最高: 查询时间段内最大取值。

最低: 查询时间段内最小取值。

均值: 查询时间段内,所有天的平均值。

日活用户:一天回传有行为的用户数。

月活用户:三十天内回传有行为的用户数

II 商品维度指标

点击此处可以查看当前实例的商品维度指标。商品维度2您可以在此处查看不同场景下触发用户行为的商品类型分布:商品类型以及触发用户行为的商品一级类目/二级类目分布情况:类目分布

III 自定义分析指标

在您选定好期望分析的指标后,点击“开始分析”。开始分析

三、场景报表

如果您的场景是在控制台进行创建的,可以在这里查看每个场景的效果指标。

通过场景报表可以查看这个场景的各项指标如:点击率、转化率、用户活跃度、整体流量规模、流量转化率、人均流量。

可以勾选出您内部运营的那部分流量(trace_id=selfhold),来查看效果,与智能推荐(trace_id=Alibaba)这边的效果进行对比。场景报表

指标:

整体流量规模中指标如下:

曝光pv:客户回传行为中变量(传入查询的指定日期)的曝光次数总计。

点击pv:客户回传行为中变量(传入查询的指定日期)的点击次数总计。

收藏pv:客户回传行为中变量(传入查询的指定日期)的收藏次数总计。

分享pv: 客户回传行为中变量(传入查询的指定日期)的分享次数总计。

评论pv:客户回传行为中变量(传入查询的指定日期)的评论次数总计曝光uv:客户回传行为中变量(传入查询的指定日期)的曝光人数总计。

点击uv:客户回传行为中变量(传入查询的指定日期)的点击人数总计。

收藏uv:客户回传行为中变量(传入查询的指定日期)的收藏人数总计。

分享uv: 客户回传行为中变量(传入查询的指定日期)的分享人数总计。

评论uv:客户回传行为中变量(传入查询的指定日期)的评论人数总计。