全部产品

实验功能使用手册

注意:算法实验功能仅对标准版实例开放。

智能推荐标准版算法配置+实验平台新功能介绍:

一、实验目的

为优化某个指标如点击率、停留时长等,需要制定至少两个方案,在同一时间维度将客户端用户流量对应分成几组,在保证每组客户端用户特征相同的前提下,您可以分别看到不同的方案设计,根据几组客户端用户的真实数据反馈,决策出最优的实验方案后,推送全部流量至线上。

注:用户指客户端用户。

二、实验相关概念

缺省实验

承接场景中未分配流量的实验,即场景未分配的流量为缺省实验流量,推荐效果符合预期的实验配置会被合并回缺省实验。

推全实验或实验推全

实验上线后,经过一段时间的观察,如果实验效果满足预期,您需要将当前实验的配置合并回缺省实验,成为缺省实验配置,这个过程叫推全实验。

场景-业务策略

当前场景可开放给您根据业务需求调整的策略集合。

运营策略

面向运营同学开放的业务定制策略集合,一般是为了影响产品体验,支持适配运营需求的配置。

算法策略

面向算法同学开放的业务策略集合,直接影响推荐算法的效果,需要通过实验经过一段时间对效果的验证后,才允许在场景内推全实验。

配置

算法策略的一个配置项。

配置key

配置项的标识。

召回表

用于召回的数据表,可描述物品与物品之间的相似度(i2i)或者物品特征(item向量表)、用户特征(用户向量表)。

排序服务

即在线预测服务,目前暂时只支持PAI-EAS的在线预测服务,即对召回结果,进行在线打分排序。

trace_info

在使用实验管理功能时,您需要确保数据规范中的trace_info字段埋点正常、以及回传准确。

I trace_id=selfhold时,trace_info填1即可。

II trace_id=Alibaba时,在获取推荐结果时,会返回此item的trace_info。

trace_id=Alibaba说明这条行为数据,是通过“智能推荐”而推荐出来的这条item产生的行为。

回传行为数据时把这个item对应的trace_info原样回传即可。

III trace_info数据示例:ST_EDF470CB-D084-4E2C-812E-3F13B9AEA528_4、1007.5911.12351.1002000:::::

三、实验创建步骤

注意:

只有当您完成实例的启动,并且当前场景已经处于运行中的状态,才可以启用实验;

实验与场景的关系:一个实例支持创建多个场景,一个场景可以创建20个实验,场景之间的实验互不干扰;

在创建实验之前,需要先启动实验,然后创建实验;

II 启用实验1

实验从提交启动到实验启动成功,需要1分钟左右。

当实验功能启用完成后,需选择切流方式。

如果在您的业务下,大部分客户端用户都处于登陆状态,建议选择按照用户ID分流;

如果在您的业务下,大部分客户端用户都处于游客状态,建议选择按照设备ID(UTDID)分流。

一分钟左右后实验启动完成,默认会有一个缺省实验。若您第一次启动实验,当前的缺省实验绑定的就是当前场景下的默认推荐方案。

您可以点击“详情”查看当前缺省实验的配置,以及查看当前实验的业务效果报表。2

II 创建实验

点击创建实验3

1、填写基本信息4

2、实验配置

您可以在本页面对召回及排序算法进行修改。

注意:其中每个实验的介绍及参数相关,详见:行业算法模型介绍4

这里拿i2i召回链路进行说明:

i2i召回链路

i2i召回链路默认开启,如需要做实验把链路关闭,点击按钮开关即可开关链路。

点击i2i链路一栏中的“展开”,可以自行设置i2i的截断数量、以及各类i2i算法的优先级顺序。

i2i最大召回数量:召回池中最大容纳的item数量。

i2i算法:不同的i2i召回链路的优先级顺序。5

设置大类别的召回链路优先级6

3、实验调试

在实验正式上线前,请您先通过本功能将测试用户加入实验白名单,以验证您的实验效果。

参数说明:

1、调试实验的id;

2、用于调试的用户(userid);

3、推荐商品数,最大数量为10。

4、实验上线、实验流量分配

注:建议分配流量于10%-20%,具体流量分配需参考您的实际流量,正式上线前需要完成实验调试。

点击“上线实验”。

5、实验上线后的操作

查看实例详情以及对某个实验组进行某种操作(详情、业务效果报表、更多)。

当前创建完实验后,可以在控制台-场景管理-实验管理处查看实验列表。

详情

点击详情可以查看实验详情;

业务效果报表

四、实验决策

注意:实验决策(推全、下线、删除实验)操作不可逆,请谨慎操作。

I 推全实验

当某个实验效果较好(观察效果的时间周期建议是一周左右),您可以执行推全实验的操作,把当前实验的流量释放给缺省实验。

推全操作完成后,当前场景下的缺省实验将自动改为推全实验中的配置,缺省实验的流量也在原来的基础上增加推全实验的流量。

例如:原缺省实验配置为A1、B1、C1,具有1号、2号、3号的六个流量桶。通过实验效果报表发现配置为A2、B2、C3的实验X效果最佳,现对实验X执行推全操作,则缺省实验配置同步为A2、B2、C3,具有1号、2号、3号、4号、5号、6号的六个流量桶。

操作步骤:

点击某个实验的实验决策7

选择“推全实验”后,会显示出修改过的配置的实验配置,点击“同步缺省实验”,点击确定。8

II 下线实验

如果您的某个实验不满足预期,您可以选择下线这个实验去结束您当前的实验。9