算法实验功能仅对标准版实例开放。
智能推荐标准版算法配置+实验平台新功能介绍:
一、实验目的
为优化某个指标如点击率、停留时长等,需要制定至少两个方案,在同一时间维度将客户端用户流量对应分成几组,在保证每组客户端用户特征相同的前提下,您可以分别看到不同的方案设计,根据几组客户端用户的真实数据反馈,决策出最优的实验方案后,推送全部流量至线上。
注:用户指客户端用户。
二、实验相关概念
缺省实验
承接场景中未分配流量的实验,即场景未分配的流量为缺省实验流量,推荐效果符合预期的实验配置会被合并回缺省实验。
推全实验或实验推全
实验上线后,经过一段时间的观察,如果实验效果满足预期,您需要将当前实验的配置合并回缺省实验,成为缺省实验配置,这个过程叫推全实验。
场景-业务策略
当前场景可开放给您根据业务需求调整的策略集合。
运营策略
面向运营同学开放的业务定制策略集合,一般是为了影响产品体验,支持适配运营需求的配置。
算法策略
面向算法同学开放的业务策略集合,直接影响推荐算法的效果,需要通过实验经过一段时间对效果的验证后,才允许在场景内推全实验。
配置
算法策略的一个配置项。
配置key
配置项的标识。
召回表
用于召回的数据表,可描述物品与物品之间的相似度(i2i)或者物品特征(item向量表)、用户特征(用户向量表)。
排序服务
即在线预测服务,目前暂时只支持PAI-EAS的在线预测服务,即对召回结果,进行在线打分排序。
trace_info
在使用实验管理功能时,您需要确保数据规范中的trace_info字段埋点正常、以及回传准确。
I trace_id=selfhold时,trace_info填1即可。
II trace_id=Alibaba时,在获取推荐结果时,会返回此item的trace_info。
trace_id=Alibaba说明这条行为数据,是通过“智能推荐”而推荐出来的这条item产生的行为。
回传行为数据时把这个item对应的trace_info原样回传即可。
III trace_info数据示例:ST_EDF470CB-D084-4E2C-812E-3F13B9AEA528_4、1007.5911.12351.1002000:::::
三、实验创建步骤
1、只有当您完成实例的启动,并且当前场景已经处于运行中的状态,才可以启用实验;
2、实验与场景的关系:一个实例支持创建多个场景,一个场景可以创建20个实验,场景之间的实验互不干扰;
3、在创建实验之前,需要先启动实验,然后创建实验;
I启用实验
实验从提交启动到实验启动成功,需要1分钟左右。
当实验功能启用完成后,需选择切流方式。
如果在您的业务下,大部分客户端用户都处于登录状态,建议选择按照用户ID分流;
如果在您的业务下,大部分客户端用户都处于游客状态,建议选择按照设备ID(UTDID)分流。
一分钟左右后实验启动完成,默认会有一个缺省实验。若您第一次启动实验,当前的缺省实验绑定的就是当前场景下的默认推荐方案。
您可以点击“详情”查看当前缺省实验的配置,以及查看当前实验的业务效果报表。
II 创建实验
点击创建实验
1、填写基本信息
2、实验配置
您可以在本页面对召回及排序算法进行修改。
注意:其中每个算法的介绍及参数相关,详见:行业算法模型介绍
这里拿i2i召回链路进行说明:
i2i召回链路
i2i召回链路默认开启,如需要做实验把链路关闭,点击按钮开关即可开关链路。
点击i2i链路一栏中的“展开”,可以自行设置i2i的截断数量、以及各类i2i算法的优先级顺序。
i2i最大召回数量:召回池中最大容纳的item数量。
i2i算法:不同的i2i召回链路的优先级顺序。
自定义召回链路
如果您购买的是高级版实例,可以自定义召回链路加入算法模型中。
注意:配置使用自定义召回链路需要提前进行召回表创建及注册。
详情见:召回模型部署(已下线)-排序服务部署部分。
设置大类别的召回链路优先级
自定义排序模型
如果您购买的是高级版实例,可以自定义召回链路加入算法模型中。
注意:配置使用自定义召回链路需要提前进行召回表创建及注册。
详情见:排序服务调试与应用。
3、实验调试
在实验正式上线前,请您先通过本功能将测试用户加入实验白名单,以验证您的实验效果。
参数说明:
1、调试实验的id;
2、用于调试的用户(userid);
3、推荐商品数,最大数量为10。
4、实验上线、实验流量分配
注:建议分配流量于10%-20%,具体流量分配需参考您的实际流量,正式上线前需要完成实验调试。
点击“上线实验”。
5、实验上线后的操作
查看实例详情以及对某个实验组进行某种操作(详情、业务效果报表、更多)。
当前创建完实验后,可以在控制台-场景管理-实验管理处查看实验列表。
详情
点击详情可以查看实验详情;
业务效果报表
可以在实验效果分析处查看实验效果报表
四、实验决策
注意:实验决策(推全、下线、删除实验)操作不可逆,请谨慎操作。
I 推全实验
当某个实验效果较好(观察效果的时间周期建议是一周左右),您可以执行推全实验的操作,把当前实验的流量释放给缺省实验。
推全操作完成后,当前场景下的缺省实验将自动改为推全实验中的配置,缺省实验的流量也在原来的基础上增加推全实验的流量。
例如:原缺省实验配置为A1、B1、C1,具有1号、2号、3号的三个流量桶。通过实验效果报表发现配置为A2、B2、C3的实验X(具有4号、5号、6号)效果最佳,现对实验X执行推全操作,则缺省实验配置同步为A2、B2、C3,具有1号、2号、3号、4号、5号、6号的六个流量桶。
操作步骤:
点击某个实验的实验决策
选择“推全实验”后,会显示出修改过的配置的实验配置,点击“同步缺省实验”,点击确定。
II 下线实验
如果您的某个实验不满足预期,您可以选择下线这个实验去结束您当前的实验。