文档

实验参数配置

更新时间:

重要

算法实验功能仅对标准版实例开放。

智能推荐标准版算法配置+实验平台新功能介绍:

一、实验目的

为优化某个指标如点击率、停留时长等,需要制定至少两个方案,在同一时间维度将客户端用户流量对应分成几组,在保证每组客户端用户特征相同的前提下,您可以分别看到不同的方案设计,根据几组客户端用户的真实数据反馈,决策出最优的实验方案后,推送全部流量至线上。

注:用户指客户端用户。

二、实验相关概念

缺省实验

  • 承接场景中未分配流量的实验,即场景未分配的流量为缺省实验流量,推荐效果符合预期的实验配置会被合并回缺省实验。

推全实验或实验推全

  • 实验上线后,经过一段时间的观察,如果实验效果满足预期,您需要将当前实验的配置合并回缺省实验,成为缺省实验配置,这个过程叫推全实验。

场景-业务策略

  • 当前场景可开放给您根据业务需求调整的策略集合。

运营策略

  • 面向运营同学开放的业务定制策略集合,一般是为了影响产品体验,支持适配运营需求的配置。

算法策略

  • 面向算法同学开放的业务策略集合,直接影响推荐算法的效果,需要通过实验经过一段时间对效果的验证后,才允许在场景内推全实验。

配置

  • 算法策略的一个配置项。

配置key

配置项的标识。

召回表

用于召回的数据表,可描述物品与物品之间的相似度(i2i)或者物品特征(item向量表)、用户特征(用户向量表)。

排序服务

即在线预测服务,目前暂时只支持PAI-EAS的在线预测服务,即对召回结果,进行在线打分排序。

trace_info

在使用实验管理功能时,您需要确保数据规范中的trace_info字段埋点正常、以及回传准确。

I trace_id=selfhold时,trace_info填1即可。

II trace_id=Alibaba时,在获取推荐结果时,会返回此item的trace_info。

trace_id=Alibaba说明这条行为数据,是通过“智能推荐”而推荐出来的这条item产生的行为。

回传行为数据时把这个item对应的trace_info原样回传即可。

III trace_info数据示例:ST_EDF470CB-D084-4E2C-812E-3F13B9AEA528_4、1007.5911.12351.1002000:::::

三、实验创建步骤

重要

1、只有当您完成实例的启动,并且当前场景已经处于运行中的状态,才可以启用实验;

2、实验与场景的关系:一个实例支持创建多个场景,一个场景可以创建20个实验,场景之间的实验互不干扰;

3、在创建实验之前,需要先启动实验,然后创建实验;

I启用实验

1

实验从提交启动到实验启动成功,需要1分钟左右。

image

当实验功能启用完成后,需选择切流方式。

如果在您的业务下,大部分客户端用户都处于登录状态,建议选择按照用户ID分流;

如果在您的业务下,大部分客户端用户都处于游客状态,建议选择按照设备ID(UTDID)分流。

一分钟左右后实验启动完成,默认会有一个缺省实验。若您第一次启动实验,当前的缺省实验绑定的就是当前场景下的默认推荐方案。

您可以点击“详情”查看当前缺省实验的配置,以及查看当前实验的业务效果报表。

2

II 创建实验

点击创建实验

3

1、填写基本信息

7

2、实验配置

您可以在本页面对召回及排序算法进行修改。

注意:其中每个算法的介绍及参数相关,详见:行业算法模型介绍

7

这里拿i2i召回链路进行说明:

i2i召回链路

i2i召回链路默认开启,如需要做实验把链路关闭,点击按钮开关即可开关链路。

点击i2i链路一栏中的“展开”,可以自行设置i2i的截断数量、以及各类i2i算法的优先级顺序。

i2i最大召回数量:召回池中最大容纳的item数量。

i2i算法:不同的i2i召回链路的优先级顺序。

8

自定义召回链路

如果您购买的是高级版实例,可以自定义召回链路加入算法模型中。

​ 注意:配置使用自定义召回链路需要提前进行召回表创建及注册。

详情见:召回模型部署(已下线)-排序服务部署部分。

设置大类别的召回链路优先级6

自定义排序模型

如果您购买的是高级版实例,可以自定义召回链路加入算法模型中。

​ 注意:配置使用自定义召回链路需要提前进行召回表创建及注册。

详情见:排序服务调试与应用

image

3、实验调试

在实验正式上线前,请您先通过本功能将测试用户加入实验白名单,以验证您的实验效果。

参数说明:

1、调试实验的id;

2、用于调试的用户(userid);

3、推荐商品数,最大数量为10。

9

4、实验上线、实验流量分配

注:建议分配流量于10%-20%,具体流量分配需参考您的实际流量,正式上线前需要完成实验调试。

image

点击“上线实验”。

10

5、实验上线后的操作

查看实例详情以及对某个实验组进行某种操作(详情、业务效果报表、更多)。

当前创建完实验后,可以在控制台-场景管理-实验管理处查看实验列表。

详情

点击详情可以查看实验详情;

业务效果报表

可以在实验效果分析处查看实验效果报表

6

四、实验决策

注意:实验决策(推全、下线、删除实验)操作不可逆,请谨慎操作。

I 推全实验

当某个实验效果较好(观察效果的时间周期建议是一周左右),您可以执行推全实验的操作,把当前实验的流量释放给缺省实验。

推全操作完成后,当前场景下的缺省实验将自动改为推全实验中的配置,缺省实验的流量也在原来的基础上增加推全实验的流量。

例如:原缺省实验配置为A1、B1、C1,具有1号、2号、3号的三个流量桶。通过实验效果报表发现配置为A2、B2、C3的实验X(具有4号、5号、6号)效果最佳,现对实验X执行推全操作,则缺省实验配置同步为A2、B2、C3,具有1号、2号、3号、4号、5号、6号的六个流量桶。

操作步骤:

点击某个实验的实验决策

11

选择“推全实验”后,会显示出修改过的配置的实验配置,点击“同步缺省实验”,点击确定。8

II 下线实验

如果您的某个实验不满足预期,您可以选择下线这个实验去结束您当前的实验。9

  • 本页导读 (0)
文档反馈