实验参数配置
算法实验功能仅对算法配置版实例开放。
一、实验目的
为优化某个指标如点击率、停留时长等，需要制定至少两个方案，在同一时间维度将客户端用户流量对应分成几组，在保证每组客户端用户特征相同的前提下，您可以分别看到不同的方案设计，根据几组客户端用户的真实数据反馈，决策出最优的实验方案后，推送全部流量至线上。
注：用户指客户端用户。
二、实验相关概念
缺省实验
承接场景中未分配流量的实验，即场景未分配的流量为缺省实验流量，推荐效果符合预期的实验配置会被合并回缺省实验。
推全实验或实验推全
实验上线后，经过一段时间的观察，如果实验效果满足预期，您需要将当前实验的配置合并回缺省实验，成为缺省实验配置，这个过程叫推全实验。
场景-业务策略
当前场景可开放给您根据业务需求调整的策略集合。
运营策略
面向运营同学开放的业务定制策略集合，一般是为了影响产品体验，支持适配运营需求的配置。
算法策略
面向算法同学开放的业务策略集合，直接影响推荐算法的效果，需要通过实验经过一段时间对效果的验证后，才允许在场景内推全实验。
配置
算法策略的一个配置项。
配置key
配置项的标识。
召回表
用于召回的数据表，可描述物品与物品之间的相似度（i2i）或者物品特征（item向量表）、用户特征（用户向量表）。
排序服务
即在线预测服务，目前暂时只支持PAI-EAS的在线预测服务，即对召回结果，进行在线打分排序。
trace_info
在使用实验管理功能时，您需要确保数据规范中的trace_info字段埋点正常、以及回传准确。
I trace_id=selfhold时，trace_info填1即可。
II trace_id=Alibaba时，在获取推荐结果时，会返回此item的trace_info。
trace_id=Alibaba说明这条行为数据，是通过“智能推荐”而推荐出来的这条item产生的行为。
回传行为数据时把这个item对应的trace_info原样回传即可。
III trace_info数据示例：ST_EDF470CB-D084-4E2C-812E-3F13B9AEA528_4、1007.5911.12351.1002000:::::
三、实验创建步骤
1、只有当您完成实例的启动，并且当前场景已经处于运行中的状态，才可以启用实验；
2、实验与场景的关系：一个实例支持创建多个场景，一个场景可以创建20个实验，场景之间的实验互不干扰；
3、在创建实验之前，需要先启动实验，然后创建实验；
I启用实验
在左侧导航栏选择在线实验平台 > 实验参数配置，在推荐场景下拉框中选择目标场景，单击启用实验。
实验从提交启动到实验启动成功，需要1分钟左右。
当实验功能启用完成后，需选择切流方式。
如果在您的业务下，大部分客户端用户都处于登录状态，建议选择按照用户ID分流；
如果在您的业务下，大部分客户端用户都处于游客状态，建议选择按照设备ID（UTDID）分流。
一分钟左右后实验启动完成，默认会有一个缺省实验。若您第一次启动实验，当前的缺省实验绑定的就是当前场景下的默认推荐方案。
您可以点击“详情”查看当前缺省实验的配置，以及查看当前实验的业务效果报表。
实验基础配置中分桶数为10，缺省实验默认占用全部桶号（1至10），状态为运行中。
II 创建实验
点击创建实验
1、填写基本信息
基本信息表单包含以下字段：实验ID（自动分配，不可编辑）、名称（填写实验名称，如 test01）、被克隆实验（从下拉框中选择已有实验，当前实验将复制被克隆实验的算法策略，并基于其定制实验算法策略）、实验描述（可选，用于描述实验背景或对照实验等信息）。填写完成后单击下一步进入实验配置。
2、实验配置
您可以在本页面对召回及排序算法进行修改。
注意：其中每个算法的介绍及参数相关，详见：行业算法模型介绍
i2i召回链路
i2i召回链路默认开启，如需要做实验把链路关闭，点击按钮开关即可开关链路。
点击i2i链路一栏中的“展开”，可以自行设置i2i的截断数量、以及各类i2i算法的优先级顺序。
i2i最大召回数量：召回池中最大容纳的item数量。
i2i算法：不同的i2i召回链路的优先级顺序。
具体配置项为size（基于物品协同过滤最大召回数量，例如设置为2000）和innerOrder（优化算子及优先级，默认顺序为：子类目收敛优化=1、基准基于物品协同过滤=2、父类目收敛优化=3）。页面下方还列出向量召回、用户偏好召回、综合热度召回、新品扶持等其他召回链路，可通过开关分别启用或关闭。
自定义召回链路
如果您购买的是高级版实例，可以自定义召回链路加入算法模型中。
注意：配置使用自定义召回链路需要提前进行召回表创建及注册。
设置大类别的召回链路优先级配置示例：通过下拉框依次设置各召回链路的优先级，如基于物品协同过滤=1、用户偏好召回=2、向量召回=3、综合热度召回=4、新品扶持=5，数字越小优先级越高。
自定义排序模型
如果您购买的是高级版实例，可以自定义排序模型加入算法模型中。
详情见：排序服务调试与应用。
3、实验调试
在实验正式上线前，请您先通过本功能将测试用户加入实验白名单，以验证您的实验效果。
1、调试实验的id；
2、用于调试的用户（userid）；
3、推荐商品数，最大数量为10。
此外，可在用户特征输入框中上传自定义用户特征，格式为 featurename:featurevalue,featurename2:featurevalue2（仅支持开启实验功能并使用 EAS 自定义排序的用户）。填写完成后单击请求结果按钮验证实验效果。
4、实验上线、实验流量分配
注：建议分配流量于10%-20%，具体流量分配需参考您的实际流量，正式上线前需要完成实验调试。
点击“上线实验”。
5、实验上线后的操作
查看实例详情以及对某个实验组进行某种操作（详情、业务效果报表、更多）。
当前创建完实验后，可以在控制台-场景管理-实验管理处查看实验列表。
详情
点击详情可以查看实验详情。
业务效果报表
可以在实验效果分析处查看实验效果报表。
在实验效果分析页面，可通过推荐场景、渠道筛选、报表粒度和时间范围（昨天/近7天/近15天）等筛选条件过滤数据。业务目标区域支持切换点击率(PV_CTR)和点击率(UV_CTR)两个指标页签，以折线图展示所选时间段内的指标趋势。
四、实验决策
注意：实验决策（推全、下线、删除实验）操作不可逆，请谨慎操作。
I 推全实验
当某个实验效果较好（观察效果的时间周期建议是一周左右），您可以执行推全实验的操作，把当前实验的流量释放给缺省实验。
推全操作完成后，当前场景下的缺省实验将自动改为推全实验中的配置，缺省实验的流量也在原来的基础上增加推全实验的流量。
例如：原缺省实验配置为A1、B1、C1，具有1号、2号、3号的三个流量桶。通过实验效果报表发现配置为A2、B2、C3的实验X（具有4号、5号、6号）效果最佳，现对实验X执行推全操作，则缺省实验配置同步为A2、B2、C3，具有1号、2号、3号、4号、5号、6号的六个流量桶。
点击某个实验的实验决策
在实验列表中，单击目标实验操作列的更多，在下拉菜单中选择实验决策。
选择“推全实验”后，会显示出修改过的配置的实验配置，点击“同步缺省实验”，点击确定。
II 下线实验
如果您的某个实验不满足预期，您可以选择下线这个实验去结束您当前的实验。如果实验效果不满足预期，可在实验决策页面的决策结论中选择下线实验结束当前实验。下线实验后，当前实验流量将被释放给缺省实验。