重排配置

如何配置

重排的配置对应配置总览中的 SortConfs，SortConfs 是一个 []object 结构，可以配置多个重排策略，目前 PAI-Rec 内置的有 BoostScoreSort、BoostScoreByWeight、ItemRankScore、DiversityRuleSort、DPPSort 和 MultiRecallMixSort。

重排公共配置一览

每种重排配置，都会用到公共配置中的一部分，在此统一解释，在单独的重排配置中则不再赘述。

配置示例：

{
    "SortConfs": [
        {
            "Name": "",
            "SortType": ""
        }
    ]
}

提降权重排（BoostScoreSort）

当调用精排模型后，每个 item 会有个模型返回的 score，有时候根据业务运营需求，需要对 score 进行操作，即提降权操作。

提降权操作在设置上分为两部分

• 设置条件规则，通过 item 或者 user 的某些属性，比如类目，性别等属性来判断是否符合规则条件

• 设置提降权表达式，目前只支持对 score 设置表达式，比如 score * 1.2, score * 0.5 等等

配置示例

{
    "SortConfs": [
        {
            "Name": "BoostScoreSort",
            "SortType": "BoostScoreSort",
            "Debug": false,
            "BoostScoreConditions": [
                {
                    "Conditions": [
                        {
                            "Name": "sex",
                            "Domain": "item",
                            "Type": "string",
                            "Value": "gender",
                            "Operator": "equal"
                        }
                    ],
                    "Expression": "score * 2"
                }
            ]
        }
    ]
}

上面配置中所表达的意思为：对特征（sex）的值等于male的item，score乘以2。

FilterParamConfig 配置如下：

具体的条件设置，可以参考数量调整过滤（AdjustCountFilter）。

权重提降权重排（BoostScoreByWeight）

在对item进行提降权的时候，不同的item可能会有不同的权重，这个权重是item表中的一个字段，需要通过权重字段对score进行提降权。

score的计算公式：weight * item.score

配置示例

{
    "SortConfs": [
        {
            "Name": "BoostScoreByWeight",
            "SortType": "BoostScoreByWeight",
            "TimeInterval": 172800,
            "BoostScoreByWeightDao": {
                "AdapterType": "hologres",
                "HologresName": "pai_rec",
                "HologresTableName": "test",
                "ItemFieldName": "item_id",
                "WeightFieldName": "weight"
            }
        }
    ]
}

BoostScoreByWeightDao

Item分数重排（ItemRankScore）

ItemRankScore 可以通过 item 的 score 对 item 进行倒序排序，这个是引擎内置的，可以直接在 SortNames 中使用。

多样性重排（DiversityRuleSort）

在推荐结果进行输出时，我们除了考虑要抓住用户的兴趣点，还要考虑推荐条目多样性的需求，即不同品类，不同属性的物品可以混合输出。

这里我们配置的规则参考如下：

推荐多样性打散规则

术语定义：

1. 打散维度：用来打散的item属性，比如类目、作者、Tag等

2. 打散策略：

   • 最小间隔k,即最多允许某一打散维度连续出现k次。

   • 最多次数m，即在大小为n的窗口内同一打散维度的item不允许出现超过m次。

打散逻辑：

• 打散规则只在同一次请求的返回结果里做，不需要考虑跨请求的多样性。

• 可以配置多个打散维度。

• 可以针对每个打散维度配置多个打散策略，并且每个打散策略可以配置不同的参数（k,m,n)。

配置示例

{
    "SortConfs": [
        {
            "Name": "DiversityRuleSort",
            "SortType": "DiversityRuleSort",
            "DiversitySize": 100,
            "DiversityRules": [
                {
                    "Dimensions": ["spfl"],
                    "WindowSize": 10,
                    "FrequencySize": 1
                }
            ],
            "ExcludeRecalls": [
                "ColdStartVideoVectorRecall",
                "LinUcbRecall_default2"
            ],
            "Conditions": [
                {
                    "Name": "spflPick",
                    "Domain": "user",
                    "Type": "string",
                    "Value": "",
                    "Operator": "equal"
                }
            ]
        }
    ]
}

此重排需要配合 ExcludeRecalls 参数使用。

DiversityRules

DPPSort

DPP多样性打散算法参考资料：《基于行列式点过程的推荐多样性提升算法的直观理解》。

前提条件：使用DPP算法的前提是已经有了item里的embedding向量，而且这个embedding向量能够表示 item 本身的内容，embedding的相似度能够表示item内容层面的相似度，而不是其他层面（如行为）的相似度。举例如下：

• 建议：item图片embedding/文本描述信息的embedding/类目、属性等静态item内容组合得到embedding

• 不建议：基于用户行为数据训练模型得到的embedding

本质上，想要打散的维度一定要能够在embedding里反映出来。比如，我们希望推荐列表在商品价格这个维度有一些多样性，那么在训练模型得到embedding向量时就一定要有价格特征，否则就无法达到我们预期的效果。

配置示例：

{
    "SortConfs": [
        {
            "Name": "DPPSort",
            "SortType": "DPPSort",
            "DPPConf": {
                "Name": "DPPSort",
                "DaoConf": {
                    "AdapterType": "hologres",
                    "HologresName": "geeko_rec"
                },
                "TableName": "item_embedding_metric_learning",
                "TableSuffixParam": "embedding_date",
                "TablePKey": "product_id",
                "EmbeddingColumn": "embedding",
                "Alpha": 4.5,
                "NormalizeEmb": "false",
                "WindowSize": 10
            }
        }
    ]
}

DPPConf

SSDSort

SSD多样性打散算法参考资料：《提升推荐结果的多样性：MMR/DPP/SSD原理剖析》。

前提条件：使用SSD算法的前提是已经有了item里的embedding向量，而且这个embedding向量能够表示 item 本身的内容，embedding的相似度能够表示item内容层面的相似度，而不是其他层面（如行为）的相似度。举例如下：

建议：item图片embedding/文本描述信息的embedding/类目、属性等静态item内容组合得到embedding

不建议：基于用户行为数据训练模型得到的embedding

本质上，想要打散的维度一定要能够在embedding里反映出来。比如，我们希望推荐列表在商品价格这个维度有一些多样性，那么在训练模型得到embedding向量时就一定要有价格特征，否则就无法达到我们预期的效果。

配置示例：

{
    "SortConfs": [
        {
            "Name": "SSDSort",
            "SortType": "SSDSort",
            "SSDConf": {
                "Name": "SSDSort",
                "DaoConf": {
                    "AdapterType": "hologres",
                    "HologresName": "geeko_rec"
                },
                "TableName": "item_embedding_metric_learning",
                "TablePKey": "item_id",
                "EmbeddingColumn": "embedding",
                "Gamma": 0.25,
                "UseSSDStar": true,
                "NormalizeEmb": "false",
                "MinScorePercent": 0.1,
                "CandidateCount": 200,
                "WindowSize": 5
            }
        }
    ]
}

SSDConf

多路召回重排（MultiRecallMixSort）

一般情况下，我们会有很多路召回，有时根据业务运营需求，需要根据召回的类型进行混合输出，比如

• 对冷启动召回有曝光数量的要求

• 多某一路召回有位置的要求

也可能包括多个混排规则。

配置如下

{
    "SortConfs": [
        {
            "Name": "MixSort",
            "SortType": "MultiRecallMixSort",
            "RemainItem": false,
            "MixSortRules": [
                {
                    "MixStrategy": "random_position",
                    "NumberRate": 0.1,
                    "RecallNames": [
                        "OTSGlobalHot"
                    ]
                },
                {
                    "MixStrategy": "fix_position",
                    "Positions": 1,3,5],
                    "RecallNames": [
                        "RecallName1"
                    ]
                }
            ]
        }
    ]
}

除了使用召回名称来匹配条目进行过滤，还可以使用条件过滤筛选出 item，然后进行曝光。

{
    "SortConfs": [
        {
            "Name": "MixSortByItemFeature",
            "SortType": "MultiRecallMixSort",
            "RemainItem": false,
            "MixSortRules": [
                {
                    "MixStrategy": "random_position",
                    "NumberRate": 0.1,
                    "Conditions": [
                        {
                            "Name": "gender",
                            "Domain": "item",
                            "Type": "string",
                            "Value": "man",
                            "Operator": "equal"
                        }
                    ]
                }
            ]
        }
    ]
}

如何使用

重排配置和召回配置类似，配置好后，提供一个分场景使用的SortNames，SortNames是一个 Map[string]object结构，其中key是场景，每个场景对应一组重排策略

{
    "SortNames": {
        "${scene_name}": [
            "ItemRankScore"
        ]
    }
}

• ${scene_name} 为场景名，如果多个场景想使用同一份配置，则使用"default"。

• ItemRankScore：此参数为在SortConfs中定义的重排的自定义名称。