重排配置

如何配置

重排的配置对应配置总览中的 SortConfs，SortConfs 是一个 []object 结构，可以配置多个重排策略，目前 PAI-Rec 内置的有 BoostScoreSort、BoostScoreByWeight、ItemRankScore、DiversityRuleSort、DPPSort 和 MultiRecallMixSort。

重排公共配置一览

每种重排配置，都会用到公共配置中的一部分，在此统一解释，在单独的重排配置中则不再赘述。

配置示例：

{
    "SortConfs": [
        {
            "Name": "",
            "SortType": ""
        }
    ]
}

提降权重排（BoostScoreSort）

当调用精排模型后，每个 item 会有个模型返回的 score，有时候根据业务运营需求，需要对 score 进行操作，即提降权操作。

提降权操作在设置上分为两部分

• 设置条件规则，通过 item 或者 user 的某些属性，比如类目，性别等属性来判断是否符合规则条件

• 设置提降权表达式，目前只支持对 score 设置表达式，比如 score * 1.2, score * 0.5 等等

配置示例

{
    "SortConfs": [
        {
            "Name": "BoostScoreSort",
            "SortType": "BoostScoreSort",
            "Debug": false,
            "BoostScoreConditions": [
                {
                    "Conditions": [
                        {
                            "Name": "sex",
                            "Domain": "item",
                            "Type": "string",
                            "Value": "gender",
                            "Operator": "equal"
                        }
                    ],
                    "Expression": "score * 2"
                }
            ]
        }
    ]
}

上面配置中所表达的意思为：对特征（sex）的值等于male的item，score乘以2。

FilterParamConfig 配置如下：

具体的条件设置，可以参考数量调整过滤（AdjustCountFilter）。

权重提降权重排（BoostScoreByWeight）

在对item进行提降权的时候，不同的item可能会有不同的权重，这个权重是item表中的一个字段，需要通过权重字段对score进行提降权。

score的计算公式：weight * item.score

配置示例

{
    "SortConfs": [
        {
            "Name": "BoostScoreByWeight",
            "SortType": "BoostScoreByWeight",
            "TimeInterval": 172800,
            "BoostScoreByWeightDao": {
                "AdapterType": "hologres",
                "HologresName": "pai_rec",
                "HologresTableName": "test",
                "ItemFieldName": "item_id",
                "WeightFieldName": "weight"
            }
        }
    ]
}

BoostScoreByWeightDao

Item分数重排（ItemRankScore）

ItemRankScore 可以通过 item 的 score 对 item 进行倒序排序，这个是引擎内置的，可以直接在 SortNames 中使用。

多样性重排（DiversityRuleSort）

在推荐结果进行输出时，我们除了考虑要抓住用户的兴趣点，还要考虑推荐条目多样性的需求，即不同品类，不同属性的物品可以混合输出。

这里我们配置的规则参考如下：

推荐多样性打散规则

术语定义：

1. 打散维度：用来打散的item属性，比如类目、作者、Tag等

2. 打散策略：

   • 最小间隔k,即最多允许某一打散维度连续出现k次。

   • 最多次数m，即在大小为n的窗口内同一打散维度的item不允许出现超过m次。

打散逻辑：

• 打散规则只在同一次请求的返回结果里做，不需要考虑跨请求的多样性。

• 可以配置多个打散维度。

• 可以针对每个打散维度配置多个打散策略，并且每个打散策略可以配置不同的参数（k,m,n)。

配置示例

{
    "SortConfs": [
        {
            "Name": "DiversityRuleSort",
            "SortType": "DiversityRuleSort",
            "DiversitySize": 100,
            "DiversityRules": [
                {
                    "Dimensions": ["spfl"],
                    "WindowSize": 10,
                    "FrequencySize": 1
                }
            ],
            "ExcludeRecalls": [
                "ColdStartVideoVectorRecall",
                "LinUcbRecall_default2"
            ],
            "Conditions": [
                {
                    "Name": "spflPick",
                    "Domain": "user",
                    "Type": "string",
                    "Value": "",
                    "Operator": "equal"
                }
            ]
        }
    ]
}

此重排需要配合 ExcludeRecalls 参数使用。

DiversityRules

排除规则和搜索深度的示例参考如下

对于tag=t1符合条件的item不应出现在1,2,3,4的输出位置上，1,2,3,4出现的物品还是要符合打散规则，但不能是tag=t1。

{
    "Name": "DiversityRuleSort",
    "SortType": "DiversityRuleSort",
    "DiversityRules": [
        {
            "Dimensions": [
                "tag"
            ],
            "WindowSize": 5,
            "FrequencySize": 1
        }
    ],
    "ExclusionRules": [
        {
            "Positions": [
                1,2,3,4
            ],
            "Conditions": [
                {
                    "Name": "tag",
                    "Domain": "item",
                    "Type": "string",
                    "Value": "t1",
                    "Operator": "equal"
                }
            ]
        }
    ],
    "ExploreItemSize" : 200
}

在搜索物品满足多样性规则时，在默认情况下，只有当物品满足所有规则时，才会输出。如果任何一条多样性规则不满足时，就会搜索下一个物品，直至找到满足规则的物品。如果候选集中所有的物品都不满足所有规则，那么就会选取最开始的搜索物品进行输出。

目前还提供一种策略，就是给多样性规则上增加权重，如果候选集中所有的物品都不满足所有规则时，会选择物品满足规则权重之和最大的那个进行输出（如果有多个物品满足的话，选择位置最靠前的物品）。

带有权重的配置参考如下：

{
    "Name": "DiversityRuleSort",
    "SortType": "DiversityRuleSort",
    "DiversityRules": [
        {
            "Dimensions": [
                "tag"
            ],
            "WindowSize": 5,
            "FrequencySize": 1,
            "Weight": 1
        },
        {
            "Dimensions": [
                "category"
            ],
            "WindowSize": 3,
            "FrequencySize": 1,
             "Weight": 3
        }
    ],
    "ExclusionRules": [
        {
            "Positions": [
                1
            ],
            "Conditions": [
                {
                    "Name": "tag",
                    "Domain": "item",
                    "Type": "string",
                    "Value": "t1",
                    "Operator": "equal"
                }
            ]
        }
    ]
}

多值维度打散（MultiValueDimensionConf）

默认情况下，打散维度（Dimensions）中的每个 item 属性都按单值处理，即取属性的字符串值做精确匹配来判断两个 item 是否属于同一维度。但有些场景下，item 的某个属性本身是多值的（例如一个商品同时属于多个类目、带有多个标签，如 tag = "sports,news,tech"）。此时可以通过 MultiValueDimensionConf 将该维度声明为多值维度，引擎会先按分隔符将属性值切分为多个值，再进行打散判断。

打散判断逻辑：对于多值维度，只要两个 item 在该维度上存在任意一个相同的值，就认为它们在该维度上"相同"（会受打散规则约束）；普通（单值）维度仍然是取值完全相等才算相同。当一条打散规则配置了多个 Dimensions 时，需要所有维度都判定为"相同"，两个 item 才会被视为同一维度。

配置示例

{
  "SortConfs": [
    {
      "Name": "DiversityRuleSort",
      "SortType": "DiversityRuleSort",
      "DiversityRules": [
        {
          "Dimensions": ["tag"],
          "WindowSize": 5,
          "FrequencySize": 1
        }
      ],
      "MultiValueDimensionConf": [
        {
          "DimensionName": "tag",
          "Delimiter": ","
        }
      ]
    }
  ]
}

上面配置表示：item 的 tag 属性是一个用英文逗号分隔的多值字段（如 "sports,news,tech"），引擎会按逗号切分后进行打散。在大小为 5 的窗口内，只要两个 item 的 tag 中存在任意一个相同的标签，就认为它们重复，最多允许出现 1 次。

说明

• MultiValueDimensionConf 是对 DiversityRules 中已有维度的补充声明，只有在 Dimensions 中出现过的维度名，在此处配置才会生效。

• 只需为多值属性配置，未在此列出的维度仍按单值精确匹配处理。

• 可以同时声明多个多值维度。

多样性重排V2（DiversityRuleSortV2）

DiversityRuleSortV2 是 DiversityRuleSort（V1）的增强版本，在完整继承 V1 所有打散能力的基础上，新增了跨页打散（Cross-Page Diversity）功能，解决了翻页场景下相邻页之间打散规则失效的问题。

{
  "SortConfs": [
    {
      "Name": "DiversityRuleSortV2",
      "SortType": "DiversityRuleSortV2",
      "DiversitySize": 100,
      "DiversityRules": [
        {
          "Dimensions": ["category"],
          "WindowSize": 10,
          "FrequencySize": 1
        }
      ],
      "ExcludeRecalls": ["ColdStartRecall"],
      "Conditions": [
        {
          "Name": "user_level",
          "Domain": "user",
          "Type": "string",
          "Value": "vip",
          "Operator": "equal"
        }
      ]
    }
  ]
}

{
  "SortConfs": [
    {
      "Name": "DiversityRuleSortV2",
      "SortType": "DiversityRuleSortV2",
      "DiversitySize": 100,
      "DiversityRules": [
        {
          "Dimensions": ["category"],
          "WindowSize": 6,
          "FrequencySize": 1
        },
        {
          "Dimensions": ["author"],
          "IntervalSize": 2
        }
      ],
      "CrossPageDiversity": {
        "Enable": true,
        "LastItemIdsParam": "last_page_item_ids",
        "DiversityDaoConf": {
          "AdapterType": "featurestore",
          "FeatureStoreName": "my_fs",
          "FeatureStoreViewName": "item_feature_view",
          "DistinctFields": ["category", "author"],
          "CacheTimeInMinutes": 60,
          "CacheSize": 100000
        }
      }
    }
  ]
}

流量调控重排（TrafficControlSort）

流量调控就是通过算法、策略、系统的设计和优化，构建出用来平衡平台利益和长期价值的流量分发系统。

流量调控的优势：

• 扶持效果好：“流量调控”是基于PaiRec推荐系统架构而开发的流量干预功能，在不扰乱推荐系统整体推荐逻辑的基础上对所选物品池进行精准流量干预。

• 效果可量化：与传统的“加权”方式相比，“流量调控”功能以物品池的曝光次数、曝光次数占比等可量化的指标为调控的目标，更容易实现定量扶持；

• 易于管理：“流量调控”以任务为功能单元实现业务诉求，针对不同种类的流量干预需求可以建立不同的“流量调控”任务，这种方式便于灵活管理，您可以随时新建或结束一个任务。

• 操作简单：您只需要新建并配置任务目标等信息，系统将根据您的配置自动干预流量的分发，不需要您持续观察和监测；

流量调控算法调参指南：调参指南，流量调控详细设置指南：流量调控使用流程

配置示例：

{
    "Name": "TrafficControlSort",
    "SortType": "TrafficControlSort",
    "PIDConf": {
        "DefaultKp": 5,
        "DefaultKi": 1,
        "DefaultKd": 1
    }
}

PID主要计算逻辑：

PIDConf

DPPSort

DPP多样性打散算法参考资料：《基于行列式点过程的推荐多样性提升算法的直观理解》。

前提条件：使用DPP算法的前提是已经有了item里的embedding向量，而且这个embedding向量能够表示 item 本身的内容，embedding的相似度能够表示item内容层面的相似度，而不是其他层面（如行为）的相似度。举例如下：

• 建议：item图片embedding/文本描述信息的embedding/类目、属性等静态item内容组合得到embedding

• 不建议：基于用户行为数据训练模型得到的embedding

本质上，想要打散的维度一定要能够在embedding里反映出来。比如，我们希望推荐列表在商品价格这个维度有一些多样性，那么在训练模型得到embedding向量时就一定要有价格特征，否则就无法达到我们预期的效果。

配置示例：

{
    "SortConfs": [
        {
            "Name": "DPPSort",
            "SortType": "DPPSort",
            "DPPConf": {
                "Name": "DPPSort",
                "DaoConf": {
                    "AdapterType": "hologres",
                    "HologresName": "geeko_rec"
                },
                "TableName": "item_embedding_metric_learning",
                "TableSuffixParam": "embedding_date",
                "TablePKey": "product_id",
                "EmbeddingColumn": "embedding",
                "Alpha": 4.5,
                "NormalizeEmb": "false",
                "WindowSize": 10
            }
        }
    ]
}

DPPConf

SSDSort

SSD多样性打散算法参考资料：《提升推荐结果的多样性：MMR/DPP/SSD原理剖析》。

前提条件：使用SSD算法的前提是已经有了item里的embedding向量，而且这个embedding向量能够表示 item 本身的内容，embedding的相似度能够表示item内容层面的相似度，而不是其他层面（如行为）的相似度。举例如下：

建议：item图片embedding/文本描述信息的embedding/类目、属性等静态item内容组合得到embedding

不建议：基于用户行为数据训练模型得到的embedding

本质上，想要打散的维度一定要能够在embedding里反映出来。比如，我们希望推荐列表在商品价格这个维度有一些多样性，那么在训练模型得到embedding向量时就一定要有价格特征，否则就无法达到我们预期的效果。

配置示例：

{
    "SortConfs": [
        {
            "Name": "SSDSort",
            "SortType": "SSDSort",
            "SSDConf": {
                "Name": "SSDSort",
                "DaoConf": {
                    "AdapterType": "hologres",
                    "HologresName": "geeko_rec"
                },
                "TableName": "item_embedding_metric_learning",
                "TablePKey": "item_id",
                "EmbeddingColumn": "embedding",
                "Gamma": 0.25,
                "UseSSDStar": true,
                "NormalizeEmb": "false",
                "MinScorePercent": 0.1,
                "CandidateCount": 200,
                "WindowSize": 5
            }
        }
    ]
}

SSDConf

多路召回重排（MultiRecallMixSort）

一般情况下，我们会有很多路召回，有时根据业务运营需求，需要根据召回的类型进行混合输出，比如

• 对冷启动召回有曝光数量的要求

• 多某一路召回有位置的要求

• 也可以将Item的某个特征作为条件，控制输出位置或数量。

某路召回按照比例输出，如下配置：ColdStartRecall 数量将会占总数量的 10%。

{
    "SortConfs": [
        {
            "Name": "MixSort",
            "SortType": "MultiRecallMixSort",
            "RemainItem": false,
            "MixSortRules": [
                {
                    "MixStrategy": "random_position",
                    "NumberRate": 0.1,
                    "RecallNames": [
                        "ColdStartRecall"
                    ]
                }
            ]
        }
    ]
}

某路召回按照固定位置输出，配置如下：会先选择 GlobalHotRecall 中 score 最高的几个item填充在固定位置，剩余的 item，按照 score 排序，填充在剩余位置。

{
    "SortConfs": [
        {
            "Name": "MixSort",
            "SortType": "MultiRecallMixSort",
            "RemainItem": false,
            "MixSortRules": [
                {
                    "MixStrategy": "fix_position",
                    "Positions": [1,3,5],
                    "RecallNames": [
                        "GlobalHotRecall"
                    ]
                }
            ]
        }
    ]
}

使用条件过滤筛选出 item，然后按比例控制数量。

{
    "SortConfs": [
        {
            "Name": "MixSortByItemFeature",
            "SortType": "MultiRecallMixSort",
            "RemainItem": false,
            "MixSortRules": [
                {
                    "MixStrategy": "random_position",
                    "NumberRate": 0.1,
                    "Conditions": [
                        {
                            "Name": "gender",
                            "Domain": "item",
                            "Type": "string",
                            "Value": "man",
                            "Operator": "equal"
                        }
                    ]
                }
            ]
        }
    ]
}

使用条件过滤筛选出 item，然后按固定位置填充。

{
    "SortConfs": [
        {
            "Name": "MixSortByItemFeature",
            "SortType": "MultiRecallMixSort",
            "RemainItem": false,
            "MixSortRules": [
                {
                    "MixStrategy": "fix_position",
                    "Positions": [3,5,7],
                    "Conditions": [
                        {
                            "Name": "gender",
                            "Domain": "item",
                            "Type": "string",
                            "Value": "man",
                            "Operator": "equal"
                        }
                    ]
                }
            ]
        }
    ]
}

条件路由重排（ConditionSort）

ConditionSort 支持根据用户属性条件路由到不同的重排策略。当不同用户群体需要使用不同的重排逻辑时，可以通过配置条件规则将请求路由到对应的排序策略，未匹配任何条件时则使用默认排序策略。

条件路由规则按配置顺序依次匹配，命中第一个满足条件的排序策略后即执行该策略，不再继续匹配后续条件。

配置示例参考如下：

{
  "SortConfs": [
    {
      "Name": "ConditionSort",
      "SortType": "ConditionSort",
      "ConditionSortConfs": {
        "SortConfs": [
          {
            "Conditions": [
              {
                "Name": "user_level",
                "Domain": "user",
                "Type": "string",
                "Value": "vip",
                "Operator": "equal"
              }
            ],
            "SortName": "VipDiversitySort"
          },
          {
            "Conditions": [
              {
                "Name": "is_new_user",
                "Domain": "user",
                "Type": "int",
                "Value": 1,
                "Operator": "equal"
              }
            ],
            "SortName": "NewUserBoostSort"
          }
        ],
        "DefaultSortName": "DefaultDiversitySort"
      }
    }
  ]
}

上面配置中所表达的意思为：当用户属性 user_level 等于 vip 时，使用 VipDiversitySort 排序策略；当用户属性 is_new_user 等于 1 时，使用 NewUserBoostSort 排序策略；如果以上条件均不匹配，则使用 DefaultDiversitySort 作为默认排序策略。

FilterParamConfig 配置如下：

如何使用

重排配置和召回配置类似，配置好后，提供一个分场景使用的SortNames，SortNames是一个 Map[string]object结构，其中key是场景，每个场景对应一组重排策略

{
    "SortNames": {
        "${scene_name}": [
            "ItemRankScore"
        ]
    }
}

• ${scene_name} 为场景名，如果多个场景想使用同一份配置，则使用"default"。

• ItemRankScore：此参数为在SortConfs中定义的重排的自定义名称。