过滤配置

PAI-Rec 引擎已经内置了多个过滤模板，包括曝光过滤、状态过滤、数量调整过滤等。

如何配置

过滤的配置对应配置总览中的 FilterConfs，FilterConfs 是一个[]object 结构，可以定义多个过滤策略。

过滤公共配置一览

每种召回配置，都会用到公共配置中的一部分，在此统一解释，单独的召回配置中则不再赘述。

配置示例：

    "FilterConfs":[
        {
            "Name":"",
            "FilterType":"",
            "Dimension":"",
            "DaoConf":{},
            "AdjustCountConfs":[{}],
            "ItemStateDaoConf":{},
            "FilterParams":[{}],
            "DiversityDaoConf":{},
            "FilterVal":{}
        }
    ]

曝光过滤（User2ItemExposureFilter）

很多业务场景都需要曝光过滤来避免重复推荐，这里的曝光过滤其实是伪曝光

伪曝光：因为实时日志有延时等原因，我们并不能立刻知道哪些 item 被曝光，所以我们把推荐引擎返回的 item 列表作为伪曝光列表

目前常用的做法是 PAI-Rec 引擎进行伪曝光的读写，真实曝光需要客户的实时日志，通过 flink 这种实时计算引擎写入数据库，然后被PAI-Rec 引擎消费。

不同数据源的曝光过滤有以下几个公共参数配置

hologres

"FilterConfs" :[
  {
    "Name": "holo_exposure_filter",
    "FilterType": "User2ItemExposureFilter",
    "MaxItems": 100,
    "TimeInterval": 172800,
    "WriteLog": true,
    "DaoConf":{
       "AdapterType": "hologres",
       "HologresName": "holo_info",
       "HologresTableName": "exposure_history"
    }
  }
]

DaoConf 配置说明

曝光表定义注意这里可以 按照实际的情况设置 time_to_live_in_seconds 。

BEGIN;
CREATE TABLE "exposure_history" (
 "uid" text NOT NULL,
 "item" text NOT NULL,
 "create_time" int4 NOT NULL,
PRIMARY KEY ("uid","create_time")
);
CALL SET_TABLE_PROPERTY('"exposure_history"', 'orientation', 'column');
CALL SET_TABLE_PROPERTY('"exposure_history"', 'clustering_key', '"uid","create_time"');
CALL SET_TABLE_PROPERTY('"exposure_history"', 'segment_key', '"create_time"');
CALL SET_TABLE_PROPERTY('"exposure_history"', 'bitmap_columns', '"uid","item"');
CALL SET_TABLE_PROPERTY('"exposure_history"', 'dictionary_encoding_columns', '"uid","item"');
CALL SET_TABLE_PROPERTY('"exposure_history"', 'time_to_live_in_seconds', '172800');
comment on table "exposure_history" is '曝光记录表';
COMMIT;

redis

"FilterConfs" :[
  {
    "Name": "redis_exposure_filter",
    "FilterType": "User2ItemExposureFilter",
    "MaxItems": 100,
    "TimeInterval": 172800,
    "WriteLog": true,
    "DaoConf":{
       "AdapterType": "redis",
       "RedisName": "redis_info",
       "RedisPrefix": "exposure_"
    }
  }
]

DaoConf 配置说明

tablestore

"FilterConfs" :[
  {
    "Name": "ots_exposure_filter",
    "FilterType": "User2ItemExposureFilter",
    "MaxItems": 100,
    "TimeInterval": 172800,
    "WriteLog": true,
    "DaoConf":{
       "AdapterType": "tablestore",
       "TableStoreName": "tablestore_info",
       "TableStoreTableName": "exposure_history"
    }
  }
]

DaoConf 配置说明

曝光表定义如下：

生命周期：（用户需要自定义，必须有一个明确的周期）

maxVersion： 1 

User2ItemCustomFilter

"FilterConfs" :[
  {
    "Name": "u2i_custom_filter",
    "FilterType": "User2ItemCustomFilter",
    "DaoConf": {
        "AdapterType": "hologres",
        "HologresName": "holo_info",
        "HologresTableName": "u2i_custom_filter"
     },
     "ItemStateCacheSize": 10000,
     "ItemStateCacheTime": 3600
  }
]

"FilterConfs" :[
  {
    "Name": "u2i_custom_filter",
    "FilterType": "User2ItemCustomFilter",
    "DaoConf":{
       "AdapterType": "tablestore",
       "TableStoreName": "tablestore_info",
       "TableStoreTableName": "u2i_table"
    }
  }
]

数量调整过滤（AdjustCountFilter）

简单的调整数量，把召回数量随机打散，然后保留需要控制的数量。

配置示例：

"FilterConfs" :[
{
      "Name": "adjust_count_filter",
      "FilterType": "AdjustCountFilter",
      "ShuffleItem": true,
      "RetainNum": 500
}
]

优先级数量调整过滤（PriorityAdjustCountFilter）

优先级过滤可以对各路召回进行数量控制，每路召回都会根据召回的 score 进行排序

配置示例：

"FilterConfs" :[
  {
        "Name": "priority_adjust_count_filter",
        "FilterType": "PriorityAdjustCountFilter",
        "AdjustCountConfs" :[
        {
            "RecallName" :"recall_1",
            "Count" :125,
            "Type" : "accumulator"
        },
        {
            "RecallName" :"recall_2",
            "Count" :250,
            "Type" : "accumulator"
        },
        {
            "RecallName" :"recall_3",
            "Count" :400,
            "Type" : "accumulator"
        }
    ]
  }
]

状态过滤（ItemStateFilter）

我们经常需要对于召回的数据，进行状态过滤。item 的状态有可能会实时变动的，一般会有专有的表存储 item 状态。 此过滤流程需要实时获取 item 状态信息，然后进行过滤。

hologres

"FilterConfs" :[
  {
    "Name": "ItemStateFilter",
    "FilterType": "ItemStateFilter",
    "ItemStateDaoConf":{
        "AdapterType": "hologres",
        "HologresName": "",
        "HologresTableName": "",
        "ItemFieldName" : "",
        "WhereClause": "",
        "SelectFields" :""
     },
     "ItemStateCacheSize": 50000,
     "ItemStateCacheTime": 3600,
     "FilterParams" :[]
  }
]

如果item的状态不经常变化，可以配置缓存选项。

ItemStateDaoConfig 定义如下：

FilterParams 定义如下：

        "FilterParams" :[
            {
                "Name" : "publicStatus",
                "Type" : "int",
                "Operator" : "equal",
                "Value" : 0
            },
            {
                "Name" : "state",
                "Type" : "int",
                "Operator" : "equal",
                "Value" : 1
            },
            {
                "Name" : "checkStatus",
                "Type" : "int",
                "Operator" : "not_equal",
                "Value" : 2
            },
            {
                "Name" : "norec",
                "Type" : "int",
                "Operator" : "not_equal",
                "Value" : 1
            }
        ]

具体的 Operator 的使用，可以参考附录。

CompletelyFairFilter

根据召回条目的 score 进行排序，然后公平的从每一路召回获取数据

"FilterConfs" :[
  {
    "Name": "CompletelyFairFilter",
    "FilterType": "CompletelyFairFilter",
  	"RetainNum": 500
  }
]

DimensionFieldUniqueFilter

和 UniqueFilter 不同， 根据 item 的某个字段进行去重过滤

"FilterConfs" :[
  {
    "Name": "DimensionFieldUniqueFilter",
    "FilterType": "DimensionFieldUniqueFilter",
    "Dimension":""
  }
]

UniqueFilter

唯一性过滤，保证 item id 是唯一的，如果两路召回包含同一个 item id，哪路召回先返回，取哪一路的 item id。

无需配置，可直接在 FilterNames 中引用。

如何使用

过滤配置和召回配置类似，配置好之后，提供一个分场景使用的 FilterNames，FilterNames 是一个 Map[string]object 结构，其中 key 是场景，每个场景对应一组过滤策略

"FilterNames": {
  "default": [
    "UniqueFilter"
  ]
}

• default 为场景名，如果场景没有显式的配置，则使用 "default" 的配置。

• UniqueFilter: 此参数为在 FilterConfis 中定义的过滤的自定义名称。

附录

条件匹配 Operator 示例

1. equal (相等 ==）

{
 "Name" : "publicStatus",
 "Type" : "int",
 "Operator" : "equal",
 "Value" : 0
}

2. not_equal （不等于 !=)

{
 "Name" : "checkStatus",
 "Type" : "int",
 "Operator" : "not_equal",
 "Value" : 2
}

3. greater （大于 >)

{
 "Name" : "checkStatus",
 "Type" : "int",
 "Operator" : "greater",
 "Value" : 2
}

4. greaterThan (大于等于 >=)

{
 "Name" : "checkStatus",
 "Type" : "int",
 "Operator" : "greaterThan",
 "Value" : 2
}

5. less （小于 <)

{
 "Name" : "checkStatus",
 "Type" : "int",
 "Operator" : "less",
 "Value" : 2
}

6. lessThan (小于等于 <=)

{
 "Name" : "checkStatus",
 "Type" : "int",
 "Operator" : "lessThan",
 "Value" : 2
}

7. in （与数组中的某个条目匹配）

{
 "Name" : "state",
 "Type" : "int",
 "Operator" : "in",
 "Value" : [2, 4, 6]
}

string 类型

{
 "Name" : "state",
 "Type" : "string",
 "Operator" : "in",
 "Value" : ["success", "ok"]
}