过滤配置

Hologres

{
    "FilterConfs": [
        {
            "Name": "holo_exposure_filter",
            "FilterType": "User2ItemExposureFilter",
            "MaxItems": 100,
            "TimeInterval": 172800,
            "WriteLog": true,
            "DaoConf": {
                "AdapterType": "hologres",
                "HologresName": "holo_info",
                "HologresTableName": "exposure_history"
            }
        }
    ]
}

DaoConf 配置说明

曝光表定义注意这里可以 按照实际的情况设置 time_to_live_in_seconds 。

BEGIN;
CREATE TABLE "exposure_history" (
 "uid" text NOT NULL,
 "item" text NOT NULL,
 "create_time" int4 NOT NULL
);
CALL SET_TABLE_PROPERTY('"exposure_history"', 'orientation', 'column');
CALL set_table_property('"exposure_history"', 'distribution_key', 'uid');
CALL SET_TABLE_PROPERTY('"exposure_history"', 'clustering_key', '"uid","create_time"');
CALL SET_TABLE_PROPERTY('"exposure_history"', 'segment_key', '"create_time"');
CALL SET_TABLE_PROPERTY('"exposure_history"', 'bitmap_columns', '"uid","item"');
CALL SET_TABLE_PROPERTY('"exposure_history"', 'dictionary_encoding_columns', '"uid","item"');
CALL SET_TABLE_PROPERTY('"exposure_history"', 'time_to_live_in_seconds', '172800');
comment on table "exposure_history" is '曝光记录表';
COMMIT;

PAI-FeatureStore

FeatureStore 内置的在线数据源 FeatureDB使用布隆过滤器算法支持PAI-Rec 的曝光过滤的需求。

FeatureStore 通过创建实时FeatureView来支持曝光表。设置参考如下：

重点参数说明下：

1. 类型选择 实时 。

2. 特征实体 选择 user 。

3. 特征字段需要填入 user_id、item_id、timestamp。 其中 user_id 为主键， timestamp 勾选 事件时间。 主键 和 事件时间是必须选择的。 数据类型上， user_id、item_id 都是 string ， timestamp 是 int64 。

4. 特征生命周期，这里默认是 2 天。 需要按实际情况调整。 对于一个用户来说， 曝光的条目需要保留多长时间。

5. 高级配置必填， 输入 {"table_type":"bloom", "expose_count":5000}，table_type 说明创建的是支持 bloom filter 的 table 。 expose_count 是对于单个用户来说，保留的曝光条目的最大数量。

PAI-Rec 引擎中的曝光过滤配置参考如下：

{
    "FilterConfs": [
        {
            "Name": "fs_exposure_filter",
            "FilterType": "User2ItemExposureFilter",
            "TimeInterval": 300,
            "WriteLog": true,
            "DaoConf": {
                "AdapterType": "featurestore",
                "FeatureStoreName": "fs_pairec",
                "FeatureStoreViewName": "user_expose"
            }
        }
    ]
}

TimeInterval 单位是秒。 这块是引擎写入伪曝光条目的最大保留时间。当 WriteLog = true时是有效的。上面是伪曝光的配置，如果是真实曝光，PAI-Rec 引擎不负责写入数据，设置WriteLog为false，并且TimeInterval可以不设置。

真实曝光的配置如下：

"FilterConfs": [
        {
            "Name": "fs_exposure_filter2",
            "FilterType": "User2ItemExposureFilter",
            "WriteLog": false,
            "DaoConf": {
                "AdapterType": "featurestore",
                "FeatureStoreName": "fs_pairec",
                "FeatureStoreViewName": "user_expose"
            }
        }
    ]

我们可以使用同一个FeatureView表来支持伪曝光和真实曝光。

真实曝光的数据写入可以参考写入特征。

DaoConf 配置说明

Redis

{
    "FilterConfs": [
        {
            "Name": "redis_exposure_filter",
            "FilterType": "User2ItemExposureFilter",
            "MaxItems": 100,
            "TimeInterval": 172800,
            "WriteLog": true,
            "DaoConf": {
                "AdapterType": "redis",
                "RedisName": "redis_info",
                "RedisPrefix": "exposure_"
            }
        }
    ]
}

DaoConf 配置说明

TableStore

{
    "FilterConfs": [
        {
            "Name": "ots_exposure_filter",
            "FilterType": "User2ItemExposureFilter",
            "MaxItems": 100,
            "TimeInterval": 172800,
            "WriteLog": true,
            "DaoConf": {
                "AdapterType": "tablestore",
                "TableStoreName": "tablestore_info",
                "TableStoreTableName": "exposure_history"
            }
        }
    ]
}

DaoConf 配置说明

曝光表定义如下：

生命周期：（用户需要自定义，必须有一个明确的周期）

maxVersion： 1 

Hologres

{
    "FilterConfs": [
        {
            "Name": "u2i_custom_filter",
            "FilterType": "User2ItemCustomFilter",
            "DaoConf": {
                "AdapterType": "hologres",
                "HologresName": "holo_info",
                "HologresTableName": "u2i_custom_filter"
            },
            "ItemStateCacheSize": 10000,
            "ItemStateCacheTime": 3600
        }
    ]
}

TableStore(OTS)

用户需要提供一个自定义的 user2item 的过滤表，进行数据过滤。

{
    "FilterConfs": [
        {
            "Name": "u2i_custom_filter",
            "FilterType": "User2ItemCustomFilter",
            "DaoConf": {
                "AdapterType": "tablestore",
                "TableStoreName": "tablestore_info",
                "TableStoreTableName": "u2i_table"
            }
        }
    ]
}

DaoConf 配置说明

表定义如下：

PAI-FeatureStore

和上文提到的曝光过滤类似，也是提供一个实时的FeatureView, 通过 java sdk 或者 flink connector 写入数据，数据写入可以参考写入特征。PAI-Rec 引擎通过读取这里的数据进行过滤。FeatureView 的配置如下：

重点参数说明下：

1. 类型选择 实时 。

2. 特征实体 选择 user 。

3. 特征字段需要填入 user_id、item_id、timestamp。 其中 user_id 为主键， timestamp 勾选 事件时间。 主键和事件时间是必须选择的。 数据类型上， user_id、item_id 都是 string ， timestamp 是 int64 ，这里timestamp代表时间戳，单位毫秒。

4. 特征生命周期，这里默认是 2 天。 需要按实际情况调整。这里可以理解成某一行数据的TTL，是根据timestamp字段传入的数值计算生命周期的。

5. 高级配置必填， 输入 {"table_type":"bloom"}，table_type 说明创建的是支持 bloom filter 的 table 。

PAI-Rec 引擎中的配置参考如下：

  {
    "FilterConfs": [
        {
            "Name": "u2i_custom_filter",
            "FilterType": "User2ItemCustomFilter",
            "DaoConf": {
                "AdapterType": "featurestore",
                "FeatureStoreName": "fs_pairec",
                "FeatureStoreViewName": "u2icustom_filter"
            }
        }
    ]
}

DaoConf 配置说明