Swing算法工具

Swing算法简介

Swing 是阿里巴巴原创的一种新的match算法，不同于传统基于“点”的节点亲密度（proximity）计算方式，如：Common Neighbors, Adamic/Adar, Cosine Similarity, Jaccard Similarity, Wb-cosine, Rooted PageRank等，Swing会考虑网络结构信息，以高维的网络结构向二跳节点扩展，抗噪能力强，相比传统的CF准确性有大幅的提升。

目前Swing i2i作为最重要的基础数据，广泛应用于手淘和PC众多的推荐场景中; 除此之外，swing还应用于集团天天动听和阿里妈妈广告业务中，并有显著提升。

样本准备

1. 创建输入表

CREATE TABLE IF NOT EXISTS swing_test_input
(
  user_id   bigint,
  item_list string  --点击序列为必须字段，且至少提供item_id, timestamp和norm字段
)
lifecycle 7;

数据样例如下所示。点击序列由分号分割，每个点击商品由至少3个字段构成，即item_id, norm,timestamp.其中item_id需要在开头，timestamp遵循%Y%m%d%H%M%S的格式，如不需要可以用同一个timestamp填充。norm代表商品近期的热度（点击量），如不需要，可以统一用1填充。应按照点击时间顺序由远至今组织item_list。

备注：item_id 必须为数字类型。

2. 创建输出表

CREATE TABLE IF NOT EXISTS swing_test_result
(
    item_id   BIGINT COMMENT 'anchor物品ID',
    item_list STRING COMMENT '相似物品列表'
)
LIFECYCLE 7;

输出表分为两列：item_id和item_list，其中 item_list 形如item_id1,score1,coccur1,ori_score1;item_id2,score2,coccur2,ori_score2。其中，ori_score1是原始相似度分数；score1是最大值归一化之后的分数；coccur1是共现次数。

PAI命令行

pai -name swing_rec_ext 
    -project algo_public 
    -DinputTable='swing_test_input'
    -DoutputTable='swing_test_result'
    -DmaxClickPerUser='500'
    -DmaxUserPerItem='600'
    -Dtopk='100'
    -Dalpha1='5'
    -Dalpha2='1'
    -Dbeta='0.3'

算法参数

公式[1]:

$$sim(i,j)=\sum _{u\in U(i)\cap U(j)}\sum _{v\in U(i)\cap U(j),v\ne u}\frac{1}{(|I(u)|+{\alpha }_1{)}^{\beta }(|I(v)|+{\alpha }_1{)}^{\beta }}\frac{1}{|I(u)\cap I(v)|+{\alpha }_2}\frac{1}{\sqrt{N_j}}$$

改进版Swing算法

改进版swing相似度计算算法