HSTU 生成式排序算法定制最佳实践文档

更新时间:
复制 MD 格式

为方便您快捷体验PAI-Rec产品,本文提供了一份公开数据集,您可以按照文档说明,按步骤体验PAI-Rec推荐算法定制生成式算法定制教程。当前文档只列举了hstu系列的模型配置(目前只含dlrm-hstu,其余模型将后续陆续推出)。如是其余的召回和排序,请参考PAI-Rec模块化推荐算法定制的最佳实践文档。hstu相关文档请参考生成式推荐

前提条件,PAI-Rec实例初始化,数据准备,注册数据,创建推荐场景 请参考PAI-Rec模块化推荐算法定制的最佳实践文档1-4的章节

5.创建并配置算法方案

本文只考虑配置hstu需要的特征工程,以及hstu的模型配置。如需自己生产实际使用,可以参考PAI-Rec模块化推荐算法定制的最佳实践文档丰富召回。

  1. 创建推荐方案,数据表配置参考PAI-Rec模块化推荐算法定制的最佳实践文档5.1,5.2章节。注意:对于HSTU来说,行为表必须配置请求ID

  2. 特征组配置,单击添加,按照如下资源配置完成相应参数配置,设置特征模块名称,版本,分别勾选在数据表配置 中的用户表,物品表,行为日志表。

    资源配置

    参数

    说明

    方案默认示例

    常用统计时间周期

    该配置将用于批量生成特征。为了避免生成特征过多,本方案设置统计时间周期为3、7、15天,分别为统计用户和物品在最近3天、7天和15天内的统计特征。

    如果用户行为数量很少,可尝试设置21天。

    3,7,15

    重点关注行为

    选择已配置的行为事件,建议添加次序为expr(曝光)、click(点击)、praise(点赞)。

    expr,click,praise

    单击确定,会在用户和物品侧衍生出多种统计特征,点击该特征组的特征配置可以查看到对应的验证特征,此处必须对特征组进行修改来适配下游使用的模型。

    1. 用户侧:必须配置序列特征,去重id默认选择分区字段,必须开启event预聚合去重,只能配置一个序列,统计行为全选,子特征必须选择itemid,event,event_time对应的字段,其余子特征可根据业务设置,由于hstu可以使用较长的序列,可以对时间周期和序列长度进行调整。

    2. 物品侧:不可配置kv类型的特征移除Top偏好属性类特征的行为计数,Top偏好属性类特征的转换率,不可以增加Top类目与数值组合特这个计算。物品侧得实时特征聚合特征暂不支持。仅支持统计得到的纯数值特征。

    点击该特征组的上线,任务运行日期选择数据最新分区日期,调整任务最大并行数,最大为10,其余配置默认,单击确定。该动作会产出节点,并部署到DataWorks,同时根据日期补跑数据,当改模块状态成为已上线才可进行后续配置。单击该模块的上线详情可以查看该模块相关的详细信息,其中补数任务列表可以查看到每个任务运行状态,对于失败的任务,点击查看任务节点可以跳转至DataWorks查看任务详细报错,对于失败任务修正后点击补数任务列表该节点重跑,通过后点击续跑。

  3. Label表配置,此模块根据行为表构建样本目标,点击添加,选择当前模块为label模块,输入Label 模块名称,特征模块选择上游配置的特征模块。单击精排目标设置(labels)后的新增,新增如下两个label:

    • 目标1:精排目标名称填写 is_click精排目标表达式填写 max(if(event='click',1,0))目标类型选择 分类(CLASSIFICATION)

    • 目标2(注意ln中的lL的小写)配置精排目标:将 精排目标名称 设置为 ln_playtime精排目标表达式 设置为 ln(sum(playtime)+1)精排目标依赖 设置为 is_click目标类型 选择 回归(REGRESSION)。单击 确定保存目标。

    生成式推荐模式选择生成式:DLRM-HSTU确定后仿照特征模块进行上线,等待状态成为已上线后继续下游配置

  4. 样本配置,此模块功能是样本目标表关联特征,并在feature-store产出模型特征。点击添加,选择当前模块为样本模块,并命名模型特征,特征模块选择上游产生的特征模块,Label模块选择上游产出的Label模块,仿照上面进行上线,等待状态成为已上线后继续下游配置。

  5. 特征生成配置,此模块可以将样本表所有特征进一步衍生,目前不支持自定义配置。点击添加,选择当前模块为特征生成,特征生成类型选择排序,模型特征模块选择上游样本配置产生的模型特征。行为权重配置处逐一配置对应的行为权限,权重对应2的指数,如expr配置1,click配置2,praise配置4(如自有业务还有行为类型,则8,16,32等,2的指数递增),等待状态成为已上线后继续下游配置。

  6. 排序配置,点击精排的添加,特征模块输出选择上游产出的特征生成,其余选项默认,在模型选择处选择dlrm-hstu,点击确定,仿照上游进行上线。当补数模块执行完成,当前模块状态变成已上线,在PAI-EAS控制台中能看到模型服务,注意:模型导出使用的机器型号和模型服务部署机器型号要一致。