开通及服务初始化

首次使用PAI-Rec搭建推荐系统时,需要购买PAI-Rec实例并配置初始环境。

  • 选型说明

    实例选型

    初次接入PAI-Rec,建议在标准版实例基础上购买推荐方案定制功能,在熟悉之后再购买运营工具功能:

    • 推荐方案定制可自定义特征工程、召回策略和精排策略等环节,更加灵活高效地配置推荐系统;

    • 运营工具能够提升运营效率和推荐效果的可控性。

    云产品资源选型

    搭建PAI-Rec推荐方案需要使用多个云产品,不同业务所需的云产品资源不同。

    依赖云产品(单击查看详情)

    image

    云产品

    作用

    需要配置的云资源

    建模

    对象存储OSS

    用于存储模型的checkpoint、saved model文件和模型配置文件等。

    创建OSS Bucket

    说明

    请勿开启版本控制功能。

    云原生大数据计算服务MaxCompute

    用于数据清洗、特征工程和准备训练样本。

    创建MaxCompute项目

    如果需要使用PAI-DLC训练模型,请开通数据传输服务

    人工智能平台PAI

    PAI不仅作为PAI-Rec推荐开发平台的入口,还包含FeatureStore特征平台关联功能,还可以用于模型训练、导出模型、模型评估等功能。

    创建PAI工作空间

    说明

    由于PAIDataWorks的工作空间在底层是打通的,所以创建PAI工作空间后,在DataWorks也会自动生成一个同名的工作空间。

    您也可以手动创建一个DataWorks工作空间。

    大数据开发治理平台DataWorks

    用于数据清洗、特征工程、模型训练和评估、更新模型和同步数据到线上存储,调度所有的离线数据生产任务、模型训练和评估任务等。

    引擎

    实时数仓Hologres实例ID与数据库

    实时特征存储引擎。

    可以和FeatureDB搭配使用,例如,用Hologres存储向量召回、用户曝光数据和u2i2itrigger数据;用FeatureDB存放用户和物品的离线特征和实时特征。

    购买Hologres实例,并创建数据库

    是否使用PAI-FestureStore

    实时特征存储引擎。

    云数据库Redis实例ID

    存储兜底数据。可用PAI-FeatureStore中的FeatureDB替代。

    创建实例

    PAI-EAS资源组

    部署推荐系统的引擎,用于串联召回、过滤、粗排、精排、重排等流程。部署向量召回的用户侧向量推理服务、粗排和精排的模型打分服务。

    资源配置

    其他

    日志服务SLS

    用户可使用SLS服务管理请求日志。

    创建项目Project

    数据总线DataHub Project

    用于实时日志回流,持续更新用户行为,用于模型训练。

    建议优先使用DataHub。

    创建项目

    消息队列Kafka实例ID资源组

    购买和部署实例

    Flink VVP流式服务

    实时数据处理与实时特征统计,统计结果可写入特征数据库FeatureDB

    开通实时计算Flink

    选型方案建议

    根据推荐系统的复杂度的建议(单击查看详情)

    说明

    推荐系统的召回、过滤、模型、重排的复杂度,和业务需求有很大的关系,因此我们把推荐系统划分为初期、中期、追求效果提升、运营干预。

    阶段划分

    说明

    召回模型建议

    排序和重排建议

    初期

    使用推荐方案定制搭建整个推荐链路(参考PAI-Rec推荐算法定制的最佳实践文档

    使用协同过滤etrecSwing算法工具、分组热门等。

    使用特征数据库FeatureDB来存储用户曝光过滤数据、召回数据,以及特征数据。

    通过特征配置(注意使用实时序列特征)、排序配置,设置单目标的多塔模型,推理速度快效果比较好,同时节约PAI-EAS的资源;

    使用多样性重排配置

    中期

    增加向量召回、多目标排序模型

    增加向量召回,物品索引可以不更新,把索引存储到processor内部(参考TorchEasyRec ProcessorFaiss索引部分)

    针对点击、购买、点赞等多种模型预测目标,使用多目标排序模型DBMTL

    业务需快速感知物品的变化

    对物品做冷启动;

    物品的实时特征快速反馈到模型排序中

    物品冷启动算法,推荐冷启动解决方案

    新建推荐方案定制,在特征配置中设置实时统计,然后到PAI-FeatureStore新建特征视图新建模型特征,导出新的训练样本,训练新的模型。

    运营干预

    针对不同用户、不同物品类目设置曝光占比;

    对新物品设置曝光保量

    增加流量调控

    其他建议(单击查看详情)

    • PAI-EAS:在业务高峰期配置定时扩容,同时配置自动缩容保证到业务低峰期收缩资源。可考虑预付费资源和弹性扩缩容资源相结合。

前提条件

本文以离线建模场景为例进行说明,该场景需要使用以下云产品资源。更多其他云产品资源详情,请参见云产品资源选型

购买PAI-Rec实例并配置云产品

  1. 实例购买页面,设置地域推荐方案定制运营工具购买时长,单击立即购买,确认订单并完成支付。

  2. PAI-Rec管理控制台,切换至目标地域后,单击左侧导航栏的系统配置 > 云产品配置

  3. 建模页签下,单击编辑,分别选择已创建的云产品资源,然后单击完成

    引擎其他页签下的参数配置同理,请先配置对应的云资源,然后在PAI-Rec侧进行关联配置。