向量召回模型拆分

该组件使用split_model_pai.py脚本,实现向量召回模型拆分的功能。

前提条件

可视化配置参数

  • 输入桩

    输入桩(从左到右)

    限制数据类型/上游组件

    对应PAI命令参数

    是否必选

    训练模型路径

    OSS路径/模型训练

    model_dir

  • 组件参数

    页签

    参数

    是否必选

    描述

    对应PAI命令参数

    默认值

    参数设置

    导出类型

    上游模型训练后的导出类型exporter_type,取值如下:

    -best

    -final

    -latest

    PAI命令参数,对应config文件内的exporter_type:"best"

    final

    user模型输出路径

    user模型输出路径,如果您没有配置该参数,您需要单击空白画布,在工作流属性页签中配置工作流数据存储路径。Designer会在工作流数据存储路径下生成一个随机路径。

    user_model_dir

    item模型输出路径

    item模型输出路径,如果您没有配置该参数,您需要单击空白画布,在工作流属性页签中配置工作流数据存储路径。Designer会在工作流数据存储路径下生成一个随机路径。

    item_model_dir

    user_fg.json输入文件

    user_fg.json输入文件所在的OSS全路径。

    user_fg_json_path

    item_fg.json输入文件

    item_fg.json输入文件所在的OSS全路径。

    item_fg_json_path

    指定算法版本

    可以自定义EasyRec的执行版本。

    1. 请先参考文档EasyRec版本更新,生成一个EasyRecTAR包。

    2. 上传对应版本的TAR包到OSS路径,参考控制台上传文件

    3. 在这个参数中选中上传的文件。

    script

    执行调优

    Worker数量

    Worker的数量。

    完整的执行调优参数会拼装成cluster参数

    1

    Worker CPU用量

    Worker申请的CPU数量,取值1表示一个CPU核。

    8

    Worker Memory用量(单位为MB)

    Worker申请的内存,取值100表示100 MB。

    40000

    Worker GPU卡数

    EasyRec训练中,一般不需要使用GPU。

    0

  • 输出桩

    输出桩(从左到右)

    数据类型

    对应PAI命令参数

    是否必选

    user模型路径

    OSS路径

    user_model_dir

    item模型路径

    OSS路径

    item_model_dir

PAI命令及说明

PAI -project algo_public -name easy_rec_ext
-Dcmd="custom" 
-Darn="acs:ram::xxx:role/aliyunodpspaidefaultrole" 
-Dbuckets="oss://lcl-hz/" 
-Dcluster="{\"worker\": {\"count\": 1, \"cpu\": 800, \"gpu\": 0, \"memory\": 40000}}" 
-DentryFile="easy_rec/python/tools/split_model_pai.py" 
-Dextra_params="--model_dir=oss://examplebucket/EasyRec/deploy/rec_sln_demo_dssm_recall_v1/20230425/export/final --user_model_dir=oss://rec_sln_demo/EasyRec/deploy/rec_sln_demo_rec_sln_demo_sorting_v1/20230425/export/final/user --item_model_dir=oss://rec_sln_demo/EasyRec/deploy/rec_sln_demo_dssm_recall_v1/20230425/export/final/item --user_fg_json_path=oss://rec_sln_demo/EasyRec/deploy/rec_sln_demo_dssm_recall_v1/user_fg.json --item_fg_json_path=oss://rec_sln_demo/EasyRec/deploy/rec_sln_demo_dssm_recall_v1/item_fg.json" 
-Dlifecycle="28" 
-DossHost="oss-cn-hangzhou-internal.aliyuncs.com" 
-Dscript="oss://examplebucket/easy_rec_ext_0.6.1_res.tar.gz";

参数名称

是否必选

描述

entryFile

执行文件,执行split_model_pai.py脚本。

cmd

指示命令,指示为custom。

arn

指定授权资源,您可以登录PAI控制台,在开通和授权>全部云产品依赖页面的Designer区域,单击操作列下的查看授权信息,获取arn。

ossHost

OSS各地域Endpoint。如何获取Endpoint,请参见访问域名和数据中心

buckets

配置所在的bucket和保存模型的bucket,如果有多个bucket,使用半角逗号(,)分隔,例如oss://xxxx/,oss://xxxx/

extra_params

额外参数,PAIFlow上没有定义的参数,指定model_dir、user_model_dir、item_model_dir、user_fg_json_path、item_fg_json_path参数。

使用示例

请参考推荐算法定制DSSM向量召回节点12_rec_sln_demo_dssm_recall_v1_train_2,该节点使用了向量召回模型拆分组件。