该组件使用split_model_pai.py脚本,实现向量召回模型拆分的功能。
前提条件
已开通OSS并完成授权,详情请参见开通OSS服务和云产品依赖与授权:Designer。
完成模型训练。
可视化配置参数
输入桩
输入桩(从左到右)
限制数据类型/上游组件
对应PAI命令参数
是否必选
训练模型路径
OSS路径/模型训练
model_dir
是
组件参数
页签
参数
是否必选
描述
对应PAI命令参数
默认值
参数设置
导出类型
否
上游模型训练后的导出类型exporter_type,取值如下:
-best
-final
-latest
无PAI命令参数,对应config文件内的
exporter_type:"best"
final
user模型输出路径
否
user模型输出路径,如果您没有配置该参数,您需要单击空白画布,在工作流属性页签中配置工作流数据存储路径。Designer会在工作流数据存储路径下生成一个随机路径。
user_model_dir
无
item模型输出路径
否
item模型输出路径,如果您没有配置该参数,您需要单击空白画布,在工作流属性页签中配置工作流数据存储路径。Designer会在工作流数据存储路径下生成一个随机路径。
item_model_dir
无
user_fg.json输入文件
是
user_fg.json输入文件所在的OSS全路径。
user_fg_json_path
无
item_fg.json输入文件
是
item_fg.json输入文件所在的OSS全路径。
item_fg_json_path
无
指定算法版本
是
可以自定义EasyRec的执行版本。
请先参考文档EasyRec版本更新,生成一个EasyRec的TAR包。
上传对应版本的TAR包到OSS路径,参考控制台上传文件。
在这个参数中选中上传的文件。
script
空
执行调优
Worker数量
否
Worker的数量。
完整的执行调优参数会拼装成cluster参数
1
Worker CPU用量
否
Worker申请的CPU数量,取值1表示一个CPU核。
8
Worker Memory用量(单位为MB)
否
Worker申请的内存,取值100表示100 MB。
40000
Worker GPU卡数
否
在EasyRec训练中,一般不需要使用GPU。
0
输出桩
输出桩(从左到右)
数据类型
对应PAI命令参数
是否必选
user模型路径
OSS路径
user_model_dir
是
item模型路径
OSS路径
item_model_dir
是
PAI命令及说明
PAI -project algo_public -name easy_rec_ext
-Dcmd="custom"
-Darn="acs:ram::xxx:role/aliyunodpspaidefaultrole"
-Dbuckets="oss://lcl-hz/"
-Dcluster="{\"worker\": {\"count\": 1, \"cpu\": 800, \"gpu\": 0, \"memory\": 40000}}"
-DentryFile="easy_rec/python/tools/split_model_pai.py"
-Dextra_params="--model_dir=oss://examplebucket/EasyRec/deploy/rec_sln_demo_dssm_recall_v1/20230425/export/final --user_model_dir=oss://rec_sln_demo/EasyRec/deploy/rec_sln_demo_rec_sln_demo_sorting_v1/20230425/export/final/user --item_model_dir=oss://rec_sln_demo/EasyRec/deploy/rec_sln_demo_dssm_recall_v1/20230425/export/final/item --user_fg_json_path=oss://rec_sln_demo/EasyRec/deploy/rec_sln_demo_dssm_recall_v1/user_fg.json --item_fg_json_path=oss://rec_sln_demo/EasyRec/deploy/rec_sln_demo_dssm_recall_v1/item_fg.json"
-Dlifecycle="28"
-DossHost="oss-cn-hangzhou-internal.aliyuncs.com"
-Dscript="oss://examplebucket/easy_rec_ext_0.6.1_res.tar.gz";
参数名称 | 是否必选 | 描述 |
entryFile | 是 | 执行文件,执行split_model_pai.py脚本。 |
cmd | 是 | 指示命令,指示为custom。 |
arn | 是 | 指定授权资源,您可以登录PAI控制台,在开通和授权>全部云产品依赖页面的Designer区域,单击操作列下的查看授权信息,获取arn。 |
ossHost | 是 | OSS各地域Endpoint。如何获取Endpoint,请参见访问域名和数据中心。 |
buckets | 是 | 配置所在的bucket和保存模型的bucket,如果有多个bucket,使用半角逗号(,)分隔,例如 |
extra_params | 是 | 额外参数,PAIFlow上没有定义的参数,指定model_dir、user_model_dir、item_model_dir、user_fg_json_path、item_fg_json_path参数。 |
使用示例
请参考推荐算法定制DSSM向量召回节点12_rec_sln_demo_dssm_recall_v1_train_2,该节点使用了向量召回模型拆分组件。