向量召回模型拆分_人工智能平台 PAI(PAI)-阿里云帮助中心

该组件使用split_model_pai.py脚本，实现向量召回模型拆分的功能。

前提条件

已开通OSS并完成授权，详情请参见开通OSS服务和云产品依赖与授权：Designer。
完成模型训练。

可视化配置参数

输入桩
输入桩（从左到右）
限制数据类型/上游组件
对应PAI命令参数
是否必选
训练模型路径
OSS路径/模型训练
model_dir
是

组件参数

页签	参数	是否必选	描述	对应PAI命令参数	默认值
参数设置	导出类型	否	上游模型训练后的导出类型exporter_type，取值如下： -best -final -latest	无PAI命令参数，对应config文件内的`exporter_type:"best"`	final
	user模型输出路径	否	user模型输出路径，如果您没有配置该参数，您需要单击空白画布，在工作流属性页签中配置工作流数据存储路径。Designer会在工作流数据存储路径下生成一个随机路径。	user_model_dir	无
	item模型输出路径	否	item模型输出路径，如果您没有配置该参数，您需要单击空白画布，在工作流属性页签中配置工作流数据存储路径。Designer会在工作流数据存储路径下生成一个随机路径。	item_model_dir	无
	user_fg.json输入文件	是	user_fg.json输入文件所在的OSS全路径。	user_fg_json_path	无
	item_fg.json输入文件	是	item_fg.json输入文件所在的OSS全路径。	item_fg_json_path	无
	指定算法版本	是	可以自定义EasyRec的执行版本。请先参考文档EasyRec版本更新，生成一个EasyRec的TAR包。上传对应版本的TAR包到OSS路径，参考控制台上传文件。在这个参数中选中上传的文件。	script	空
执行调优	Worker数量	否	Worker的数量。	完整的执行调优参数会拼装成cluster参数	1
	Worker CPU用量	否	Worker申请的CPU数量，取值1表示一个CPU核。		8
	Worker Memory用量（单位为MB）	否	Worker申请的内存，取值100表示100 MB。		40000
	Worker GPU卡数	否	在EasyRec训练中，一般不需要使用GPU。		0

输出桩
输出桩（从左到右）
数据类型
对应PAI命令参数
是否必选
user模型路径
OSS路径
user_model_dir
是
item模型路径
OSS路径
item_model_dir
是

PAI命令及说明

PAI -project algo_public -name easy_rec_ext
-Dcmd="custom" 
-Darn="acs:ram::xxx:role/aliyunodpspaidefaultrole" 
-Dbuckets="oss://lcl-hz/" 
-Dcluster="{\"worker\": {\"count\": 1, \"cpu\": 800, \"gpu\": 0, \"memory\": 40000}}" 
-DentryFile="easy_rec/python/tools/split_model_pai.py" 
-Dextra_params="--model_dir=oss://examplebucket/EasyRec/deploy/rec_sln_demo_dssm_recall_v1/20230425/export/final --user_model_dir=oss://rec_sln_demo/EasyRec/deploy/rec_sln_demo_rec_sln_demo_sorting_v1/20230425/export/final/user --item_model_dir=oss://rec_sln_demo/EasyRec/deploy/rec_sln_demo_dssm_recall_v1/20230425/export/final/item --user_fg_json_path=oss://rec_sln_demo/EasyRec/deploy/rec_sln_demo_dssm_recall_v1/user_fg.json --item_fg_json_path=oss://rec_sln_demo/EasyRec/deploy/rec_sln_demo_dssm_recall_v1/item_fg.json" 
-Dlifecycle="28" 
-DossHost="oss-cn-hangzhou-internal.aliyuncs.com" 
-Dscript="oss://examplebucket/easy_rec_ext_0.6.1_res.tar.gz";

参数名称	是否必选	描述
entryFile	是	执行文件，执行split_model_pai.py脚本。
cmd	是	指示命令，指示为custom。
arn	是	指定授权资源，您可以登录PAI控制台，在开通和授权>全部云产品依赖页面的Designer区域，单击操作列下的查看授权信息，获取arn。
ossHost	是	OSS各地域Endpoint。如何获取Endpoint，请参见访问域名和数据中心。
buckets	是	配置所在的bucket和保存模型的bucket，如果有多个bucket，使用半角逗号（,）分隔，例如`oss://xxxx/,oss://xxxx/`。
extra_params	是	额外参数，PAIFlow上没有定义的参数，指定model_dir、user_model_dir、item_model_dir、user_fg_json_path、item_fg_json_path参数。

使用示例

请参考推荐算法定制DSSM向量召回节点12_rec_sln_demo_dssm_recall_v1_train_2，该节点使用了向量召回模型拆分组件。

输入桩（从左到右）	限制数据类型/上游组件	对应PAI命令参数	是否必选
训练模型路径	OSS路径/模型训练	model_dir	是

输出桩（从左到右）	数据类型	对应PAI命令参数	是否必选
user模型路径	OSS路径	user_model_dir	是
item模型路径	OSS路径	item_model_dir	是