模型导出组件实现EasyRec模型导出(export)功能。
前提条件
已完成模型训练。
可视化配置参数
输入桩
输入桩(从左到右)
限制数据类型/上游组件
对应PAI命令参数
是否必选
训练模型目录
OSS路径/模型训练
model_dir
是
组件参数
页签
参数
是否必选
描述
对应PAI命令参数
默认值
参数设置
EasyRec配置文件
否
EasyRec配置文件是模型训练-模型路径下面生成的名称为pipeline.config的文件,训练模型目录和EasyRec配置文件至少选一个,训练模型路径优先级更高。
config
无
指定checkpoint路径
否
checkpoint的OSS全路径,如果配置这个参数,将会替代上游训练模型路径。
checkpoint_path
无
export_dir
否
模型导出的目录。
export_dir
如果不指定会在工作流数据存储路径下生成一个随机目录
extra_params
否
指定paiflow未定义参数。指定assert_files等参数,例如:--assert_files oss://xxx
extra_params
无
指定算法版本
否
选中高级选项后,可以自定义EasyRec的执行版本。
1、请先参考文档EasyRec版本更新,生成一个EasyRec的TAR包。
2、上传对应版本EasyRec的TAR包到OSS路径,详情请参见 控制台上传文件。
3、在这个参数中选择上传的文件。
script
空
执行调优
Worker数量
否
Worker的数量。
完整的执行调优参数会拼装成cluster参数
1
Worker CPU用量
否
Worker申请的CPU数量,取值1表示一个CPU核。
8
Worker Memory用量(单位为MB)
否
Worker申请的内存,取值100表示100 MB。
40000
Worker GPU卡数
否
在EasyRec训练中,一般不需要使用GPU。
输出桩
输出桩(从左到右)
数据类型
下游组件
模型导出路径
OSS路径
模型部署
PAI命令及说明
PAI -project algo_public -name easy_rec_ext
-Dcmd="export"
-Dconfig="oss://rec_sln_demo/EasyRec/deploy/rec_sln_demo_rec_sln_demo_sorting_v2/20230425/pipeline.config"
-Dmodel_dir="oss://rec_sln_demo/EasyRec/deploy/rec_sln_demo_rec_sln_demo_sorting_v2/20230425"
-Dexport_dir="oss://lcl-hz/rec_sln_demo/EasyRec/deploy/rec_sln_demo_rec_sln_demo_sorting_v2/export/20230425/final_witn_fg"
-Darn="acs:ram::xxxx:role/aliyunodpspaidefaultrole"
-Dbuckets="oss://rec_sln_demo/"
-Dcluster="{\"worker\": {\"count\": 1, \"cpu\": 800, \"gpu\": 0, \"memory\": 40000}}"
-Dextra_params="--asset_files oss://rec_sln_demo/EasyRec/deploy/rec_sln_demo_rec_sln_demo_sorting_v2/fg.json"
-Dlifecycle="28"
-DossHost="oss-cn-hangzhou-internal.aliyuncs.com";
参数名称 | 描述 | 是否必选 |
config | 训练产生的pipeline.config,如果指定了model_dir将会覆盖config里面的model_dir,一般在周期性调度的时候使用。 | 否 |
model_dir | 训练模型存储的OSS路径,如果指定了model_dir将会覆盖config里面的model_dir,一般在周期性调度的时候使用。 | 否 |
cmd | 指定为export,实现模型导出功能。 | 是 |
export_dir | 导出到指定的OSS目录。 | 是 |
arn | 指定资源组授权,您可以登录PAI控制台,在开通和授权>全部云产品依赖页面的Designer区域,单击操作列下的查看授权信息,获取arn。 | 是 |
ossHost | OSS各地域Endpoint。如何获取Endpoint,请参见OSS地域和访问域名。 | 是 |
buckets | config所在的bucket和保存模型的bucket,如果有多个bucket,使用半角逗号(,)分隔,例如 | 是 |
extra_params | 指定paiflow未定义参数。 | 否 |