模型导出组件实现EasyRec模型导出(export)功能。
前提条件
已完成模型训练。
可视化配置参数
输入桩
输入桩(从左到右) | 限制数据类型/上游组件 | 对应PAI命令参数 | 是否必选 |
训练模型目录 | OSS路径/模型训练 | model_dir | 是 |
组件参数
页签 | 参数 | 是否必选 | 描述 | 对应PAI命令参数 | 默认值 |
参数设置 | EasyRec配置文件 | 否 | EasyRec配置文件是模型训练-模型路径下面生成的名称为pipeline.config的文件,训练模型目录和EasyRec配置文件至少选一个,训练模型路径优先级更高。 | config | 无 |
指定checkpoint路径 | 否 | checkpoint的OSS全路径,如果配置这个参数,将会替代上游训练模型路径。 | checkpoint_path | 无 | |
export_dir | 是 | 模型导出的目录。 | export_dir | 无 | |
extra_params | 否 | 指定paiflow未定义参数。指定assert_files等参数,例如:--assert_files oss://xxx | extra_params | 无 | |
指定算法版本 | 否 | 选中高级选项后,可以自定义EasyRec的执行版本。 1、请先参考文档EasyRec版本更新,生成一个EasyRec的TAR包。 2、上传对应版本EasyRec的TAR包到OSS路径,详情请参见控制台上传文件。 3、在这个参数中选中上传的文件。 | script | 空 | |
执行调优 | Worker数量 | 否 | Worker的数量。 | 完整的执行调优参数会拼装成cluster参数 | 1 |
Worker CPU用量 | 否 | Worker申请的CPU数量,取值1表示一个CPU核。 | 8 | ||
Worker Memory用量(单位为MB) | 否 | Worker申请的内存,取值100表示100 MB。 | 40000 | ||
Worker GPU卡数 | 否 | 在EasyRec训练中,一般不需要使用GPU。 |
组件参数
输出桩(从左到右) | 数据类型 | 下游组件 |
模型导出路径 | OSS路径 | 模型部署 |
PAI命令及说明
PAI -project algo_public -name easy_rec_ext
-Dcmd="export"
-Dconfig="oss://rec_sln_demo/EasyRec/deploy/rec_sln_demo_rec_sln_demo_sorting_v2/20230425/pipeline.config"
-Dmodel_dir="oss://rec_sln_demo/EasyRec/deploy/rec_sln_demo_rec_sln_demo_sorting_v2/20230425"
-Dexport_dir="oss://lcl-hz/rec_sln_demo/EasyRec/deploy/rec_sln_demo_rec_sln_demo_sorting_v2/export/20230425/final_witn_fg"
-Darn="acs:ram::xxxx:role/aliyunodpspaidefaultrole"
-Dbuckets="oss://rec_sln_demo/"
-Dcluster="{\"worker\": {\"count\": 1, \"cpu\": 800, \"gpu\": 0, \"memory\": 40000}}"
-Dextra_params="--asset_files oss://rec_sln_demo/EasyRec/deploy/rec_sln_demo_rec_sln_demo_sorting_v2/fg.json"
-Dlifecycle="28"
-DossHost="oss-cn-hangzhou-internal.aliyuncs.com";
参数名称 | 描述 | 是否必选 |
config | 训练产生的pipeline.config,如果指定了model_dir将会覆盖config里面的model_dir,一般在周期性调度的时候使用。 | 否 |
model_dir | 训练模型存储的OSS路径,如果指定了model_dir将会覆盖config里面的model_dir,一般在周期性调度的时候使用。 | 否 |
cmd | 指定为export,实现模型导出功能。 | 是 |
export_dir | 导出到指定的OSS目录。 | 是 |
arn | 指定资源组授权,您可以登录PAI控制台,在开通和授权>全部云产品依赖页面的Designer区域,单击操作列下的查看授权信息,获取arn。 | 是 |
ossHost | OSS各地域Endpoint。如何获取Endpoint,请参见访问域名和数据中心。 | 是 |
buckets | config所在的bucket和保存模型的bucket,如果有多个bucket,使用半角逗号(,)分隔,例如 | 是 |
extra_params | 指定paiflow未定义参数。 | 否 |
使用示例
创建如下工作流
区域 | 描述 |
1,2,3 | 模型训练的使用实例。 |
4 | 配置模型导出的export_dir参数。 |
运行工作流结束后,您在export_dir参数配置的OSS路径下查看导出的模型
更完整的使用方式请参考推荐算法定制-排序8_rec_sln_demo_rec_sln_demo_sorting_v2_train。