文档

模型导出

更新时间:

模型导出组件实现EasyRec模型导出(export)功能。

前提条件

已完成模型训练

可视化配置参数

  • 输入桩

输入桩(从左到右)

限制数据类型/上游组件

对应PAI命令参数

是否必选

训练模型目录

OSS路径/模型训练

model_dir

  • 组件参数

页签

参数

是否必选

描述

对应PAI命令参数

默认值

参数设置

EasyRec配置文件

EasyRec配置文件模型训练-模型路径下面生成的名称为pipeline.config的文件,训练模型目录和EasyRec配置文件至少选一个,训练模型路径优先级更高。

config

指定checkpoint路径

checkpoint的OSS全路径,如果配置这个参数,将会替代上游训练模型路径。

checkpoint_path

export_dir

模型导出的目录。

export_dir

extra_params

指定paiflow未定义参数。指定assert_files等参数,例如:--assert_files oss://xxx

extra_params

指定算法版本

选中高级选项后,可以自定义EasyRec的执行版本。

1、请先参考文档EasyRec版本更新,生成一个EasyRec的TAR包。

2、上传对应版本EasyRec的TAR包到OSS路径,详情请参见控制台上传文件

3、在这个参数中选中上传的文件。

script

执行调优

Worker数量

Worker的数量。

完整的执行调优参数会拼装成cluster参数

1

Worker CPU用量

Worker申请的CPU数量,取值1表示一个CPU核。

8

Worker Memory用量(单位为MB)

Worker申请的内存,取值100表示100 MB。

40000

Worker GPU卡数

在EasyRec训练中,一般不需要使用GPU。

  • 组件参数

输出桩(从左到右)

数据类型

下游组件

模型导出路径

OSS路径

模型部署

PAI命令及说明

PAI -project algo_public -name easy_rec_ext
    -Dcmd="export" 
    -Dconfig="oss://rec_sln_demo/EasyRec/deploy/rec_sln_demo_rec_sln_demo_sorting_v2/20230425/pipeline.config" 	
    -Dmodel_dir="oss://rec_sln_demo/EasyRec/deploy/rec_sln_demo_rec_sln_demo_sorting_v2/20230425" 
    -Dexport_dir="oss://lcl-hz/rec_sln_demo/EasyRec/deploy/rec_sln_demo_rec_sln_demo_sorting_v2/export/20230425/final_witn_fg" 
    -Darn="acs:ram::xxxx:role/aliyunodpspaidefaultrole"
    -Dbuckets="oss://rec_sln_demo/" 
    -Dcluster="{\"worker\": {\"count\": 1, \"cpu\": 800, \"gpu\": 0, \"memory\": 40000}}" 
    -Dextra_params="--asset_files oss://rec_sln_demo/EasyRec/deploy/rec_sln_demo_rec_sln_demo_sorting_v2/fg.json" 
    -Dlifecycle="28" 
    -DossHost="oss-cn-hangzhou-internal.aliyuncs.com";

参数名称

描述

是否必选

config

训练产生的pipeline.config,如果指定了model_dir将会覆盖config里面的model_dir,一般在周期性调度的时候使用。

model_dir

训练模型存储的OSS路径,如果指定了model_dir将会覆盖config里面的model_dir,一般在周期性调度的时候使用。

cmd

指定为export,实现模型导出功能。

export_dir

导出到指定的OSS目录。

arn

指定资源组授权,您可以登录PAI控制台,在开通和授权>全部云产品依赖页面的Designer区域,单击操作列下的查看授权信息,获取arn。

ossHost

OSS各地域Endpoint。如何获取Endpoint,请参见访问域名和数据中心

buckets

config所在的bucket和保存模型的bucket,如果有多个bucket,使用半角逗号(,)分隔,例如oss://xxxx/,oss://xxxx/

extra_params

指定paiflow未定义参数。

使用示例

  1. 创建如下工作流

区域

描述

1,2,3

模型训练的使用实例

4

配置模型导出export_dir参数。

image..png
  1. 运行工作流结束后,您在export_dir参数配置的OSS路径下查看导出的模型

更完整的使用方式请参考推荐算法定制-排序8_rec_sln_demo_rec_sln_demo_sorting_v2_train。

  • 本页导读 (1)
文档反馈