模型导出

模型导出组件实现EasyRec模型导出(export)功能。

前提条件

已完成模型训练

可视化配置参数

  • 输入桩

    输入桩(从左到右)

    限制数据类型/上游组件

    对应PAI命令参数

    是否必选

    训练模型目录

    OSS路径/模型训练

    model_dir

  • 组件参数

    页签

    参数

    是否必选

    描述

    对应PAI命令参数

    默认值

    参数设置

    EasyRec配置文件

    EasyRec配置文件模型训练-模型路径下面生成的名称为pipeline.config的文件,训练模型目录和EasyRec配置文件至少选一个,训练模型路径优先级更高。

    config

    指定checkpoint路径

    checkpointOSS全路径,如果配置这个参数,将会替代上游训练模型路径。

    checkpoint_path

    export_dir

    模型导出的目录。

    export_dir

    如果不指定会在工作流数据存储路径下生成一个随机目录

    extra_params

    指定paiflow未定义参数。指定assert_files等参数,例如:--assert_files oss://xxx

    extra_params

    指定算法版本

    选中高级选项后,可以自定义EasyRec的执行版本。

    1、请先参考文档EasyRec版本更新,生成一个EasyRecTAR包。

    2、上传对应版本EasyRecTAR包到OSS路径,详情请参见 控制台上传文件

    3、在这个参数中选择上传的文件。

    script

    执行调优

    Worker数量

    Worker的数量。

    完整的执行调优参数会拼装成cluster参数

    1

    Worker CPU用量

    Worker申请的CPU数量,取值1表示一个CPU核。

    8

    Worker Memory用量(单位为MB)

    Worker申请的内存,取值100表示100 MB。

    40000

    Worker GPU卡数

    EasyRec训练中,一般不需要使用GPU。

  • 输出桩

    输出桩(从左到右)

    数据类型

    下游组件

    模型导出路径

    OSS路径

    模型部署

PAI命令及说明

PAI -project algo_public -name easy_rec_ext
    -Dcmd="export" 
    -Dconfig="oss://rec_sln_demo/EasyRec/deploy/rec_sln_demo_rec_sln_demo_sorting_v2/20230425/pipeline.config" 	
    -Dmodel_dir="oss://rec_sln_demo/EasyRec/deploy/rec_sln_demo_rec_sln_demo_sorting_v2/20230425" 
    -Dexport_dir="oss://lcl-hz/rec_sln_demo/EasyRec/deploy/rec_sln_demo_rec_sln_demo_sorting_v2/export/20230425/final_witn_fg" 
    -Darn="acs:ram::xxxx:role/aliyunodpspaidefaultrole"
    -Dbuckets="oss://rec_sln_demo/" 
    -Dcluster="{\"worker\": {\"count\": 1, \"cpu\": 800, \"gpu\": 0, \"memory\": 40000}}" 
    -Dextra_params="--asset_files oss://rec_sln_demo/EasyRec/deploy/rec_sln_demo_rec_sln_demo_sorting_v2/fg.json" 
    -Dlifecycle="28" 
    -DossHost="oss-cn-hangzhou-internal.aliyuncs.com";

参数名称

描述

是否必选

config

训练产生的pipeline.config,如果指定了model_dir将会覆盖config里面的model_dir,一般在周期性调度的时候使用。

model_dir

训练模型存储的OSS路径,如果指定了model_dir将会覆盖config里面的model_dir,一般在周期性调度的时候使用。

cmd

指定为export,实现模型导出功能。

export_dir

导出到指定的OSS目录。

arn

指定资源组授权,您可以登录PAI控制台,在开通和授权>全部云产品依赖页面的Designer区域,单击操作列下的查看授权信息,获取arn。

ossHost

OSS各地域Endpoint。如何获取Endpoint,请参见OSS地域和访问域名

buckets

config所在的bucket和保存模型的bucket,如果有多个bucket,使用半角逗号(,)分隔,例如oss://xxxx/,oss://xxxx/

extra_params

指定paiflow未定义参数。

使用示例

  1. 创建如下工作流。

    区域

    描述

    1,2,3

    模型训练的使用实例

    4

    配置模型导出export_dir参数。

    image..png

  2. 运行工作流结束后,您在export_dir参数配置的OSS路径下查看导出的模型。

    更完整的使用方式请参考推荐解决方案-排序工作流中的组件8_rec_sln_demo_rec_sln_demo_sorting_v2_train。