全部产品
云市场

MXNet使用指南

更新时间:2020-01-06 10:24:49

MXNet

MXNet是一个深度学习框架,支持命令和符号编程,可以运行在CPU和GPU集群上。MXNet是cxxnet的下一代,cxxnet借鉴了minerva的思想。

参数说明

  • 参数设置

    • Python代码文件:程序执行文件,多个文件可通过tar.gz打包上传。
    • Python主文件:指定代码文件压缩包中的主文件,可选。
    • 数据源目录:选择OSS上的数据源。
    • 配置文件超参及用户自定义参数:PAI MXNet支持用户通过命令传入相应的超参配置,这样用户在做模型试验的时候可以尝试不同的learning rate, batch size等。
    • 输出目录:输出的模型路径。
  • 执行调优

    用户可以根据自身任务的复杂程度指定GPU卡数。

PAI 命令

实际使用中,并不需要指定所有参数(不要直接复制下面的命令),各个参数的含义可以参考后面的表格。

  1. PAI -name mxnet_ext
  2. -Dscript="oss://imagenet.oss-cn-shanghai-internal.aliyuncs.com/mxnet-ext-code/mxnet_cifar10_demo.tar.gz"
  3. -project algo_public_dev
  4. -DentryFile="train_cifar10.py"
  5. -Dbuckets="oss://imagenet.oss-cn-shanghai-internal.aliyuncs.com"
  6. -DcheckpointDir="oss://imagenet.oss-cn-shanghai-internal.aliyuncs.com/mxnet-ext-model/"
  7. -DhyperParameters="oss://imagenet.oss-cn-shanghai-internal.aliyuncs.com/mxnet-ext-code/hyperparam.txt.single"
  8. -Darn="acs:ram::1664081855183111:role/role-for-pai";

各个参数的具体含义如下表:

参数名称 参数描述 参数值格式 默认值
script 必选,TF算法文件,可以是单个文件或者tar.gz压缩包 oss://imagenet.oss-cn-shanghai-internal.aliyuncs.com/smoke_mxnet/mnist_ext.py oss://imagenet.oss-cn-shanghai-internal.aliyuncs.com/smoke_mxnet/mnist_ext.py
entryFile 可选,算法入口文件名,当script为tar.gz压缩包时,该参数必填 train.py
buckets 必选,输入bucket,可多个,以逗号隔开, 每个bucket须以”/“结尾 oss://imagenet.oss-cn-shanghai-internal.aliyuncs.com
hyperParameters 可选,命令行超参数路径 oss://imagenet.oss-cn-shanghai-internal.aliyuncs.com/mxnet-ext-code/
gpuRequired 可选,标识使用GPU资源量 200 100
checkpointDir 可选, checkpoint目录 oss://imagenet.oss-cn-shanghai-internal.aliyuncs.com/mxnet-ext-code/

案例

CIFAR-10是MXNet官方提供的基于图片的10分类场景的案例,通过对于6万张32*32的图片进行训练生成模型,可以对飞机、汽车、鸟、猫、鹿、狗、青蛙、马、船、卡车进行自动分类。详细内容见:https://www.cs.toronto.edu/~kriz/cifar.html

  1. 在OSS端上传python执行文件以及训练数据集。本案例在OSS华东2 region创建bucket,bucket名为tfmnist,上传python脚本以及训练数据。

  2. 拖拽读OSS Bucket和MXNet组件,拼接成如下实验。需要设置好OSS Bucket的地区,并完成RAM授权,如下图所示。

  3. 配置MXNet组件参数。参照下图配置python执行文件以及数据源文件路径,如下图所示。

    • Python代码文件选择.tar.gz文件。
    • Python主文件选择tar包中的执行入口文件。
    • 超参自定义参数文件选择.txt.single文件。
    • checkpoint为模型输出目录。
  4. 单击运行,直到两个组件运行完成,如下图所示。

  5. 右键单击MXNet组件,查看运行日志。

  6. 在checkpoint地址下生成如下图所示的模型。