PyTorch使用指南_深度学习框架组件说明_PAI-Studio 可视化建模

使用流程

在深度学习组件列表中找到PyTorch组件，同时找到”读OSS数据组件“，目前PyTorch只支持读取OSS数据。拼接如下实验：

参数说明

python版本：可以在2.7和3.6之间切换
Python代码：选择代码路径，如果上传的是tar.gz工程，需要在下一个框指定主文件。如果直接上传单个py文件，则不需要再指定主文件
OSS数据源目录：OSS路径
配置文件超参及用户自定义参数：超参文件，kv格式（中间逗号分割）
checkpoint输出目录/模型输入目录：模型输出路径

指定worker个数：分布式机器数
指定workerGPU 卡数：每个worker中的GPU卡

PAI命令说明

例：

 PAI -name pytorch_ext  -DossHost="oss-cn-beijing-internal.aliyuncs.com" -Dcluster="{\"worker\":{\"gpu\":100}}" -DworkerCount="2" -Dpython="3.6" -Dinputs="oss://${OSS bucket名字}.oss-cn-beijing-internal.aliyuncs.com/mnist/" -Darn="acs:ram::1680691362194009:role/aliyunodpspaidefaultrole" -Dscript="oss://${OSS bucket名字}.oss-cn-beijing-internal.aliyuncs.com/pytorch/pytorch_dist_mnist.py" -DcheckpointDir="oss://${OSS bucket名字}.oss-cn-beijing-internal.aliyuncs.com/pytorch/";

参数	数值
DossHost	OSS host地址
Dcluster	每个worker的GPU卡个数，100等于1张卡，200等于2张卡
DworkerCount	worker
Dpython	python版本，2.7或3.6
Dinputs	输入的数据源路径
Darn	oss的rolearn
Dscript	执行的代码文件
DcheckpointDir	模型存储路径
DhyperParameters	超参文件

代码中需要通过指定parser对像获取web端配置的参数内容，如在组件参数中配置了OSS数据源路径，在代码中可以通过inputs对象获取路径，详细用法可参考下方代码。

案例代码

下载页：https://help.aliyun.com/document_detail/139986.html

1.下载”pytorch分布式处理mnist文件代码“上传至OSS，需要填写用户自己的ak信息

2.下载mnist训练文件和mnist测试文件上传至OSS文件夹下

3.配置参数

4.配置资源

因为样例代码是分布式代码，所以worker个数需要大于1