全部产品
云市场

PyTorch使用指南

更新时间:2019-09-20 17:28:44

使用流程

在深度学习组件列表中找到PyTorch组件,同时找到”读OSS数据组件“,目前PyTorch只支持读取OSS数据。拼接如下实验:

参数说明

  • python版本:可以在2.7和3.6之间切换
  • Python代码:选择代码路径,如果上传的是tar.gz工程,需要在下一个框指定主文件。如果直接上传单个py文件,则不需要再指定主文件
  • OSS数据源目录:OSS路径
  • 配置文件超参及用户自定义参数:超参文件,kv格式(中间逗号分割)
  • checkpoint输出目录/模型输入目录:模型输出路径

  • 指定worker个数:分布式机器数
  • 指定workerGPU 卡数:每个worker中的GPU卡

PAI命令说明

例:

  1. PAI -name pytorch_ext -DossHost="oss-cn-beijing-internal.aliyuncs.com" -Dcluster="{\"worker\":{\"gpu\":100}}" -DworkerCount="2" -Dpython="3.6" -Dinputs="oss://${OSS bucket名字}.oss-cn-beijing-internal.aliyuncs.com/mnist/" -Darn="acs:ram::1680691362194009:role/aliyunodpspaidefaultrole" -Dscript="oss://${OSS bucket名字}.oss-cn-beijing-internal.aliyuncs.com/pytorch/pytorch_dist_mnist.py" -DcheckpointDir="oss://${OSS bucket名字}.oss-cn-beijing-internal.aliyuncs.com/pytorch/";
参数 数值
DossHost OSS host地址
Dcluster 每个worker的GPU卡个数,100等于1张卡,200等于2张卡
DworkerCount worker
Dpython python版本,2.7或3.6
Dinputs 输入的数据源路径
Darn oss的rolearn
Dscript 执行的代码文件
DcheckpointDir 模型存储路径
DhyperParameters 超参文件

代码中需要通过指定parser对像获取web端配置的参数内容,如在组件参数中配置了OSS数据源路径,在代码中可以通过inputs对象获取路径,详细用法可参考下方代码。

案例代码

下载页:https://help.aliyun.com/document_detail/139986.html

1.下载”pytorch分布式处理mnist文件代码“上传至OSS,需要填写用户自己的ak信息

2.下载mnist训练文件和mnist测试文件上传至OSS文件夹下

3.配置参数

4.配置资源

因为样例代码是分布式代码,所以worker个数需要大于1