全部产品
云市场
云游戏

PAI-TF调用方式

更新时间:2020-03-26 12:05:16

目录

PAI-Studio调用方式

目前仅支持北京、上海两个区域

1.进入PAI控制台,点击”Studio可视化建模“

(1)新建项目,建议使用后付费(按量付费模式)

(2)开启GPU,PAI-TF任务只能运行在GPU资源下

2.进入PAI-Studio项目后,可以通过首页模板快速了解PAI-TF的用法,模板已经内置了训练代码和数据。在首页模板找到Tensorflow图像分类案例,点击”从模板创建“即可。

模板案例是基于开源图像数据cifar10的图像分类案例,数据和代码可以在以下地址下载并获取:

https://help.aliyun.com/document_detail/51800.html

3.实验流程说明

  • 数据源可以是OSS或者MaxCompute表,细节请参考文档”PAI-TF数据IO方式“
  • 执行任务前需要授权PAI可以对OSS进行读取,需要主账号登录,并在设置页面进行OSS授权

  • 如果使用的是实验模板,只需要按照下图提示修改checkpoint为自己的OSS即可运行

4.训练组件说明

  • Tensorflow版本:可以根据代码自行选择Tensorflow版本
  • Python代码文件:需要把执行代码放到OSS路径下,如果是工程文件需要是tar.gz的压缩包(注意OSS需要与当前项目在同一区域)
  • Python主文件:如果代码文件是tar.gz压缩包,需要指定入口python文件
  • OSS数据源:上游输入的OSS地址
  • Checkpoint输出目录/模型输入目录:选择自己的OSS路径用来存放模型
  • MaxCompute输出表:写MaxCompute表要求输出表是已经存在的表,并且输出的表名需要跟代码中的输出表名一致。
  • 建表SQL语句:如果代码中的输出表并不存在,可以通过这个输入框输入建表语句自动建表。建表语句会在TF脚本执行前执行,如建表语句“create table iris_output(f1 DOUBLE,f2 DOUBLE,f3 DOUBLE,f4 DOUBLE,f5 STRING);”

5.分布式参数说明

  • 单机或分布式指的是计算的机器数量
  • 指定worker个数:分布式计算的机器数
  • 指定workerGPU卡数:每个worker的GPU卡数,假设worker个数为3个,指定workerGPU卡数为2,那么总卡数为3*2=6
  • 指定ps个数:参数服务器的个数,通常不超过worker个数的一半

MaxCompute Console调用方式

MaxCompute是阿里云自研的大数据计算平台,PAI是基于MaxCompute建设的人工智能平台,PAI-TF的计算可以运行在MaxCompute之上,本节介绍如何基于MaxCompute Console工具运行PAI任务。

使用MaxCompute Console方式跑PAI-TF任务需要先前往PAI购买页,购买PAI后付费服务

MaxComupute Console为一个可被封装的命令行工具,可在以下页面下载:https://help.aliyun.com/document_detail/27971.html

下载后请安装配置说明配置安装和配置:

配置好环境后进入命令行工具,输入PAI-TF命令即可运行脚本,PAI-TF任务参考文档”“

Dataworks节点调度TF方式

1.进入Dataworks控制台

2.选择项目并进入,Dataworks与PAI-Studio公用项目,创建项目的时候需要开通底层MaxCompute引擎,都选择后付费模式即可。

3.点击+号,选择MaxCompute下的SQL节点(如果没有创建业务流程,需要先创建业务流程)

4.复制PAI命令到界面内,点击运行即可