全部产品
云市场

PAI DSW简介

更新时间:2020-01-19 15:22:03

概述

PAI-DSW(Data Science Workshop)是为算法开发者量身打造的云端深度学习开发环境,您可以在DSW平台完成数据预处理、算法开发、模型训练以及模型部署,无需多平台切换。DSW内置了PAI团队深度优化过的Tensorflow框架,同时也支持通过打开Terminal自行安装第三方库。

核心特性:

  • 实时资源监控,算法开发的同时直观展示CPU/GPU使用情况
  • 内置常用数据开发及算法常用库,并支持自定义安装第三方库
  • 多源数据接入,直接读取MaxCompute/OSS/NAS
  • 支持大数据开发,编写和运行SQL语句
  • 提供多种可选资源型号,包括纯CPU以及多种GPU算力卡
  • 各类资源的灵活切换,有效降低使用成本

可用区域

华北2(北京)华东1(杭州) 华东2(上海) 华南1(深圳)新加坡

联网说明:DSW北京和上海的预付费模式以及上海后付费的M40不支持联网,其他可用region的后付费均支持联网。

付费方式

支持预付费(包年包月)和后付费(按量付费)两种方式,产品定价以及计费方式可参考文档:PAI-DSW定价与计费

支持资源规格

资源类型 资源规格 可用区域
pai.medium.1xv100 GPU V100卡 北京、上海、杭州、深圳
pai.medium.1xt4 GPU T4卡 全区域
pai.medium.1xp100,北京最大支持8卡 GPU P100卡 全区域
pai.medium.1xm40 GPU M40卡 上海
dsw.large.2core4g CPU2核4G 全区域
dsw.xlarge.4core8g CPU4核8G 全区域
dsw.2xlarge.8core16g CPU8核16G 全区域
dsw.4xlarge.16core32g CPU16核32G 全区域
dsw.6xlarge.24core48g CPU24核48G 全区域

DSW界面

整个布局分为左边的文件列表区域、中间的代码编辑区域以及右侧的资源查询区域。

创建DSW实例

在开始代码编辑之前,需要先创建DSW实例,选择所需的资源以及存储(DSW默认提供5G的NAS空间),如需扩展存储可以参考挂载NAS章节。子账号创建实例权限需由主账号授权,如何授权可参考文档DSW权限管理说明

1.选定服务区域

进入PAI控制台选择Notebook建模服务,选定使用服务的区域

2.创建DSW实例

点击创建实例,进入实例创建页面。输入实例名称,选择需要的资源类型。

3.挂载NAS(可选)

系统默认提供5GB的NAS存储空间,如需扩展存储,可以挂载NAS文件系统。如何挂载NAS文件系统请参考挂载NAS获得文件系统ID,点击“获取授权”再填入文件系统ID即完成NAS文件系统的绑定。

4.Notebook实例管理

实例启动后进入Running状态即开始收费。完成训练后建议及时停止实例,进入stopped状态不再计费。如后续无训练任务可删除实例,实例删除后数据不可恢复。

5.进入Notebook实例

点击打开按钮进入实例进行开发,如数据读取、算法开发、模型训练等。

读取数据

DSW读取MaxCompute数据:https://help.aliyun.com/document_detail/113736.html

DSW读取OSS数据:https://help.aliyun.com/document_detail/130266.html

内置Demo

对于新手用户,推荐首先使用DSW内置的案例,熟悉产品功能。在左侧文件列表中找到Demos文件菜单,即可选择需要的案例进行下载。下载完成的案例可以在File browser直接找到并使用。

6. 第三方库安装

用户在使用python环境做开发的过程中如需使用第三方库,可进入Terminal自行安装。安装python3下面的第三方库:

  1. pip install --user xxx
  2. 如:
  3. pip install --user sklearn

卸载第三方库,注意只有自己安装的才能卸载:

  1. pip uninstall xxx

查看已经安装的包

  1. pip list

安装固定版本的tensoflow-gpu,由于tensorflow-gpu是不支持卸载的,所以只能按照更新命令执行,更新版本注意和cuda要兼容。

  1. pip install --upgrade --user tensorflow-gpu=<版本号>

目前DSW提供了四个Kernel:Python2,Python3,PyTorch,TensorFlow2.0。在安装第三方包时,默认安装到Python3下,如需安装到其他环境,先手动切换环境再安装:

  1. 安装到python2环境下:
  2. source activate python2
  3. pip install --user xxx
  4. 安装到TensorFlow2.0环境下:
  5. source activate tf2
  6. pip install --user xxx

DSW实例资源切换

PAI DSW已支持后付费模式下各种资源型号的切换,给用户提供更多选择的同时,做到更高效节能降本。

选定待切换的资源类型后,点击切换按钮即进入切换状态。左侧标题显示Switching,切换按钮显示小菊花,表示当前还在切换过程中。当标题栏显示当前使用的资源类型,当前kernel正常连接时,表示切换成功,整个切换过程大概需要1到2分钟。实例切换资源后,原先代码的运行结果都将失效,需要重新运行。

计费说明:后付费的实例按照实例运行时长计费,不同资源型号每小时的价格不同,成功切换资源后,切换前的资源不再计费,按照新的资源计算时计费。详细单价参考价格说明文档

注意:

  1. 实例资源切换后,如遇切换后显示未更新或者切换失败的特殊场景,手动刷新页面。
  2. 如非实际场景需要,最好不要频繁的切换资源,切换过程中不要操作其他按钮。

DSW大数据开发

DSW支持在ipynb文件中编写SQL语句,预置的SQL编辑器支持了语法高亮、智能提示、自动补全等功能。完成一次配置,即可直接读取各项目下各MaxCompute表数据,一键执行SQL图表化展示数据分布等。

1. 加载dswmagic

dswmagic是DSW平台封装的notebook魔法命令,提前在平台预装好了对应的安装包,只需一行加载魔法命令,即可使用大数据版的DSW相关功能。

  1. %load_ext dswmagic

2. cell切换为sql类型

加载DSW魔法命令后,在ipynb文件中新增cell,为cell选定sql编辑器,当前cell自动切换至sql编辑模式。

3. 配置数据源及Endpoint

在开始编写SQL之前,需要预先配置待读取MaxCompute表所在项目project以及账号的AK信息和项目的endpoint,一次配置多次复用。点击New DataSource右侧的+号,进入数据源配置界面,数据源增加成功后,下拉列表中选中该数据源即可引用,也可在列表中切换至其他数据源。

Endpoint的配置:

  1. AccessKey ID: 阿里云accessKey ID
  2. AccessKey Secret:阿里云accesskey Secret
  3. 北京region预付费的P100机器、上海regionM40机器的Endpointhttp://service-all.ext.odps.aliyun-inc.com/api
  4. 其他机器的Endpoint: http://service.cn.maxcompute.aliyun.com/api

4. 编写及运行SQL

数据读取前的准备完成后,即可在DSW里开始写SQL语句了。编辑器支持单条及多条SQL语句的执行,语句间用;隔开,运行结果逐行展示。运行结果数据支持多种展现方式,包括Excel、直方图、圆饼图、曲线图、散点图等,其中各类分布图可点击设置按钮修改X轴和Y轴,点击右上角图表按钮可进入WebExcel直接编辑,同时生成的结果保存在变量df0中,df0.values是标准的pandas dataframe,DSW对pandas dataframe的输出也做了特殊的展示,可以支持WebExcel和图表的可视化结果展示。

DSW对大数据开发的深入支持不仅能提供更便捷的数据获取方式、更好的SQL编程体验、更强大的数据分析工具,同时打通了从sql查询结果到标准pandas dataframe的转化,训练好的模型也能够更快速地部署成模型服务,持续提升算法开发者的开发效率。

挂载NAS

首先进入NAS购买,注意区域要跟使用的DSW区域一致,NAS购买地址:https://www.aliyun.com/product/nas

进入控制台,按照下图步骤操作:

(1)创建实例并进入挂载点设置

注意:

  • 创建文件系统的时候不要选择NASPlus类型,协议类型只支持NFS

(2)对NAS进行授权

如果已经授权过的用户请忽略此步骤,授权点击以下链接并且确认即可:NAS文件系统读取权限授权链接

保存文件系统ID,此ID即可挂载到DSW的实例下作为存储。

(3)DSW实例挂载NAS文件系统

对于新创建的实例,在创建实例页面输入NAS文件系统ID即可完成挂载;对于已有的实例扩容,先停止实例再点击配置按钮,输入NAS文件系统ID即可完成挂载。

(4)使用已挂载的NAS文件系统

完成NAS文件系统挂载后,在实例列表的文件系统ID列看到刚填写的NAS文件系统ID。进入实例打开Terminal,检查已挂载成功的nas路径:/nas。

在使用过程中,如果想通过DSW上传按钮直接上传文件到挂载的/nas路径下,可以从/home/admin/jupyter目录下创建一个软连接到/nas。

  1. sh-4.2$ cd /home/admin/jupyter/
  2. sh-4.2$ ls
  3. dddd.txt graph.fnn.ipynb nihao.ipynb Sequential.ipynb
  4. Demo nihao2.ipynb number.fnn.ipynb 图片.png
  5. sh-4.2$ ln -s /nas/ mynas
  6. sh-4.2$ ls
  7. dddd.txt graph.fnn.ipynb nihao2.ipynb number.fnn.ipynb 图片.png
  8. Demo mynas nihao.ipynb Sequential.ipynb