全部产品
云市场

PAI DSW V2 专业版

更新时间:2020-05-27 11:48:24

机器学习PAI-DSW交互式开发环境专业版(简称PAI-DSW专业版)于2020年5月7日全新升级上线,致力于给您提供更灵活开放的AI开发环境、极致流畅的开发体验。PAI-DSW作为集成计算资源与开发平台的云端算法开发IDE,在减少用户运维工作的同时,为高阶AI开发者开放自定义开发的能力,进一步实现降本提效。目前PAI-DSW专业版可在杭州地域使用。

概述

PAI-DSW专业版底层计算资源是阿里云服务器ECS,云盘作为存储,借助阿里云Docker和Kubernetes等云原生技术,快速为用户搭建出全集成的机器学习开发环境。在V1入门版的基础上,DSW V2 专业版增强功能包括:

  1. 定义PAI产品全新的购买方式,丰富的计算资源类型以及便捷的购买体验。
  2. 高效安全的实例管理能力,支持实例随停随启,镜像一键保存,可快速恢复实例开发环境以及VPC访问。
  3. 集成式AI开发环境
    • 预装常用大数据开发包、算法包的同时,开放sudo权限支持第三方库安装
    • 预装JupyterLab多插件,如Git、Tensorboard等,帮助用户提升开发效率
    • 提供官方镜像,覆盖多版本主流计算框架,TensorFlow、PyTorch
    • 平台嵌入WebIDE,支持任意插件安装
  4. 内置PAI基础能力,视觉类算法工具EasyVision、自动调参工具AutoML、编译优化、直读MaxCompute CommonIO。

image.png

创建实例

从PAI-DSW控制台,点击“创建实例”自动跳转至产品购买页,选择地域及可用区、实例资源、镜像版本以及创建依赖的设置,同时完成DSW实例的购买和创建。创建步骤:

实例配置

实例名称:1-27个字符,以大小写字母、中文或数字开头,可包含”-“或”_”。
实例版本:创建实例为DSW2.0专业版。
地域及可用区:当前可用区域为杭州和深圳,请选择适合的可用区。如何选择地域和可用区,请参见地域和可用区
付费模式:当前仅支持按量付费的模式。
网络配置:专有网络VPC,安全组及交换机均由DSW平台方为您默认创建。
实例资源:实例资源支持的规格族包括ecs.g5/ecs.c5/ecs.gn6v/ecs.gn5。关于规格族的说明,请参见ECS实例资源规格族
实例镜像: DSW开发环境使用的镜像,覆盖不同Python、TensorFlow、PytTorch版本。(持续增加中)

镜像名称 类型
py27_cpu_tf1.12_ubuntu TensorFlow1.12
py27_cuda90_tf1.12_ubuntu TensorFlow1.12
py36_cuda101_tf2.1_torch1.4_ubuntu TensorFlow2.1、PyTorch1.4
py36_cpu_tf2.1_torch1.4_ubuntu TensorFlow2.1、PyTorch1.4(CPU版本)

存储: 支持系统盘,用于安装实例基础镜像,可指定系统盘的云盘类型和容量,最小为40GB。
完成上述内容的填写和配置后,购买页最下方会跟随配置项展示各项内容的询价,包括DSW、ECS、EIP、SLB及存储的费用。

5点击确认订单即进入确认页面。实例一旦创建,除了实例名称外,其他内容均不可修改。

确认订单

在当前页面,实例基础配置和资源配置内容的确定,创建实例授权的依赖项检测,勾选产品协议后,点击创建实例完成DSW实例的创建。
实名认证检查:如未通过实名认证,按照提示内容完成实名认证。
角色授权检查:如未完成角色授权检查,请点击前往授权,详细授权角色说明请参见DSW角色授权说明。
ESS状态检查: 创建DSW实例需开通ESS(弹性伸缩),产品免费使用,如未开通请前往ESS控制台开通。
账号状态检查: 因创建DSW实例依赖ECS实例的创建,需要保证账户余额大于等于100元,包括现金及优惠券等。
点击重新检测刷新检测结果。
勾选产品协议,阅读购买须知后,点击创建实例即完成实例创建。页面将跳转至DSW控制台,在这里可以看到DSW实例已创建,首次创建实例预计需要花费十分钟,请耐心等待,后付费实例在实例创建并启动成功后开始计费。如何计费请参考DSW实例计费说明

实例管理

启动实例

实例停止或者启动失败状态,您可以点击启动按钮重启实例。启动实例后可自动加载上次系统保存的镜像,恢复开发环境。对于后付费的实例,启动实例成功后,计费同步开始。

停止实例

实例停止后,ECS和DSW计费同步停止。实例停止的两种方式:

  • 直接停止:直接释放ECS实例,停止DSW实例,同时实例计费停止。
  • 保存系统再停止:保存镜像后再停止ECS实例(ECS停机不收费模式),再次重启时可恢复开发环境,停止时间会比直接停止稍长些。


删除实例

在DSW控制台删除实例,同步删除DSW实例和ECS实例,由DSW默认创建的VPC、交换机和安全组会保留。

实例环境

多种开发环境

DSW内嵌了适用于机器学习交互式开发的JupyterLab环境,预装了TensorBoard可视化工具及Git插件等,便于用户更方便的理解、调试、优化TensorFlow程序以及代码管理。同时,DSW也支持了WebIDE,在JupyterLab单个ipynb文件的基础上在WebIDE里能够做到工程化的代码管理,并且更好地支持.py代码文件,可以直接在浏览器内在线调试,单步跟踪程序运行。用户还可以根据需要,自主安装需要的任意插件。优化后的Terminal功能更适合习惯于命令行编程的开发者,满足您沉浸式的开发体验。

集成JupyterLab

DSW整合了jupyterlab作为算法同学日常编写代码的工作空间。Jupyterlab主要由三部分组成:

  • 左侧的workspace browser
  • Jupyter notebook编辑器
  • 用于执行代码的IPyKernel

image.png
此外Jupyterlab还有丰富的插件支持。DSW团队会持续打磨Jupyterlab,内置更多更好用的插件。更多功能,请参考如下链接:

集成WebIDE

DSW也整合了基于开源的Visual Studio Code的Web IDE,原生安装了C/C++、Python开发插件,方便用户在IDE中直接开发、调试、运行代码。值得一提的是,WebIDE支持用户安装VSCode插件。
image.png

Terminal

DSW单独提供了一个Terminal供用户使用,方便用户执行shell命令以及安装第三方库。为了最大程度地满足用户安装各类依赖包的需求,提供类本地开发的体验,DSW专业版开放了开发环境的sudo权限,支持用户安装任意插件。
image.png
安装命令:pip install 包名

PAI基础能力

DSW专业版内置了PAI的基础能力,您可以直接在实例内利用PAI视觉类算法工具EasyVision进行图像分类训练评估、预测; 通过自动调参AutoML进行算法超参数自动调优;在深度学习训练过程中能够无感知的享受PAI编译优化算法能力。DSW还提供了供算法直接读取MaxCompute表数据的CommonIO组件,各种能力使用方式可以参考DSW内置的Demo文件。

如何使用dswmagic写ODPS SQL

使用pyodps读写MaxCompute表示例

如何在DSW访问OSS Bucket中的数据

如何使用tensorflow_io.oss直读OSS数据

在DSW中实现NLP词向量word2vec

授权角色说明

在创建DSW实例前,需要您给DSW授权如下角色权限。

角色名称 角色说明
AliyunPAIDSWDefaultRole PAI DSW使用此角色来访问您在其他云产品中的资源。
AliyunCSDefaultRole 容器服务(CS)在集群操作时默认使用此角色来访问您在其他云产品中的资源
AliyunCSManagedLogRole 容器服务(CS)在集群操作时默认使用此角色来访问您在其他云产品中的资源
AliyunCSManagedCmsRole 容器服务(CS)在集群操作时默认使用此角色来访问您在其他云产品中的资源
AliyunCSClusterRole 容器服务(CS)在应用运行期使用此角色来访问您在其他云产品中的资源
AliyunCSKubernetesAuditRole 容器服务(CS) Kubernetes 审计功能使用此角色来访问您在其他云产品中的资源
AliyunCSManagedNetworkRole 容器服务(CS)在集群操作时默认使用此角色来访问您在其他云产品中的资源
AliyunCSManagedKubernetesRole 容器服务(CS) Managed Kubernetes版 默认使用此角色来访问您在其他云产品中的资源
AliyunCSKubernetesAuditRole 容器服务(CS) Kubernetes 审计功能使用此角色来访问您在其他云产品中的资源
AliyunESSDefaultRole ESS默认使用此角色来访问您在其他云产品中的资源

子账号使用DSW

子账号创建或者使用DSW实例之前,需要获得主账号的授权,包括:

  • 完成实名认证:主账号完成实名认证。
  • 完成角色授权:如主账号尚未授权DSW,请点击前往授权
  • 开通ESS状态检查: 创建DSW实例需开通ESS(弹性伸缩),产品免费使用,请点击ESS控制台开通。
  • 账号状态: 因创建DSW实例依赖ECS实例的创建,需要保证账户余额大于等于100元,包括现金及优惠券等,主账号需确保账户余额充足。
  • 主账号授权子账号创建、使用DSW实例权限,如何授权请参考文档DSW RAM 授权,如之前已经做过授权,略过此步骤。

删除DSW实例

在删除DSW实例时,DSW实例、ECS实例以及系统盘都将释放,数据无法再恢复。如需完全清理,请到容器服务控制台删除名称以DSW_开头的集群。

限时优惠活动

PAI-DSW专业版本自2020年5月7日上线后开启限时0折优惠活动,活动到期时间为2020年7月30日。在活动期间,使用DSW-专业版实例享受0元优惠。

例如:2020年5月7日创建了一个DSW-专业版实例,资源类型选择的是ecs.g6.xlarge,实例运行了10个小时,那么DSW实例产生的费用10*0.1=1元享受0折活动不收取费用。DSW实例底层的ECS计算资源和存储云盘以及依赖产品SLB、EIP产生的费用不在优惠范围,按照对应云产品的收费方式正常收取费用。