全部产品
云市场

开发环境

更新时间:2020-04-10 15:16:40

从PAI DSW控制台打开实例进入DSW开发环境界面,提供了Python开发环境,平台内置了常用的大数据开发及算法库,也支持自定义安装第三方库,让用户能够专注于算法的开发。

Notebook开发环境

点击打开按钮进入实例进行开发,如数据读取、算法开发、模型训练等。

新手教程

对于新手用户,推荐首先使用DSW内置的案例,熟悉产品功能。在左侧文件列表中找到Demos文件菜单,即可选择需要的案例进行下载。下载完成的案例可以在/Demo/Cases路径下找到,打开后可直接运行成功。

第三方库安装

用户在使用python环境做开发的过程中如需使用第三方库,可进入Terminal自行安装。安装python3下面的第三方库:

  1. pip install --user xxx
  2. 如:
  3. pip install --user sklearn

卸载第三方库,注意只有自己安装的才能卸载:

  1. pip uninstall xxx

查看已经安装的包

  1. pip list

安装固定版本的tensoflow-gpu,由于tensorflow-gpu是不支持卸载的,所以只能按照更新命令执行,更新版本注意和cuda要兼容。(预付费实例cuda版本为10,后付费实例cuda版本为9)

  1. pip install --upgrade --user tensorflow-gpu=<版本号>
注意:不要升级系统pip,可能导致无法安装包。

目前DSW提供了四个Kernel:Python2,Python3,PyTorch,TensorFlow2.0。在安装第三方包时,默认安装到Python3下,如需安装到其他环境,先手动切换环境再安装:

  1. 安装到python2环境下:
  2. source activate python2
  3. pip install --user xxx
  4. 安装到TensorFlow2.0环境下:
  5. source activate tf2
  6. pip install --user xxx

数据上传

上传本地文件

对于小文件,可通过DSW 界面点击上传按钮直接完成数据上传,并且支持断点续传。对于大文件的上传可参考数据上传和下载帮助文档。上传的文件存放于nas文件系统。

挂载NAS

DSW实例直接挂载了NAS,在左侧文件目录中,可以直接操作文件。如需使用更多的NAS存储空间,可以参考实例扩容文档,额外挂载NAS文件系统。

说明:实例提供的免费NAS文件系统,对应路径为/home/admin/jupyter,只有存放于该路径下的文件会持久保存。

模型部署

DSW平台内置了EASCMD,用户可以在teminal通过命令行的方式完成PAI EAS(什么是PAI EAS)模型服务部署。请参照以下步骤完成EAS模型服务的创建。

1. OSS用户认证

EAS预测服务使用阿里云ak进行身份认证,提交任务时需要使用阿里云提供的AccessKeyId和AccessKeySecret。在Terminal输入如下命令

  1. eascmd config -i <AccessKeyId> -k <AccessKeySecret> -e pai-eas-share.cn-beijing.aliyuncs.com

命令中的endpoint根据自己所在region替换,目前公共云支持的region的endpoint如下:

Region Endpoint
华东2(预付费实例) pai-eas-share.cn-shanghai.aliyuncs.com
华北2(预付费实例) pai-eas-share.cn-beijing.aliyuncs.com
华东2(后付费实例) pai-eas.cn-shanghai.aliyuncs.com
华北2(后付费实例) pai-eas.cn-beijing.aliyuncs.com
政务云-华北2 pai-eas.cn-north-2-gov-1.aliyuncs.com
华东1 pai-eas.cn-hangzhou.aliyuncs.com
华南1 pai-eas.cn-shenzhen.aliyuncs.com
新加坡 pai-eas.ap-southeast-1.aliyuncs.com

2.文件上传

创建服务时,需要将model或processor以http或oss地址的形式给出,EAS为每个用户提供了oss仓库来上传这些数据,通过eascmd的upload命令可直接上传并获取到上传后的oss地址。参考如下命令,其中filename为在dsw训练生成的模型文件或者自定义的processor。

  1. eascmd upload [filename] --inner

上传成功后,可以使用返回结果中的oss target path用户服务部署:oss://eas-model-beijing/1295715995194599/xlab_m_random_forests__638730_v0-随机森林-1-Model.pmml

  1. sh-4.2$ eascmd upload xlab_m_random_forests__638730_v0-随机森林-1-Model.pmml --inner
  2. [OK] oss endpoint: [http://oss-cn-beijing-internal.aliyuncs.com]
  3. [OK] oss target path: [oss://eas-model-beijing/1295715995194599/xlab_m_random_forests__638730_v0-随机森林-1-Model.pmml]
  4. Succeed: Total num: 1, size: 23,846. OK num: 1(upload 1 files).
  5. sh-4.2$

3.创建EAS服务

在DSW里准备一个json文件,如名称pmml.json,用于部署EAS服务,文件内容包含步骤2中生成的oss路径。各个参数的含义可以参照EASCMD文档

  1. {
  2. "name": "model_example",
  3. "generate_token": "true",
  4. "model_path": "oss://eas-model-shanghai/1295715995194599/xlab_m_random_forests__638730_v0-随机森林-1-Model.pmml",
  5. "processor": "pmml",
  6. "metadata": {
  7. "instance": 1,
  8. "cpu": 1
  9. }
  10. }

通过create命令可以创建服务,命令如下。部署成功后,如图所示。

  1. eascmd create pmml.json

通过DSW部署成功的EAS服务,后续可以到EAS管控台管理服务。