本文为您介绍如何使用PAI-DSW V1入门版的开发环境。

前提条件

创建PAI DSW V1入门版实例,详情请参见管理实例

使用预置案例

如果您初次使用PAI-DSW,推荐通过预置案例,熟悉产品功能。

  1. 进入PAI-DSW开发环境。
    1. 登录PAI控制台
    2. 在左侧导航栏,选择模型开发和训练 > DSW-Notebook建模
    3. 在页面左上方,选择使用服务的地域。
    4. Notebook建模服务页面的搜索框,输入实例名称或实例ID关键字,搜索实例。
    5. 单击需要打开的实例操作列下的打开
  2. 下载预置案例。
    1. 在PAI-DSW开发环境左侧的辅助工具栏,单击预制案例图标图标。预制案例
    2. 单击待下载案例(例如DSW新手上路)后的下载预制案例图标。
      下载完成的案例存储在/Demo/Cases路径。
  3. 打开案例文件(以DSW新手上路为例)。
    1. 在PAI-DSW开发环境左侧的辅助工具栏,单击打开文件图标。
    2. 进入/Demo路径。
      系统支持以下方式:
      • 双击Name列下的Demo
      • 右键单击Name列下的Demo,在快捷菜单中,单击Open
    3. 进入/Demo/Cases路径。
      系统支持以下方式:
      • 双击Name列下的Cases
      • 右键单击Name列下的Cases,在快捷菜单中,单击Open
    4. 进入/Demo/Cases/dsw_tutorial路径。
      系统支持以下方式:
      • 双击Name列下的dsw_tutorial
      • 右键单击Name列下的dsw_tutorial,在快捷菜单中,单击Open
    5. 进入/Demo/Cases/dsw_tutorial/dsw_new路径。
      系统支持以下方式:
      • 双击Name列下的dsw_new
      • 右键单击Name列下的dsw_new,在快捷菜单中,单击Open
    6. 打开案例文件。
      系统支持以下方式:
      • 双击Name列下的模型文件。
      • 右键单击Name列下的模型文件,在快捷菜单中,单击Open
  4. 在页面上方的菜单栏,选择Run > Run All Cells,运行案例。

管理第三方库

如果使用Python开发环境,您可以在Terminal中,对第三方库进行以下操作:
  • 安装
    pip install --user <yourLibraryName>
    需要将<yourLibraryName>替换为待安装的第三方库名称。例如,使用pip install --user sklearn命令,安装sklearn库。
  • 查看
    pip list
    查看所有已安装的第三方库。
  • 卸载
    pip uninstall <yourLibraryName>
    需要将<yourLibraryName>替换为已安装的第三方库名称。
    说明 只能卸载自己安装的第三方库。
因为tensoflow-gpu不支持卸载,所以只能使用更新命令安装固定版本的tensoflow-gpu,且新版本必须与CUDA版本(预付费实例的CUDA版本为10,后付费实例的CUDA版本为9)兼容。
pip install --upgrade --user tensorflow-gpu=<versionNumber>
需要将<versionNumber>替换为待安装的tensoflow-gpu版本号。
注意 不要升级系统pip,否则可能导致无法安装。
PAI-DSW提供的开发环境包括Python2、Python3、PyTorch及TensorFlow2.0。安装第三方库时,默认安装至Python3,如果需要安装至其他环境,则必须手动切换环境后,再进行安装。
#安装至Python2环境。
source activate python2
pip install --user <yourLibraryName>
#安装至TensorFlow2.0环境。
source activate tf2
pip install --user <yourLibraryName>
需要将<yourLibraryName>替换为待安装的第三方库名称。

上传数据

  • 小数据文件

    可以通过PAI-DSW控制台快捷工具栏中的上传文件图标上传文件,且支持断点续传。

  • 大数据文件

    大文件存储至NAS文件系统,详情请参见上传下载数据

部署模型

PAI-DSW预置了EASCMD,您可以在Terminal中,通过命令行的方式部署PAI-EAS模型服务。

  1. 使用AccessKey进行身份认证。
    因为PAI-EAS使用AccessKey进行身份认证,所以提交任务时,在Terminal中,需要提供AccessKey ID和AccessKey Secret。
    eascmd config -i <AccessKey ID> -k <AccessKey Secret> -e pai-eas-share.cn-beijing.aliyuncs.com
    其中<AccessKey ID><AccessKey Secret>-e后的参数都需要根据实际情况修改。-e后的参数表示地域的Endpoint,对应关系如下。
    地域 Endpoint
    华东2(上海) pai-eas.cn-shanghai.aliyuncs.com
    华北2(北京) pai-eas.cn-beijing.aliyuncs.com
    华东1(杭州) pai-eas.cn-hangzhou.aliyuncs.com
    华南1(深圳) pai-eas.cn-shenzhen.aliyuncs.com
    中国(香港) pai-eas.cn-hongkong.aliyuncs.com
    新加坡(新加坡) pai-eas.ap-southeast-1.aliyuncs.com
    印度(孟买) pai-eas.ap-south-1.aliyuncs.com
    印度尼西亚(雅加达) pai-eas.ap-southeast-5.aliyuncs.com
    德国(法兰克福) pai-eas.eu-central-1.aliyuncs.com
    用户认证
  2. 上传文件。
    创建模型服务时,需要将模型和Processor存储在HTTP或OSS地址。通过EASCMD的upload命令可以直接上传训练完成的模型文件至PAI-EAS提供的OSS仓库,并获得模型OSS地址。
    eascmd upload <yourFileName> --inner
    其中<yourFileName>表示PAI-DSW训练生成的模型文件或自定义Processor,需要根据实际情况修改。
    上传成功后,返回模型的OSS地址oss target path,示例如下。
    sh-4.2$ eascmd upload xlab_m_random_forests__638730_v0-随机森林-1-Model.pmml --inner
    [OK] oss endpoint:    [http://oss-cn-beijing-internal.aliyuncs.com]
    [OK] oss target path: [oss://eas-model-beijing/129571599519****/xlab_m_random_forests__638730_v0-随机森林-1-Model.pmml]
    Succeed: Total num: 1, size: 23,846. OK num: 1(upload 1 files).
    其中oss://eas-model-beijing/129571599519****/xlab_m_random_forests__638730_v0-随机森林-1-Model.pmml表示随机森林模型的OSS存储地址。
  3. 创建PAI-EAS服务。
    1. 在PAI-EAS创建JSON文件,用于描述服务信息,例如pmml.json。
      {
        "name": "model_example",
        "generate_token": "true",
        "model_path": "oss://eas-model-shanghai/129571599519****/xlab_m_random_forests__638730_v0-随机森林-1-Model.pmml",
        "processor": "pmml",
        "metadata": {
          "instance": 1,
          "cpu": 1
        }
      }
      其中model_path表示模型的OSS地址,更多参数含义请参见EASCMD客户端使用说明
    2. 使用create命令,创建模型服务。
      eascmd create pmml.json
      创建模型服务在PAI-EAS控制台,可以查看部署成功的模型服务,详情请参见查看已部署的模型服务