本文介绍如何在E-MapReduce中部署TensorFlow模型同步至PAI EAS。

前提条件

  • 已创建Data Science集群,相关注意信息请参见概述
  • 已开通PAI的在线模型服务EAS,详情请参见EAS开通与购买指南
  • 已将Tensorflow SaveModel格式的模型打包成tar.gz文件。tar_jar

背景信息

PAI-EAS的命令行工具eascmd64已经内置在DataScience集群中,可以直接使用。

部署TensorFlow模型

  1. 使用SSH方式登录到集群主节点,详情请参见登录集群
  2. 创建配置。
    执行以下命令,创建EAS的配置。
    eascmd64 config -i LTAI******* -k 1Hr5GzqNkc8******** -e pai-eas.cn-shenzhen.aliyuncs.com
    各参数描述如下。
    参数 描述
    -i 当前阿里云账号的AccessKey ID。
    -k 当前阿里云账号的AccessKey Secret。
    -e EAS的访问地址(Host)。
    说明 不同区域的Host不同,例如北京的Host是pai-eas.cn-beijing.aliyuncs.com。
  3. 上传模型。

    执行以下命令,将模型部署至EAS。

    eascmd64 upload <model_path>
    说明 <model_path>为模型打包好的文件的名称。
    返回信息如下,请记录好oss tartget pathoss target path
  4. 创建pmml.json文件并部署。
    1. 按照如下示例格式配置pmml.json文件。
      {
      "name": "test_3",
      "generate_token": "true",
      "model_path": "oss://eas-model-hangzhou/107992689699****/resnet_v1_fp32_savedmodel_NCHW.tar.gz",
      "processor": "tensorflow_cpu",
      "metadata": {
      "instance": 1,
      "cpu": 1
      }
      }
      涉及参数解释如下。
      参数 描述 示例
      name 表示服务的名称,不支持中文字符。 test_3
      model_path 上传模型步骤中返回的oss tartget path。 oss://eas-model-hangzhou/107992689699****/resnet_v1_fp32_savedmodel_NCHW.tar.gz
    2. 执行以下命令完成部署。
      eascmd64 create pmml.json

查看服务

  1. 登录PAI-EAS控制台
  2. 在左侧导航栏中,选择模型部署 > EAS-模型在线服务
    EAS-模型在线服务页面,可查看服务。eas