预置Processor使用说明_模型服务部署及管理_PAI-EAS 模型在线服务_机器学习PAI

Processor是包含在线预测逻辑的程序包。PAI-EAS已将一些常用的Processor预置为官方Processor，您可以直接使用该官方Processor部署常规模型，节省开发在线预测逻辑的成本。

PAI-EAS提供的Processor名称及Code如下表所示（使用EASCMD部署服务时，需要提供Processor Code）。


Processor名称	Processor Code（仅用于EASCMD部署）
Processor名称	CPU版	GPU版
PMML	pmml	无
TensorFlow1.12	tensorflow_cpu_1.12	tensorflow_gpu_1.12
TensorFlow1.14	tensorflow_cpu_1.14	tensorflow_gpu_1.14
Caffe	caffe_cpu	caffe_gpu
PS算法	parameter_sever	无
Alink	alink_pai_processor	无
xNN	xnn_cpu	无
EasyVision	easy_vision_cpu_tf1.12	easy_vision_gpu_tf1.12
EasyNLP	easy_nlp_cpu_tf1.12	easy_nlp_gpu_tf1.12
Blade	blade_cpu	blade_cuda10.0_beta
EasyASR	无	easy_asr_gpu_tf1.12

PMML Processor

PMML（Predictive Model Markup Language）是一种预测模型标记语言，在PAI-Studio训练的传统机器学习模型基本都能够以该格式导出。从PAI-Studio导出PMML模型的方法如下：

模型训练前，在PAI-Studio首页，单击设置 > 基本设置，并选中自动生成PMML复选框。
模型训练完成后，右键单击画布中的模型训练节点，在快捷菜单，单击模型选项 > 导出PMML。

说明 PAI-Studio中，可以生成PMML模型的算法包括GBDT二分类、线性支持向量机、逻辑回归二分类、逻辑回归多分类、随机森林、KMeans、线性回归、GBDT回归及评分卡训练等。

PAI-EAS预置的PMML Processor主要功能包括：

将PMML类型的模型文件加载为一个服务。
处理对模型服务进行调用的请求。
根据模型计算请求结果，并将其返回至客户端。

PMML Processor提供默认的缺失值填充策略。如果PMML模型文件中的特征字段无指定isMissing策略，则系统默认以如下值进行填充。


DataType	默认填充值
BOOLEAN	false
DOUBLE	0.0
FLOAT	0.0
INT	0
STRING	“”

您可以通过如下任何一种方式部署PMML模型：

控制台上传
选择Processor种类为PMML，详情请参见控制台上传部署。
PAI-Studio一键部署
详情请参见PAI-Studio一键部署。

本地客户端部署

在服务配置文件service.json中，将processor字段配置为相应的Processor Code，即pmml，示例如下。

{
  "processor": "pmml",
  "generate_token": "true",
  "model_path": "http://xxxxx/lr.pmml",
  "name": "eas_lr_example",
  "metadata": {
    "instance": 1,
    "cpu": 1 #自动为每个CPU配置4 GB内存，称为1 Quota。
  }
}

PAI-DSW部署
类似于本地客户端部署，编写服务配置文件service.json，详情请参见PAI-DSW部署。

TensorFlow1.12 Processor

PAI-EAS提供的TensorFlow1.12 Processor可以加载SavedModel（推荐）或SessionBundle格式的TensorFlow模型。对于Keras和Checkpoint模型，需要先将其转换为Savedmodel模型，再进行部署，详情请参见TensorFlow模型如何导出为SavedModel。

说明官方通用Processor不支持TensorFlow自定义OP。

您可以通过如下任何一种方式部署TensorFlow模型：

控制台上传
选择Processor种类为TensorFlow，详情请参见控制台上传部署。
PAI-Studio一键部署
详情请参见PAI-Studio一键部署。
本地客户端部署
在服务配置文件service.json中，将processor字段配置为相应的Processor Code，即tensorflow_cpu_1.12或tensorflow_gpu_1.12（需要根据部署所用的资源进行选择，如果processor与资源不匹配，则会导致部署报错），示例如下。
```
{
  "name": "tf_serving_test",
  "generate_token": "true",
  "model_path": "http://xxxxx/savedmodel_example.zip",
  "processor": "tensorflow_cpu_1.12",
  "metadata": {
    "instance": 1,
    "cpu": 1,
    "gpu": 0,
    "memory": 2000
  }
}
```
PAI-DSW部署
类似于本地客户端部署，编写服务配置文件service.json，详情请参见PAI-DSW部署。

TensorFlow1.14 Processor

PAI-EAS提供的TensorFlow1.14 Processor可以加载SavedModel（推荐）或SessionBundle格式的TensorFlow模型。对于Keras和Checkpoint模型，需要先将其转换为Savedmodel模型，再进行部署，详情请参见TensorFlow模型如何导出为SavedModel。

说明官方通用Processor不支持TensorFlow自定义OP。

您可以通过如下任何一种方式部署TensorFlow模型：

控制台上传
选择Processor种类为TensorFlow，详情请参见控制台上传部署。
PAI-Studio一键部署
详情请参见PAI-Studio一键部署。
本地客户端部署
在服务配置文件service.json中，将processor字段配置为相应的Processor Code，即tensorflow_cpu_1.14或tensorflow_gpu_1.14（需要根据部署所用的资源进行选择，如果processor与资源不匹配，则会导致部署报错），示例如下。
```
{
  "name": "tf_serving_test",
  "generate_token": "true",
  "model_path": "http://xxxxx/savedmodel_example.zip",
  "processor": "tensorflow_cpu_1.14",
  "metadata": {
    "instance": 1,
    "cpu": 1,
    "gpu": 0,
    "memory": 2000
  }
}
```
PAI-DSW部署
类似于本地客户端部署，编写服务配置文件service.json，详情请参见PAI-DSW部署。

Caffe Processor

PAI-EAS提供的Caffe Processor可以加载Caffe框架训练得到的深度学习模型。因为Caffe框架比较灵活，所以部署Caffe模型时，需要指定模型包的Model文件名称和Weight文件名称。

说明官方通用Processor不支持自定义DataLayer。

您可以通过如下任何一种方式部署Caffe模型：

控制台上传
选择Processor种类为Caffe，详情请参见控制台上传部署。
PAI-Studio一键部署
详情请参见PAI-Studio一键部署。

本地客户端部署

在服务配置文件service.json中，将processor字段配置为相应的Processor Code，即caffe_cpu或caffe_gpu（需要根据部署所用的资源进行选择，如果processor与资源不匹配，则会导致部署报错），示例如下。

{
  "name": "caffe_serving_test",
  "generate_token": "true",
  "model_path": "http://xxxxx/caffe_model.zip",
  "processor": "caffe_cpu",
  "model_config": {
    "model": "deploy.prototxt",
    "weight": "bvlc_reference_caffenet.caffemodel"
  },
  "metadata": {
    "instance": 1,
    "cpu": 1,
    "gpu": 0,
    "memory": 2000
  }
}

PAI-DSW部署
类似于本地客户端部署，编写服务配置文件service.json，详情请参见PAI-DSW部署。