Processor是包含在线预测逻辑的程序包。PAI-EAS已将一些常用的Processor预置为官方Processor,您可以直接使用该官方Processor部署常规模型,节省开发在线预测逻辑的成本。

PAI-EAS提供的Processor名称及Code如下表所示(使用EASCMD部署服务时,需要提供Processor Code)。
Processor名称 Processor Code(仅用于EASCMD部署) 文档
CPU版 GPU版
PMML pmml PMML Processor
TensorFlow1.12 tensorflow_cpu_1.12 tensorflow_gpu_1.12 TensorFlow1.12 Processor
TensorFlow1.14 tensorflow_cpu_1.14 tensorflow_gpu_1.14 TensorFlow1.14 Processor
TensorFlow1.15 tensorflow_cpu_1.15 tensorflow_gpu_1.15 TensorFlow1.15 Processor(内置PAI-Blade敏捷版优化引擎)
TensorFlow2.3 tensorflow_cpu_2.3 TensorFlow2.3 Processor
PyTorch1.6 pytorch_cpu_1.6 pytorch_gpu_1.6 PyTorch1.6 Processor(内置PAI-Blade敏捷版优化引擎)
Caffe caffe_cpu caffe_gpu Caffe Processor
PS算法 parameter_sever
Alink alink_pai_processor
xNN xnn_cpu
EasyVision easy_vision_cpu_tf1.12_torch151 easy_vision_gpu_tf1.12_torch151 EasyVision Processor
EasyNLP easy_nlp_cpu_tf1.12 easy_nlp_gpu_tf1.12 EasyNLP Processor
Blade blade_cpu blade_cuda10.0_beta
MediaFlow mediaflow MediaFlow Processor
Triton triton Triton Processor

PMML Processor

PMML(Predictive Model Markup Language)是一种预测模型标记语言,在PAI-Studio训练的传统机器学习模型基本都能够以该格式导出。从PAI-Studio导出PMML模型的方法如下:
  1. 模型训练前,在PAI-Studio首页,单击设置 > 基本设置,并选中自动生成PMML复选框。
  2. 模型训练完成后,右键单击画布中的模型训练节点,在快捷菜单,单击模型选项 > 导出PMML
说明 PAI-Studio中,可以生成PMML模型的算法包括GBDT二分类、线性支持向量机、逻辑回归二分类、逻辑回归多分类、随机森林、KMeans、线性回归、GBDT回归及评分卡训练等。
PAI-EAS预置的PMML Processor主要功能包括:
  • 将PMML类型的模型文件加载为一个服务。
  • 处理对模型服务进行调用的请求。
  • 根据模型计算请求结果,并将其返回至客户端。
PMML Processor提供默认的缺失值填充策略。如果PMML模型文件中的特征字段无指定 isMissing策略,则系统默认以如下值进行填充。
DataType 默认填充值
BOOLEAN false
DOUBLE 0.0
FLOAT 0.0
INT 0
STRING “”
您可以通过如下任何一种方式部署PMML模型:
  • 控制台上传

    选择Processor种类PMML,详情请参见控制台上传部署

  • PAI-Studio一键部署

    详情请参见PAI-Studio一键部署

  • 本地客户端部署
    在服务配置文件 service.json中,将 processor字段配置为相应的Processor Code,即 pmml,示例如下。
    {
      "processor": "pmml",
      "generate_token": "true",
      "model_path": "http://xxxxx/lr.pmml",
      "name": "eas_lr_example",
      "metadata": {
        "instance": 1,
        "cpu": 1 #自动为每个CPU配置4 GB内存,称为1 Quota。
      }
    }
  • PAI-DSW部署

    类似于本地客户端部署,编写服务配置文件service.json,详情请参见服务部署

TensorFlow1.12 Processor

PAI-EAS提供的TensorFlow1.12 Processor可以加载SavedModel(推荐)或SessionBundle格式的TensorFlow模型。对于Keras和Checkpoint模型,需要先将其转换为Savedmodel模型,再进行部署,详情请参见 TensorFlow模型如何导出为SavedModel
说明 官方通用Processor不支持TensorFlow自定义OP。
您可以通过如下任何一种方式部署TensorFlow模型:
  • 控制台上传

    选择Processor种类TensorFlow1.12,详情请参见控制台上传部署

  • PAI-Studio一键部署

    详情请参见PAI-Studio一键部署

  • 本地客户端部署
    在服务配置文件 service.json中,将 processor字段配置为相应的Processor Code,即 tensorflow_cpu_1.12tensorflow_gpu_1.12(需要根据部署所用的资源进行选择,如果 processor与资源不匹配,则会导致部署报错),示例如下。
    {
      "name": "tf_serving_test",
      "generate_token": "true",
      "model_path": "http://xxxxx/savedmodel_example.zip",
      "processor": "tensorflow_cpu_1.12",
      "metadata": {
        "instance": 1,
        "cpu": 1,
        "gpu": 0,
        "memory": 2000
      }
    }
  • PAI-DSW部署

    类似于本地客户端部署,编写服务配置文件service.json,详情请参见服务部署

TensorFlow1.14 Processor

PAI-EAS提供的TensorFlow1.14 Processor可以加载SavedModel(推荐)或SessionBundle格式的TensorFlow模型。对于Keras和Checkpoint模型,需要先将其转换为Savedmodel模型,再进行部署,详情请参见 TensorFlow模型如何导出为SavedModel
说明 官方通用Processor不支持TensorFlow自定义OP。
您可以通过如下任何一种方式部署TensorFlow模型:
  • 控制台上传

    选择Processor种类TensorFlow1.14,详情请参见控制台上传部署

  • PAI-Studio一键部署

    详情请参见PAI-Studio一键部署

  • 本地客户端部署
    在服务配置文件 service.json中,将 processor字段配置为相应的Processor Code,即 tensorflow_cpu_1.14tensorflow_gpu_1.14(需要根据部署所用的资源进行选择,如果 processor与资源不匹配,则会导致部署报错),示例如下。
    {
      "name": "tf_serving_test",
      "generate_token": "true",
      "model_path": "http://xxxxx/savedmodel_example.zip",
      "processor": "tensorflow_cpu_1.14",
      "metadata": {
        "instance": 1,
        "cpu": 1,
        "gpu": 0,
        "memory": 2000
      }
    }
  • PAI-DSW部署

    类似于本地客户端部署,编写服务配置文件service.json,详情请参见服务部署

TensorFlow1.15 Processor(内置PAI-Blade敏捷版优化引擎)

PAI-EAS提供的TensorFlow1.15 Processor可以加载SavedModel(推荐)或SessionBundle格式的TensorFlow模型。对于Keras和Checkpoint模型,需要先将其转换为Savedmodel模型,再进行部署,详情请参见 TensorFlow模型如何导出为SavedModel
说明
  • 官方通用Processor不支持TensorFlow自定义OP。
  • 该Processor内置了PAI-Blade敏捷版优化引擎,您可以使用它部署PAI-Blade敏捷版优化后的TensorFlow模型。
您可以通过如下任何一种方式部署TensorFlow模型:
  • 控制台上传

    选择Processor种类TensorFlow1.15,详情请参见控制台上传部署

  • PAI-Studio一键部署

    详情请参见PAI-Studio一键部署

  • 本地客户端部署
    在服务配置文件 service.json中,将 processor字段配置为相应的Processor Code,即 tensorflow_cpu_1.15tensorflow_gpu_1.15(需要根据部署所用的资源进行选择,如果 processor与资源不匹配,则会导致部署报错),示例如下。
    {
      "name": "tf_serving_test",
      "generate_token": "true",
      "model_path": "http://xxxxx/savedmodel_example.zip",
      "processor": "tensorflow_cpu_1.15",
      "metadata": {
        "instance": 1,
        "cpu": 1,
        "gpu": 0,
        "memory": 2000
      }
    }
  • PAI-DSW部署

    类似于本地客户端部署,编写服务配置文件service.json,详情请参见服务部署。关于服务配置文件中的参数解释请参见创建服务

TensorFlow2.3 Processor

PAI-EAS提供的TensorFlow2.3 Processor可以加载SavedModel(推荐)或SessionBundle格式的TensorFlow模型。对于Keras和Checkpoint模型,需要先将其转换为Savedmodel模型,再进行部署,详情请参见 TensorFlow模型如何导出为SavedModel
说明 官方通用Processor不支持TensorFlow自定义OP。
您可以通过如下任何一种方式部署TensorFlow模型:
  • 控制台上传

    选择Processor种类TensorFlow2.3,详情请参见控制台上传部署

  • PAI-Studio一键部署

    详情请参见PAI-Studio一键部署

  • 本地客户端部署
    在服务配置文件 service.json中,将 processor字段配置为相应的Processor Code,即 tensorflow_cpu_2.3,示例如下。
    {
      "name": "tf_serving_test",
      "generate_token": "true",
      "model_path": "http://xxxxx/savedmodel_example.zip",
      "processor": "tensorflow_cpu_2.3",
      "metadata": {
        "instance": 1,
        "cpu": 1,
        "gpu": 0,
        "memory": 2000
      }
    }
  • PAI-DSW部署

    类似于本地客户端部署,编写服务配置文件service.json,详情请参见服务部署

PyTorch1.6 Processor(内置PAI-Blade敏捷版优化引擎)

PAI-EAS提供的PyTorch1.6 Processor可以加载TorchScript格式的模型,详情请参见 TorchScript官方介绍
说明
  • 官方通用Processor不支持PyTorch扩展、不支持非Tensor类型的模型输入和输出。
  • 该Processor内置了PAI-Blade敏捷版优化引擎,您可以使用它部署PAI-Blade敏捷版优化后的PyTorch模型。
您可以通过如下任何一种方式部署TorchScript模型:
  • 控制台上传

    选择Processor种类PyTorch1.6,详情请参见控制台上传部署

  • PAI-Studio一键部署

    详情请参见PAI-Studio一键部署

  • 本地客户端部署
    在服务配置文件 service.json中,将 processor字段配置为相应的Processor Code,即 pytorch_cpu_1.6pytorch_gpu_1.6(需要根据部署所用的资源进行选择,如果 processor与资源不匹配,则会导致部署报错),示例如下。
    {
      "name": "pytorch_serving_test",
      "generate_token": "true",
      "model_path": "http://xxxxx/torchscript_model.pt",
      "processor": "pytorch_gpu_1.6",
      "metadata": {
        "instance": 1,
        "cpu": 1,
        "gpu": 1,
        "cuda": "10.0",
        "memory": 2000
      }
    }
  • PAI-DSW部署

    类似于本地客户端部署,编写服务配置文件service.json,详情请参见服务部署。关于服务配置文件中的参数解释请参见创建服务

Caffe Processor

PAI-EAS提供的Caffe Processor可以加载Caffe框架训练得到的深度学习模型。因为Caffe框架比较灵活,所以部署Caffe模型时,需要指定模型包的Model文件名称和Weight文件名称。
说明 官方通用Processor不支持自定义DataLayer。
您可以通过如下任何一种方式部署Caffe模型:
  • 控制台上传

    选择Processor种类Caffe,详情请参见控制台上传部署

  • PAI-Studio一键部署

    详情请参见PAI-Studio一键部署

  • 本地客户端部署
    在服务配置文件 service.json中,将 processor字段配置为相应的Processor Code,即 caffe_cpucaffe_gpu(需要根据部署所用的资源进行选择,如果 processor与资源不匹配,则会导致部署报错),示例如下。
    {
      "name": "caffe_serving_test",
      "generate_token": "true",
      "model_path": "http://xxxxx/caffe_model.zip",
      "processor": "caffe_cpu",
      "model_config": {
        "model": "deploy.prototxt",
        "weight": "bvlc_reference_caffenet.caffemodel"
      },
      "metadata": {
        "instance": 1,
        "cpu": 1,
        "gpu": 0,
        "memory": 2000
      }
    }
  • PAI-DSW部署

    类似于本地客户端部署,编写服务配置文件service.json,详情请参见服务部署

EasyNLP Processor

PAI-EAS提供的EasyNLP Processor可以加载EasyTransfer框架训练得到的深度学习NLP模型。

您可以通过如下任何一种方式部署EasyTransfer模型:
  • 控制台上传

    选择Processor种类EasyNLP,详情请参见控制台上传部署

  • 本地客户端部署
    在服务配置文件 service.json中,将 processor字段配置为相应的Processor Code,即 easy_nlp_cpu_tf1.12easy_nlp_gpu_tf1.12(需要根据部署所用的资源进行选择,如果 processor与资源不匹配,则会导致部署报错),在 model_configtype字段指定训练时所使用的模型类型,示例如下。其他参数的详细解释请参见 创建服务
    • 使用GPU部署的配置
      {
        "name": "ev_app_demo",
        "generate_token": "true",
        "model_path": "http://xxxxx/your_model.zip",
        "processor": "easy_nlp_gpu_tf1.12",
        "model_config": "{\"type\":\"text_classify_bert\"}",
        "metadata": {
          "resource": "your_resource_name",
          "cuda": "9.0",
          "instance": 1,
          "memory": 4000,
          "gpu": 1,
          "cpu": 4,
          "rpc.worker_threads" : 5
        }
      }
    • 使用CPU部署的配置
      {
        "name": "easynlp_serving_test",
        "generate_token": "true",
        "model_path": "http://xxxxx/your_model.zip",
        "processor": "easy_nlp_cpu_tf1.12",
        "model_config": "{\"type\":\"text_classify_bert\"}",
        "metadata": {
          "resource": "your_resource_name",
          "instance": 1,
          "gpu": 0,
          "cpu": 4,
          "rpc.worker_threads" : 5
        }
      }

EasyVision Processor

PAI-EAS提供的EasyVision Processor可以加载EasyVision框架训练得到的深度学习模型。

您可以通过如下任何一种方式部署EasyVision模型:
  • 控制台上传

    选择Processor种类EasyVision,详情请参见控制台上传部署

  • 本地客户端部署
    在服务配置文件 service.json中,将 processor字段配置为相应的Processor Code,即 easy_vision_cpu_tf1.12_torch151easy_vision_gpu_tf1.12_torch151(需要根据部署所用的资源进行选择,如果 processor与资源不匹配,则会导致部署报错),在 model_configtype字段指定训练时所使用的模型类型,示例如下。其他参数的详细解释请参见 创建服务
    • 使用GPU部署的配置
      {
        "name": "ev_app_demo",
        "processor": "easy_vision_gpu_tf1.12_torch151",
        "model_path": "oss://path/to/your/model",
        "model_config": "{\"type\":\"classifier\"}",
        "metadata": {
          "resource": "your_resource_name",
          "cuda": "9.0",
          "instance": 1,
          "memory": 4000,
          "gpu": 1,
          "cpu": 4,
          "rpc.worker_threads" : 5
        }
      }
    • 使用CPU部署的配置
      {
        "name": "ev_app_cpu_demo",
        "processor": "easy_vision_cpu_tf1.12_torch151",
        "model_path": "oss://path/to/your/model",
        "model_config": "{\"type\":\"classifier\"}",
        "metadata": {
          "resource": "your_resource_name",
          "instance": 1,
          "memory": 4000,
          "gpu": 0,
          "cpu": 4,
          "rpc.worker_threads" : 5
        }
      }

MediaFlow Processor

PAI-EAS 提供的MediaFlow Processor是通用的编排引擎,可以进行视频、音频及图像分析处理。

您可以通过如下任何一种方式部署MediaFlow模型:
  • 控制台上传

    选择Processor种类MediaFlow,详情请参见控制台上传部署

  • 本地客户端部署
    在服务配置文件 service.json中,将 processor字段配置为相应的Processor Code,即 mediaflow。此外,使用MediaFlow Processor部署模型,还需要增加如下特有字段,其他字段说明请参见 创建服务
    • graph_pool_size:图池的数量。
    • worker_threads:调度线程的数量。
    示例如下:
    • 部署视频分类模型的配置。
      {
        "model_entry": "video_classification/video_classification_ext.js", 
        "name": "video_classification", 
        "model_path": "oss://path/to/your/model", 
        "generate_token": "true", 
        "processor": "mediaflow", 
        "model_config" : {
            "graph_pool_size":8,
            "worker_threads":16
        },
        "metadata": {
          "eas.handlers.disable_failure_handler" :true,
          "resource": "your_resource_name", 
            "rpc.worker_threads": 30,
            "rpc.enable_jemalloc": true,
          "rpc.keepalive": 500000, 
          "cpu": 4, 
          "instance": 1, 
          "cuda": "9.0", 
          "rpc.max_batch_size": 64, 
          "memory": 10000, 
          "gpu": 1 
        }
      }
    • 部署语音识别(ASR)模型的配置。
      {
        "model_entry": "asr/video_asr_ext.js", 
        "name": "video_asr", 
        "model_path": "oss://path/to/your/model", 
        "generate_token": "true", 
        "processor": "mediaflow", 
        "model_config" : {
            "graph_pool_size":8,
            "worker_threads":16
        },
        "metadata": {
          "eas.handlers.disable_failure_handler" :true,
          "resource": "your_resource_name", 
            "rpc.worker_threads": 30,
            "rpc.enable_jemalloc": true,
          "rpc.keepalive": 500000, 
          "cpu": 4, 
          "instance": 1, 
          "cuda": "9.0", 
          "rpc.max_batch_size": 64, 
          "memory": 10000, 
          "gpu": 1 
        }
      }
    语音识别与视频分类 service.json配置的主要差异为 model_entrynamemodel_path字段,需要您根据部署的模型类型进行修改。

Triton Processor

Triton Inference Server是NVIDIA公司推出的新一代在线服务框架,它针对GPU上的模型提供了简单易用的部署和管理接口,且兼容KFServing的API标准。此外,Triton Inference Server还具有以下特点:
  • 支持多种开源框架的部署,包括TensorFlow、PyTorch、ONNX Runtime及TensorRT等,同时也支持您提供的自定义服务后端(backend)。
  • 支持多个模型同时运行在GPU上,以提高GPU设备的利用率。
  • 支持HTTP/gRPC通信协议,提供二进制格式扩展以压缩发送请求的大小。
  • 支持Dynamic Batching功能,提升服务吞吐。
Triton Inference Server在PAI-EAS上以预置的Triton Processor形式发布。
说明
  • Triton Processor目前仅在华东2(上海)公测,其他地域暂不支持。
  • Triton服务部署使用的模型都必须存放在OSS中。因此,您需要提前开通OSS,并将自己的模型相关文件上传到OSS中。关于如何上传文件到OSS,请参见上传文件
  • 仅PAI-EAS专属资源组支持Triton Processor服务部署。
以下介绍如何使用Triton Processor部署模型服务及如何调用该服务:
  • 使用Triton Processor部署模型服务
    您只能通过客户端工具eascmd部署Triton模型服务。关于如何使用客户端工具eascmd部署模型服务,请参见 创建服务。部署模型服务时,使用的服务描述配置文件 service.json中,需要将 processor字段配置为相应的Processor Code,即 triton。此外,由于Triton需要从OSS中获取模型,因此还需要户配置OSS的相关参数。 service.json的示例如下。
    {
      "name": "triton_test",                          
      "processor": "triton",
      "processor_params": [
        "--model-repository=oss://triton-model-repo/models", 
        "--allow-http=true", 
      ],
      "metadata": {
        "instance": 1,
        "cpu": 4,
        "gpu": 1,
        "memory": 10000,
        "resource":"<your resource id>"
      }
    }
    部署Triton模型服务需要配置的特有参数的含义如下表所示,其他通用参数含义请参见 service.json中的参数详解
    参数 描述
    processor_params 服务启动时传递给Triton Server的参数。对于不支持的参数将被自动过滤,支持传递给Triton server的参数集合如下面的表 1所示。其中model-repository为必填参数,其他可选参数请参见main.cc
    oss_endpoint OSS的Endpoint。如果不传递该参数,则系统会自动使用当前PAI-EAS服务所在地域的OSS服务。如果需要使用跨地域的OSS服务,则必须指定该参数。该参数的取值请参见访问域名和数据中心
    metadata resource 用于部署模型服务的PAI-EAS专属资源组ID。通过Triton Processor部署模型服务时,使用的资源必须为PAI-EAS的专属资源组。关于如何创建PAI-EAS专属资源组,请参见专属资源组
    表 1. 支持传递给Triton server的参数集合
    参数 是否必选 描述
    model-repository 路径需要指定为OSS路径,系统不支持直接使用Bucket根目录作为model-repository,需要指定Bucket下的某个子目录才可以。

    例如,oss://triton-model-repo/models,其中triton-model-repo为Bucket名称,models为Bucket下的一个子目录。

    log-verbose 参数详情请参见main.cc
    log-info
    log-warning
    log-error
    exit-on-error
    strict-model-config
    strict-readiness
    allow-http
    http-thread-count
    pinned-memory-pool-byte-size
    cuda-memory-pool-byte-size
    min-supported-compute-capability
    buffer-manager-thread-count
    backend-config
  • 使用Triton原生Client调用PAI-EAS Triton Processor服务
    使用Python Client发出请求,您需要先通过如下命令安装Triton官方提供的Client。
    pip3 install nvidia-pyindex
    pip3 install tritonclient[all]
    下载测试图片到当前目录,命令如下。
    wget http://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/doc-assets/cat.png
    以下示例中,使用Python Client向Triton Processor服务发送请求,该请求的数据格式是二进制格式。
    import numpy as np
    import time
    from PIL import Image
    
    import tritonclient.http as httpclient
    from tritonclient.utils import InferenceServerException
    
    URL = "<servcice url>"  # 将<servcice url>替换为服务的访问地址。
    HEADERS = {"Authorization": "<service token>"} # 将<service token>替换为服务的访问Token。
    input_img = httpclient.InferInput("input", [1, 299, 299, 3], "FP32")
    img = Image.open('./cat.png').resize((299, 299))
    img = np.asarray(img).astype('float32') / 255.0
    input_img.set_data_from_numpy(img.reshape([1, 299, 299, 3]), binary_data=True)
    
    output = httpclient.InferRequestedOutput(
        "InceptionV3/Predictions/Softmax", binary_data=True
    )
    triton_client = httpclient.InferenceServerClient(url=URL, verbose=False)
    
    start = time.time()
    for i in range(10):
        results = triton_client.infer(
            "inception_graphdef", inputs=[input_img], outputs=[output], headers=HEADERS
        )
        res_body = results.get_response()
        elapsed_ms = (time.time() - start) * 1000
        if i == 0:
            print("model name: ", res_body["model_name"])
            print("model version: ", res_body["model_version"])
            print("output name: ", res_body["outputs"][0]["name"])
            print("output shape: ", res_body["outputs"][0]["shape"])
        print("[{}] Avg rt(ms): {:.2f}".format(i, elapsed_ms))
        start = time.time()