使用Python开发自定义Processor

背景信息

使用Python开发自定义Processor的流程如下：

1. 步骤一：构建开发环境

   PAI-EAS提供的Python SDK支持多种Python机器学习框架，并能够集成Pandas等数据分析处理框架。通过本文给出的方式，您可以在本地构建Python开发环境，以便后续开发自定义Processor，并打包上传环境。

2. 步骤二：编写预测逻辑

   PAI-EAS的Python SDK提供了高性能的RPC框架和与PAI-EAS集群交互所需的内部接口。您只需要编写预测逻辑实现简单的接口，就可以将模型服务部署至PAI-EAS。

3. 步骤三：本地测试服务

   编写预测逻辑后，您需要进行本地测试服务。本地测试可以帮助您验证预测逻辑的正确性，以确保后续部署服务后，其功能符合要求。

4. 步骤四：打包代码文件与Python环境

   按照指定要求打包代码，以便于后续部署模型服务。

5. 步骤六：部署和测试服务

   将以已构建的自定义的Processor部署为模型服务。

前提条件

已准备好模型文件。

步骤一：构建开发环境

您可以使用Pyenv或Conda等Python包管理工具构建开发环境。PAI提供了三种方式构建开发环境，PAI-EAS提供的客户端工具EASCMD对构建过程进行了封装，执行一条命令即可完成Python SDK开发环境的构建。如果需要进行定制化，则可以选择手工方式构建开发环境。此外，PAI-EAS预置了包含Python开发环境的镜像，您可以直接使用这些镜像来快速搭建Python开发环境。

# 安装并初始化EASCMD，该示例为安装Linux环境的EASCMD工具。
$ wget https://eas-data.oss-cn-shanghai.aliyuncs.com/tools/eascmd/v2/eascmd64
# 下载完成后，可以修改访问权限，配置阿里云上AccessKey信息。
$ chmod +x eascmd64
$ ./eascmd64 config -i <access_id> -k <access_key>

# 初始化环境。
$ ./eascmd64 pysdk init ./pysdk_demo

[PYSDK] conda install complete, execute 'source ~/.bashrc' , and try again!

步骤二：编写预测逻辑

# -*- coding: utf-8 -*-
import allspark


class MyProcessor(allspark.BaseProcessor):
    """ MyProcessor is a example
        you can send mesage like this to predict
        curl -v http://127.0.0.1:8080/api/predict/service_name -d '2 105'
    """
    def initialize(self):
        """ load module, executed once at the start of the service
             do service intialization and load models in this function.
        """
        self.module = {'w0': 100, 'w1': 2}
        # self.model_path = self.get_model_path()
        # self.model = load_model(self.model_path)

    def pre_process(self, data):
        """ data format pre process
        """
        x, y = data.split(b' ')
        return int(x), int(y)

    def post_process(self, data):
        """ process after process
        """
        return bytes(data, encoding='utf8')

    def process(self, data):
        """ process the request data
        """
        x, y = self.pre_process(data)
        w0 = self.module['w0']
        w1 = self.module['w1']
        y1 = w1 * x + w0
        if y1 >= y:
            return self.post_process("True"), 200
        else:
            return self.post_process("False"), 400


if __name__ == '__main__':
    # parameter worker_threads indicates concurrency of processing
    runner = MyProcessor(worker_threads=10)
    runner.run()

self.model_path = self.get_model_path()
self.model = load_model(self.model_path)

步骤三：本地测试服务

1. 在终端app.py文件所在目录执行以下命令启动Python应用程序。

   ./ENV/bin/python app.py

   系统返回如下结果，表明应用程序启动成功。

   [INFO] waiting for service initialization to complete...
   [INFO] service initialization complete
   [INFO] create service
   [INFO] rpc binds to predefined port 8080
   [INFO] install builtin handler call to /api/builtin/call
   [INFO] install builtin handler eastool to /api/builtin/eastool
   [INFO] install builtin handler monitor to /api/builtin/monitor
   [INFO] install builtin handler ping to /api/builtin/ping
   [INFO] install builtin handler prop to /api/builtin/prop
   [INFO] install builtin handler realtime_metrics to /api/builtin/realtime_metrics
   [INFO] install builtin handler tell to /api/builtin/tell
   [INFO] install builtin handler term to /api/builtin/term
   [INFO] Service start successfully

2. 重启打开一个终端，执行以下命令测试应用程序的响应情况。

   按照步骤二给出的示例代码，执行以下命令向应用程序发送两个请求数据，返回结果与代码逻辑对应。

   curl http://127.0.0.1:8080/test  -d '10 20'

步骤四：打包代码文件与Python环境

EASCMD为您提供了打包命令，您可以一键完成打包。如果您没有使用EASCMD进行自定义Processor开发，您也可以手动打包完整环境。两种打包方式的介绍如下。

步骤五：上传Processor代码包文件和代码文件

打包完成后，您需要将完整的打包文件.tar.gz及模型文件分别上传至OSS，便于后续部署服务时挂载使用。上传至OSS的操作请参见命令行工具ossutil快速入门。

步骤六：部署和测试服务

您可以通过控制台或EASCMD客户端来部署模型服务：

1. 部署服务。

   通过控制台方式部署服务

   1. 进入部署服务页面，具体操作，请参见服务部署：控制台。

   2. 在部署服务页面配置以下关键参数，更多参数配置详情，请参见服务部署：控制台。

      参数	描述
      部署方式	选择模型+processor部署服务。
      模型文件	选择合适的方式配置模型文件。
      Processor种类	选择自定义processor。
      Processor语言	选择python。
      Processor包	单击OSS文件导入，并选择上述步骤已打包的文件所在的OSS路径。
      Processor主文件	配置为./app.py。

   3. （可选）在对应配置编辑中添加data_image参数，参数内容配置为上述步骤中打包时配置的镜像路径。

      说明

      如果您在步骤四中通过镜像上传环境，则需要配置data_image参数，否则忽略该操作即可。

   4. 单击部署。

   通过EASCMD方式部署服务

   以Linux操作系统为例，说明部署服务的操作步骤：

   1. 下载EASCMD客户端并进行身份认证。具体操作，请参见下载并认证客户端。

   2. 在客户端文件所在目录新建JSON格式的文件，命名为app.json。文件内容示例如下。

      • 通过EASCMD或手动打包完整环境的文件内容示例如下：

        {
          "name": "pysdk_demo",
          "processor_entry": "./app.py",
          "processor_type": "python",
          "processor_path": "oss://examplebucket/exampledirectory/pysdk_demo.tar.gz",
          "model_path": "oss://examplebucket/exampledirectory/model",
          "cloud": {
                "computing": {
                    "instance_type": "ecs.c7.large"
                }
          },
          "metadata": {
            "instance": 1,
            }
        }

      • 通过镜像上传环境的文件内容示例如下：

        {
          "name": "pysdk_demo",
          "processor_entry": "./app.py",
          "processor_type": "python",
          "processor_path": "http://eas-data.oss-cn-shanghai.aliyuncs.com/demo/app.py",
          "data_image": "registry.cn-shanghai.aliyuncs.com/eas-service/develop:latest",
          "model_path": "oss://examplebucket/exampledirectory/model",
          "cloud": {
                "computing": {
                    "instance_type": "ecs.c7.large"
                }
          },
          "metadata": {
            "instance": 1,
            }
        }

   3. 打开终端工具，在JSON文件所在目录，使用以下命令部署服务。

      $ ./eascmd64 create app.json

      系统返回如下结果，表示服务部署成功。

      [RequestId]: 1202D427-8187-4BCB-8D32-D7096E95B5CA
      +-------------------+-------------------------------------------------------------------+
      | Intranet Endpoint | http://182848887922****.vpc.cn-beijing.pai-eas.aliyuncs.com/api/predict/pysdk_demo |
      |             Token | ZTBhZTY3ZjgwMmMyMTQ5OTgyMTQ5YmM0NjdiMmNiNmJkY2M5ODI0****          |
      +-------------------+-------------------------------------------------------------------+
      [OK] Waiting task server to be ready
      [OK] Fetching processor from [oss://eas-model-beijing/195557026392****/pysdk_demo.tar.gz]
      [OK] Building image [registry-vpc.cn-beijing.aliyuncs.com/eas/pysdk_demo_cn-beijing:v0.0.1-20190806082810]
      [OK] Pushing image [registry-vpc.cn-beijing.aliyuncs.com/eas/pysdk_demo_cn-beijing:v0.0.1-20190806082810]
      [OK] Waiting [Total: 1, Pending: 1, Running: 0]
      [OK] Service is running

2. 测试服务。

   1. 进入PAI-EAS 模型在线服务页面，具体操作，请参见服务部署：控制台。

   2. 单击目标服务的服务方式列下的调用信息，获取调用的公网地址和Token。

   3. 在终端中，根据步骤b查询的信息进行调用。

      $ curl <service_url> -H 'Authorization: <token>' -d '10 20'

      其中：

      • <service_url>：替换为步骤b中获取的公网地址。例如：http://182848887922****.vpc.cn-beijing.pai-eas.aliyuncs.com/api/predict/pysdk_demo。

      • <token>：替换为步骤b中获取的Token。例如：ZTBhZTY3ZjgwMmMyMTQ5OTgyMTQ5YmM0NjdiMmNiNmJkY2M5ODI0****。

      • -d后的内容配置为服务的调用输入参数。