使用Python开发自定义Processor

• EASCMD工具（仅Linux系统）
  EASCMD是PAI-EAS提供的客户端工具，将Python SDK的初始化过程进行了封装。下载该工具后，仅通过一条命令即可完成Python SDK环境初始化，并生成相关的文件模板。

  # 安装并初始化EASCMD，该示例为安装Linux环境的EASCMD工具。
  $ wget https://eas-data.oss-cn-shanghai.aliyuncs.com/tools/eascmd/v2/eascmd64
  # 下载完成后，可以修改访问权限，配置阿里云上AccessKey信息。
  $ chmod +x eascmd64
  $ ./eascmd64 config -i <access_id> -k <access_key>
  
  # 初始化环境。
  $ ./eascmd64 pysdk init ./pysdk_demo

  输入Python版本（默认为3.6版本），系统会自动创建Python环境ENV目录、预测服务代码模板app.py及服务部署模板app.json。
• 手工方式
  如果EASCMD不能满足您的需求或初始化过程中遇到问题，则可以尝试手工初始化开发环境，推荐使用Conda部署环境。

  mkdir demo
  cd demo
  # 使用Conda创建Python环境，目录必须指定为ENV。
  conda create -p ENV python=3.7
  # 安装PAI-EAS Python SDK。
  ENV/bin/pip install http://eas-data.oss-cn-shanghai.aliyuncs.com/sdk/allspark-0.15-py2.py3-none-any.whl
  # 安装其它依赖包，以TensorFlow 1.14为例。
  ENV/bin/pip install tensorflow==1.14

  如果本地未安装Conda，则必须先执行如下命令，安装Conda环境。

  $ wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
  $ sh Miniconda3-latest-Linux-x86_64.sh

• 预构建的开发镜像（推荐）
  PAI-EAS提供预先构建好的开发镜像，该镜像预装了Conda并生成了对应Python版本的ENV环境。PAI-EAS提供的三个预构建镜像如下。

  # 仅安装了Conda的基础镜像。
  registry.cn-shanghai.aliyuncs.com/eas/eas-python-base-image:latest
  # 安装了Conda及Python2.7和PAI-EAS Allspark 0.8的Python SDK。
  registry.cn-shanghai.aliyuncs.com/eas/eas-python-base-image:py2.7-allspark-0.8
  # 安装了Conda及Python3.6和PAI-EAS Allspark 0.8的Python SDK。
  registry.cn-shanghai.aliyuncs.com/eas/eas-python-base-image:py3.6-allspark-0.8

  对该镜像直接使用run命令即可获得Python开发环境，示例如下。

  $sudo docker run -ti registry.cn-shanghai.aliyuncs.com/eas/eas-python-base-image:py3.6-allspark-0.8
  (/data/eas/ENV) [root@487a04df4b21 eas]#
  (/data/eas/ENV) [root@487a04df4b21 eas]# ENV/bin/python app.py
  [INFO] initialize new lua plugin
  [INFO] loading builtin config script
  [INFO] current meritc id:0
  [INFO] loading builtin lua scripts
  [INFO] Success load all lua scripts.
  [INFO] create service
  [INFO] rpc binds to predefined port 8080
  [INFO] updating rpc port to 8080
  [INFO] install builtin handler call to /api/builtin/call
  [INFO] install builtin handler eastool to /api/builtin/eastool
  [INFO] install builtin handler monitor to /api/builtin/monitor
  [INFO] install builtin handler ping to /api/builtin/ping
  [INFO] install builtin handler prop to /api/builtin/prop
  [INFO] install builtin handler realtime_metrics to /api/builtin/realtime_metrics
  [INFO] install builtin handler tell to /api/builtin/tell
  [INFO] install builtin handler term to /api/builtin/term
  [INFO] Service start successfully
  [INFO] shutting down context ... press Ctrl+C again to force quit

  基于该基础镜像的ENV环境，您可以安装自己的依赖库（例如TensorFlow 1.12），再将修改过的Container提交为一个数据镜像。

  ENV/bin/pip install tensorflow==1.12

  您也可以在Docker外构建ENV开发环境，构建完成后，将其拷贝至任意Docker镜像的/data/eas/目录。使用镜像的方式构建开发环境，可以避免每次部署时都将整个ENV环境打包上传，从而提高部署速度。

# -*- coding: utf-8 -*-
import allspark
class MyProcessor(allspark.BaseProcessor):
    """ MyProcessor is a example
        you can send mesage like this to predict
        curl -v http://127.0.0.1:8080/api/predict/service_name -d '2 105'
    """
    def initialize(self):
        """ load module, executed once at the start of the service
             do service intialization and load models in this function.
        """
        self.module = {'w0': 100, 'w1': 2}
    def pre_process(self, data):
        """ data format pre process
        """
        x, y = data.split(b' ')
        return int(x), int(y)
    def post_process(self, data):
        """ process after process
        """
        return bytes(data, encoding='utf8')
    def process(self, data):
        """ process the request data
        """
        x, y = self.pre_process(data)
        w0 = self.module['w0']
        w1 = self.module['w1']
        y1 = w1 * x + w0
        if y1 >= y:
            return self.post_process("True"), 200
        else:
            return self.post_process("False"), 400
if __name__ == '__main__':
    # parameter worker_threads indicates concurrency of processing
    runner = MyProcessor(worker_threads=10)
    runner.run()