PAI-STUDIO自定义算法上传功能

PAI自定义算法上传功能可以支持用户使用SQL、SPARK2.0、PYSPARK2.0框架自己开发算法，并且把算法封装为一个组件上传到PAI-STUDIO中使用。同时自定义算法上传功能也与AI市场打通，允许开发者将算法发布到AI市场中供更多用户使用。

价格说明

使用SQL、SPARK2.0、PYSPARK2.0 3种算法框架自行开发出的算法上传到PAI-STUDIO中，运行产生的费用按照PAI资源成本价收取，费用为1元/计算时。

功能详解

1.控制台说明

首先进入PAI控制台，找到Studio-可视化建模下的“算法发布”功能。

2.开发算法代码

基于本地调试文档https://help.aliyun.com/document_detail/126887.html，开发算法包。本文使用官方提供的pyspark案例介绍，请前往https://help.aliyun.com/document_detail/126889.html下载。

3.点击“创建自定义算法”

算法名称：算法组件的名字
算法唯一标示：算法的后台唯一标识，可以用来查询日志等信息
算法框架：sql、spark、pyspark
算法包：如果是sql算法，需要上传sql脚本。spark算法提交的是打包好的jar包。pyspark提交的是工程打包好的zip文件
算法种类：算法包发布到PAI-STUDIO后所在的文件夹
入口参数：sql组件不需要、spark需要写jar包的入口类（例：com.aliyun.odps.spark.examples.simhash.SimHashSpark）、pyspark需要写入口的py文件和入口函数（中间用.分隔）

使用Mac系统重新打包会在ZIP包里面多增加一层目录,造成运行pyspark失败,待运行的文件必须在ZIP包根目录,建议使用Linux打包命令。

本文使用官方提供的pyspark算法包，上传pyspark.zip文件，输入入口文件和入口函数

read_example.mainFunc

如图：

4.编辑版本

提交算法包后，在控制台可以看到算法包实例，这时候需要为算法包配置UI展示相关内容。

这里的版本指的是组件的UI展示形式，只有配置了版本的才可以发布。

点击添加版本：

点击前往配置进入组件配置界面，所有算法组件的配置可以通过拖拽的形式可视化操作。

5.组件UI编辑

组件的输入和输出桩可以在下图部分自由控制，本案例实现的是读一个表然后把其中两个字段写到另一个表里，对应代码中的inputTable1和outputTable1，如果多个输入输出桩可以在代码中定义inputTable2、inputTable3等，组件桩会自动映射。

    #定义输入节点
    INPUT_TABLE = arg_dict["inputTable1"]
    OUTPUT_TABLE = arg_dict["outputTable1"]
    ID_COL = arg_dict["idCol"]
    CONTENT_COL = arg_dict["contentCol"]