通过算法语句或者上传脚本来处理数据,本文介绍如何输入算法语句或者上传资源文件。
操作步骤
根据选择的节点类型,选择下述两种方式的其中一种,添加算法语句。
方式一:输入算法语句
在节点编辑页面,输入算法语句,这里以MaxCompute SQL为例介绍。
当需要在SQL中使用自定义函数时,单击引用函数页签,在自定义函数列表找到需要的自定义函数,再返回编辑页面输入。若函数列表为空,则需要先新建函数,更多操作请参见新建自定义函数。
说明目前自定义函数仅支持MaxCompute、Hive和AnalyticDB PostgreSQL、Flink_Vvp、Spark和Flink的资源类型引用。
单击图标。
说明若未保存修改,直接关闭当前页面时,本地会缓存修改的代码,当再次打开该节点编辑页面时,系统会给出提示:
当单击忽略,系统会清空本地缓存代码。
当单击查看,系统会自动打开差异对比对话框,查看前后差异:
若确认需要使用缓存代码后,单击使用未保存代码,系统会将未保存代码(即本地缓存的代码)中的差异内容更新到当前代码(即服务器代码)中。
若确认需要将两者差异融合,支持将左侧当前代码(即服务端代码)差异内容手动复制粘贴到右侧未保存代码(即本地代码)中后更新使用。
方式二:上传节点文件并输入对应脚本
当前仅Spark Batch、Spark SQL、Elastic Job和MaxCompue MR、Elastic Service、Blink、Blink DataStream、Flink DataStream、Flink Vvp Stream、Flink Vvp Stream、Flink Vvp SQL、Flink Vvr Stream、Flink Vvr SQL、Flink SQL和Spark Stream类型的节点支持该种方式,这里以MaxCompute MR为例介绍。
在节点编辑页面右侧的节点属性页签,上传节点附件。
说明当选择的节点类型是Spark Batch类型时,需要填写类名。
在编辑页面,以Shell语言编写算法文件的脚本内容,并填写相关参数,更多请参见基本属性。
说明以Shell语言编写算法文件的脚本,脚本中引用算法文件时,必须包含算法文件的后缀。
单击图标。
说明当未保存修改,直接关闭当前页面,本地会缓存修改的代码,当再次打开该节点编辑页面时,系统会给出提示:
当单击忽略,系统会清空本地缓存代码。
当单击查看,系统会自动打开差异对比对话框,查看前后差异:
若确认需要使用缓存代码后,单击使用未保存代码,系统会将未保存代码(即本地缓存的代码)中的差异内容更新到当前代码(即服务器代码)中。
若确认需要将两者差异融合,支持将左侧当前代码(即服务端代码)差异内容手动复制粘贴到右侧未保存代码(即本地代码)中后更新使用。