新建Flink Vvp SQL类型的公共节点
Flink Vvp SQL节点是流式节点,运行于Flink云计算资源之上,支持对ApsaraDB for RDS、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL、AnalyticDB_PostgreSQL和DataHub Service等类型的数据进行处理。本文介绍如何新建Flink Vvp SQL类型的公共节点。
背景信息
Flink Vvp SQL节点类型适用于阿里云Flink团队提供的Flink集群模式(也称为Flink全托管模式),提供对外API访问。
Flink Vvp SQL公共节点是为了简化计算模型、降低您使用Flink门槛而设计的可以使用标准SQL语义开发的公共节点。
操作步骤
方式一:写SQL语句方式
登录数据资源平台控制台。
在页面左上角,单击图标,选择协同。
在顶部菜单栏,单击图标,选择目标工作组,单击资产加工。
说明若您已在资产加工页面,请跳过“单击资产加工”的操作。
在左侧导航栏,单击图标,选择公共节点。
单击图标,在公共节点页面,单击新建节点。
在新建节点对话框,选择Flink Vvp SQL节点类型,单击确定。
在节点编辑页面,进行配置。
在页面右侧的节点属性页签,自定义填写节点标识、节点名称以及简介信息。
在编辑页面,输入SQL语句,单击图标。
在确认节点信息对话框中,确认节点标识、节点名称以及节点目录信息设置无误后,单击确认。
单击页面右侧运行配置页签,选择需要的测试计算资源。
单击编辑页面的图标,自动解析公共节点的输入、输出参数和节点变量。
在节点编辑页面,单击左上角图标。
方式二:上传算法包方式
登录数据资源平台控制台。
在页面左上角,单击图标,选择协同。
在顶部菜单栏,单击图标,选择目标工作组,单击资产加工。
说明若您已在资产加工页面,请跳过“单击资产加工”的操作。
在左侧导航栏,单击图标,选择公共节点。
单击图标,在公共节点页面,单击新建节点。
在新建节点对话框,选择Flink Vvp SQL节点类型,单击确定。
在节点编辑页面,进行配置。
在页面右侧的节点属性页签,自定义填写节点标识、节点名称以及简介信息并上传算法包。
参数
说明
节点名称
节点的名称。
节点标识
节点的唯一标识,由用户自定义,同一个工作区内不可重复。
节点类型
Flink Vvp SQL类型。
重要在新建节点对话框中选定节点类型后,在节点编辑页面的节点属性中不可修改云计算资源类型。
公共节点版本
首次创建时,默认为开发版本(Beta),待第一次发布以后版本号依次叠加,用户修改对应的算法语句后,可发布成不同的版本。
节点目录
节点所属目录。
作业参数
节点运行的额外参数。
节点资源文件
上传JAR包格式的节点资源文件。
节点描述
节点的描述性信息,方便用户理解和查找。
在编辑页面,输入对应的脚本内容,单击图标。
在确认节点信息对话框中,确认节点标识、节点名称以及节点目录信息设置无误后,单击确认。
单击页面右侧运行配置页签,手动添加节点输入、输出参数和节点变量。
如果算法文件和脚本中有要求输入变量,单击添加节点输入,添加输入参数,填写输入code,并选择输入的云计算资源类型以及输入表。
如果算法文件和脚本中有要求输出变量,单击添加节点输出,添加输出参数,填写输出code,并选择输出的云计算资源类型以及输出表。
如果需要设置算法的全局控制参数,则单击添加参数来设置即可。各参数配置项说明如下表所示。
参数
说明
节点输入
输入标识
输入变量的标识,用户可根据前面编写的脚本内容来自定义,例如:Input。
数据结构
云计算资源类型
在下拉列表中选择输入数据的数据源类型。
输入数据格式
输入表的数据格式,由数据模型定义,在下拉列表中选择输入数据的逻辑表名称,表示该计算资源中提供数据的数据表的结构。
当选择数据表时,需保证输入的模型与上游节点的输出数据模型相同。
当选择星号(*)时,代表数据结构为任意结构,用于对未创建数据模型的表进行操作。
节点输出
输出标识
输出变量的标识,用户可根据前面编写的脚本内容来自定义,例如:Output。
数据结构
云计算资源类型
输出数据的数据源类型。
输出数据格式
输出表的数据格式,由数据模型定义,在下拉列表中选择,表示该计算资源中输出数据的数据表的结构。
当选择数据表时,需保证节点输出的模型与下游节点的输入数据模型相同。
当选择星号(*)时,代表数据结构为任意结构,用于对未创建数据模型的表进行操作。
节点变量
参数变量
算法参数的名称,用户自定义。
参数说明
参数的说明信息。
参数值
参数的值。
值类型
算法参数的值类型,目前支持的格式包括STRING、BOOLEAN、LONG、DOUBLE 和 DATE,您可根据实际需要选择。
完成上述参数配置后,单击图标,创建节点完成。