新建Flink Vvp SQL类型的公共节点

Flink Vvp SQL节点是流式节点,运行于Flink云计算资源之上,支持对ApsaraDB for RDS、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL、AnalyticDB_PostgreSQL和DataHub Service等类型的数据进行处理。本文介绍如何新建Flink Vvp SQL类型的公共节点。

背景信息

  • Flink Vvp SQL节点类型适用于阿里云Flink团队提供的Flink集群模式(也称为Flink全托管模式),提供对外API访问。

  • Flink Vvp SQL公共节点是为了简化计算模型、降低您使用Flink门槛而设计的可以使用标准SQL语义开发的公共节点。

操作步骤

方式一:写SQL语句方式

  1. 登录数据资源平台控制台

  2. 在页面左上角,单击菜单图标,选择协同

  3. 在顶部菜单栏,单击选择工作组图标,选择目标工作组,单击资产加工

    说明

    若您已在资产加工页面,请跳过“单击资产加工”的操作。

  4. 在左侧导航栏,单击image图标,选择公共节点

  5. 单击image图标,在公共节点页面,单击新建节点

  6. 新建节点对话框,选择Flink Vvp SQL节点类型,单击确定

  7. 在节点编辑页面,进行配置。

    1. 在页面右侧的节点属性页签,自定义填写节点标识、节点名称以及简介信息。

    2. 在编辑页面,输入SQL语句,单击保存图标。

    3. 确认节点信息对话框中,确认节点标识、节点名称以及节点目录信息设置无误后,单击确认

    4. 单击页面右侧运行配置页签,选择需要的测试计算资源。

    5. 单击编辑页面的解析图标,自动解析公共节点的输入、输出参数和节点变量。

    6. 在节点编辑页面,单击左上角保存图标。

方式二:上传算法包方式

  1. 登录数据资源平台控制台

  2. 在页面左上角,单击菜单图标,选择协同

  3. 在顶部菜单栏,单击选择工作组图标,选择目标工作组,单击资产加工

    说明

    若您已在资产加工页面,请跳过“单击资产加工”的操作。

  4. 在左侧导航栏,单击image图标,选择公共节点

  5. 单击image图标,在公共节点页面,单击新建节点

  6. 新建节点对话框,选择Flink Vvp SQL节点类型,单击确定

  7. 在节点编辑页面,进行配置。

    1. 在页面右侧的节点属性页签,自定义填写节点标识、节点名称以及简介信息并上传算法包。

      参数

      说明

      节点名称

      节点的名称。

      节点标识

      节点的唯一标识,由用户自定义,同一个工作区内不可重复。

      节点类型

      Flink Vvp SQL类型。

      重要

      在新建节点对话框中选定节点类型后,在节点编辑页面的节点属性中不可修改云计算资源类型。

      公共节点版本

      首次创建时,默认为开发版本(Beta),待第一次发布以后版本号依次叠加,用户修改对应的算法语句后,可发布成不同的版本。

      节点目录

      节点所属目录。

      作业参数

      节点运行的额外参数。

      节点资源文件

      上传JAR包格式的节点资源文件。

      节点描述

      节点的描述性信息,方便用户理解和查找。

    2. 在编辑页面,输入对应的脚本内容,单击保存图标。

    3. 确认节点信息对话框中,确认节点标识、节点名称以及节点目录信息设置无误后,单击确认

    4. 单击页面右侧运行配置页签,手动添加节点输入、输出参数和节点变量。

      • 如果算法文件和脚本中有要求输入变量,单击添加节点输入,添加输入参数,填写输入code,并选择输入的云计算资源类型以及输入表。

      • 如果算法文件和脚本中有要求输出变量,单击添加节点输出,添加输出参数,填写输出code,并选择输出的云计算资源类型以及输出表。

      • 如果需要设置算法的全局控制参数,则单击添加参数来设置即可。各参数配置项说明如下表所示。

      参数

      说明

      节点输入

      输入标识

      输入变量的标识,用户可根据前面编写的脚本内容来自定义,例如:Input

      数据结构

      云计算资源类型

      在下拉列表中选择输入数据的数据源类型。

      输入数据格式

      输入表的数据格式,由数据模型定义,在下拉列表中选择输入数据的逻辑表名称,表示该计算资源中提供数据的数据表的结构。

      • 当选择数据表时,需保证输入的模型与上游节点的输出数据模型相同。

      • 当选择星号(*)时,代表数据结构为任意结构,用于对未创建数据模型的表进行操作。

      节点输出

      输出标识

      输出变量的标识,用户可根据前面编写的脚本内容来自定义,例如:Output

      数据结构

      云计算资源类型

      输出数据的数据源类型。

      输出数据格式

      输出表的数据格式,由数据模型定义,在下拉列表中选择,表示该计算资源中输出数据的数据表的结构。

      • 当选择数据表时,需保证节点输出的模型与下游节点的输入数据模型相同。

      • 当选择星号(*)时,代表数据结构为任意结构,用于对未创建数据模型的表进行操作。

      节点变量

      参数变量

      算法参数的名称,用户自定义。

      参数说明

      参数的说明信息。

      参数值

      参数的值。

      值类型

      算法参数的值类型,目前支持的格式包括STRINGBOOLEANLONGDOUBLEDATE,您可根据实际需要选择。

    5. 完成上述参数配置后,单击保存图标,创建节点完成。