阿里云首页 数据资源平台

添加Flink_VvrSQL类型的公共节点

Flink_VvrSQL节点是流式节点,运行于Flink云计算资源之上,支持对ApsaraDB for RDS、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL和Datahub Service等类型的数据进行处理。本文介绍如何添加Flink_VvrSQL类型的公共节点。

前提条件

已添加Flink_VvrSQL节点所要使用的数据模型,具体操作,请参见通过Excel导入逻辑表通过云计算资源导入逻辑表手动新建逻辑表

背景信息

  • Flink_VvrSQL是基于Apache Flink(以下简称Flink)开发的商业版,VVR引擎接口完全兼容Flink开源版本,适用于在K8s部署运行的Flink节点。

  • Flink_VvrSQL公共节点是为了简化计算模型、降低您使用Flink门槛而设计的可以使用标准SQL语义的开发的公共节点。

操作步骤

方式一:写SQL语句方式

  1. 登录数据资源平台控制台

  2. 在页面左上角,单击菜单图标,选择研发工作台

  3. 在顶部菜单栏,单击选择工作组图标,选择目标工作组,单击资产加工

    说明

    若您已在资产加工页面,请跳过“单击资产加工”的操作。

  4. 在左侧导航栏,选择数据开发 > 公共节点

  5. 将鼠标悬停至公共节点单击进入图标。

  6. 公共节点页面,单击添加节点

  7. 添加节点对话框,选择Flink_VvrSQL节点类型,单击确定

  8. 在节点编辑页面,进行配置。

    1. 在页面右侧的节点属性页签,自定义填写节点标识、节点名称以及简介信息。

    2. 在编辑页面,输入SQL语句,单击图标。保存

    3. 确认节点信息对话框中,确认节点标识、节点名称以及节点目录信息设置无误后,单击确定

    4. 单击页面右侧运行属性页签,选择需要的测试计算资源。

    5. 单击编辑页面的解析图标,自动解析公共节点的输入/输出参数和运行参数。

      SQL解析对话框的输入与输出页签中,选择公共节点输入模型输出模型,单击确定

    6. 在节点编辑页面,单击左上角保存图标。

方式二:上传算法包方式

  1. 登录数据资源平台控制台

  2. 在页面左上角,单击菜单图标,选择研发工作台

  3. 在顶部菜单栏,单击选择工作组图标,选择目标工作组,单击资产加工

    说明

    若您已在资产加工页面,请跳过“单击资产加工”的操作。

  4. 在左侧导航栏,选择数据开发 > 公共节点

  5. 将鼠标悬停至公共节点单击进入图标。

  6. 公共节点页面,单击添加节点

  7. 添加节点对话框,选择Flink_VvrSQL节点类型,单击确定

  8. 在节点编辑页面,进行配置。

    1. 在页面右侧的节点属性页签,自定义填写节点标识、节点名称以及简介信息并上传算法包。

      参数

      说明

      节点标识

      节点的唯一标识,由用户自定义,同一个工作区内不可重复。

      节点名称

      节点的名称。

      云计算资源类型

      Flink类型。

      注意

      在添加节点对话框中选定节点类型后,在节点编辑页面的节点属性中不可修改云计算资源类型。

      公共节点版本

      首次创建时,默认为开发版本Beta),待第一次发布以后版本号为1.0.0,依次叠加,用户修改对应的算法语句后,可发布成不同的版本。

      作业参数

      节点运行的额外参数。

      节点资源文件

      上传JAR包格式的节点资源文件。

      简介

      节点的描述性信息,方便用户理解和查找。

    2. 在编辑页面,输入对应的脚本内容,单击图标。

    3. 确认节点信息对话框中,确认节点标识、节点名称以及节点目录信息设置无误后,单击OK

    4. 单击页面右侧运行属性页签,手动添加节点输入/输出参数和运行参数。

      • 如果算法文件和脚本中有要求输入变量,则可单击添加输入节点来设置节点输入。单击添加节点输入,添加输入参数,填写输入code,并选择输入的云计算资源类型以及输入表。

      • 如果算法文件和脚本中有要求输出变量,单击添加节点输出,添加输出参数,填写输出code,并选择输出的云计算资源类型以及输出表。

      • 如果需要设置算法的全局控制参数,则单击 新建参数来设置即可。各参数配置项说明如下表所示。

      配置项

      说明

      节点输入

      输入code

      输入变量的标识称,用户可根据前面编写的脚本内容来自定义,例如:Input

      云计算资源类型

      在下拉列表中选择输入变量的数据源类型。

      输入逻辑表

      在下拉列表中选择输入数据的逻辑表名称。

      节点输出

      输出code

      输出变量的标识,用户可根据前面编写的脚本内容来自定义,例如:Output

      云计算资源类型

      输出数据的数据源类型。

      输出逻辑表

      在下拉列表中选择输出数据的逻辑表名称。

      运行参数

      参数变量

      算法参数的名称,用户自定义。

      参数值

      参数的值。

      值类型

      算法参数的值类型,目前支持的格式包括STRINGBOOLEANLONGDOUBLEDATE,您可根据实际需要选择。

    5. 完成上述参数配置后,单击保存图标,创建节点完成。