文档

新建Flink Vvr SQL类型的公共节点

更新时间:

Flink Vvr SQL节点是流式节点,运行于Flink云计算资源之上,支持对RDS MySQL、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL和DataHub等类型的数据进行处理。本文介绍如何新建Flink Vvr SQL类型的公共节点。

背景信息

  • Flink Vvr SQL是基于Apache Flink(以下简称Flink)开发的商业版,VVR引擎接口完全兼容Flink开源版本,适用于在K8s部署运行的Flink节点。

  • Flink Vvr SQL公共节点是为了简化计算模型、降低您使用Flink门槛而设计的可以使用标准SQL语义的开发的公共节点。

操作步骤

方式一:写SQL语句方式

  1. 登录企业数据智能平台

  2. 在页面左上角,单击菜单图标,选择协同

  3. 在顶部菜单栏,单击选择工作组图标,选择目标工作组,单击资产加工

    说明

    若您已在资产加工页面,请跳过“单击资产加工”的操作。

  4. 在左侧导航栏,单击image图标,选择公共节点

  5. 单击image图标,在公共节点页面,单击新建节点

  6. 新建节点对话框,选择Flink Vvr SQL节点类型,单击确定

  7. 在节点编辑页面,进行配置。

    1. 在页面右侧的节点属性页签,自定义填写节点标识、节点名称以及简介信息。

    2. 在编辑页面,输入SQL语句,单击保存图标。

    3. 确认节点信息对话框中,确认节点标识、节点名称以及节点目录信息设置无误后,单击确认

    4. 单击页面右侧运行配置页签,选择需要的开发计算引擎。

    5. (条件必选)如果代码中存在输入、输出表或者节点变量,则需要手动添加节点的输入、输出和节点变量,或通过单击编辑页面的解析图标,自动解析公共节点的输入、输出和节点变量。

      这里以解析为例介绍,详细参数如下表所示。

      1. 单击编辑页面的解析图标,在节点编辑页面的运行配置页签,会显示已自动解析出的输入输出和节点变量。

      2. 打开节点输入后面的image.png开关,查看节点输入。

      3. 打开节点输出后面的image.png开关,查看节点输出。

      4. 填写节点变量值。

    6. 在节点编辑页面,单击左上角保存图标。

方式二:上传算法包方式

  1. 登录企业数据智能平台

  2. 在页面左上角,单击菜单图标,选择协同

  3. 在顶部菜单栏,单击选择工作组图标,选择目标工作组,单击资产加工

    说明

    若您已在资产加工页面,请跳过“单击资产加工”的操作。

  4. 在左侧导航栏,单击image图标,选择公共节点

  5. 单击image图标,在公共节点页面,单击新建节点

  6. 新建节点对话框,选择Flink Vvr SQL节点类型,单击确定

  7. 在节点编辑页面,进行配置。

    1. 在页面右侧的节点属性页签,自定义填写节点标识、节点名称以及简介信息并上传算法包。

      参数

      说明

      节点名称

      节点的名称。

      节点标识

      节点的唯一标识,由用户自定义,同一个工作区内不可重复。

      公共节点版本

      首次创建时,默认为开发版本(Beta),待首次发布以后版本号依次叠加,用户修改对应的算法语句后,可发布成不同的版本。

      节点目录

      节点所属目录。

      作业参数

      节点运行的额外参数。

      节点附件

      上传JAR包格式的节点资源文件。

      节点描述

      节点的描述性信息,方便用户理解和查找。

    2. 在编辑页面,输入对应的脚本内容,单击保存图标。

    3. 确认节点信息对话框中,确认节点标识、节点名称以及节点目录信息设置无误后,单击确认

    4. 单击页面右侧运行配置页签,手动添加节点输入、输出参数和节点变量。

      • 如果算法文件和脚本中有要求输入变量,单击添加节点输入,添加输入参数,填写输入标识,并选择输入的云计算资源类型以及输入表。

      • 如果算法文件和脚本中有要求输出变量,单击添加节点输出,添加输出参数,填写输出标识,并选择输出的云计算资源类型以及输出表。

      • 如果需要设置算法的全局控制参数,则单击添加参数来设置即可。各参数配置项说明如下表所示。

        参数

        说明

        节点输入

        输入标识

        输入变量的标识,用户可根据前面编写的脚本内容来自定义,例如:Input

        数据结构

        云计算资源类型

        输入数据的数据源类型,在下拉列表中选择。

        输入数据格式

        输入表的数据格式,由数据模型定义,在下拉列表中选择输入数据的逻辑表名称,表示该计算资源中提供数据的数据表的结构。

        • 当选择数据表时,需保证输入的模型与上游节点的输出数据模型相同。

        • 当选择星号(*)时,代表数据结构为任意结构,用于对未创建数据模型的表进行操作。

        节点输出

        输出标识

        输出变量的标识,用户可根据前面编写的脚本内容来自定义,例如:Output

        数据结构

        云计算资源类型

        输出数据的数据源类型,在下拉列表中选择。

        输出数据格式

        输出表的数据格式,由数据模型定义,在下拉列表中选择,表示该计算资源中输出数据的数据表的结构。

        • 当选择数据表时,需保证节点输出的模型与下游节点的输入数据模型相同。

        • 当选择星号(*)时,代表数据结构为任意结构,用于对未创建数据模型的表进行操作。

        节点变量

        参数变量

        算法参数的名称,用户自定义。

        参数说明

        参数的说明信息。

        参数值

        参数的值。

        值类型

        算法参数的值类型,目前支持的格式包括STRINGBOOLEANLONGDOUBLEDATE,您可根据实际需要选择。

    5. 配置Flink运行时参数。

    6. 完成上述参数配置后,单击保存图标,创建节点完成。

  • 本页导读 (1)
文档反馈