阿里云首页 数据资源平台

添加Blink类型的公共节点

Blink节点是流式节点,运行于Blink云计算资源之上,支持对Datahub Service、AnalyticDB MySQL、Table Store、MaxCompute、AnalyticDB_PostgreSQL和ApsaraDB for RDS类型的数据源进行处理。本文介绍如何添加Blink类型的公共节点。

前提条件

已添加Blink节点所要使用的数据模型,具体操作,请参见通过Excel导入逻辑表通过云计算资源导入逻辑表手动新建逻辑表

操作步骤

方式一:写SQL语句方式

  1. 登录数据资源平台控制台

  2. 在页面左上角,单击菜单图标,选择研发工作台

  3. 在顶部菜单栏,单击选择工作组图标,选择目标工作组,单击资产加工

    说明

    若您已在资产加工页面,请跳过“单击资产加工”的操作。

  4. 在左侧导航栏,选择数据开发 > 公共节点

  5. 将鼠标悬停至公共节点单击进入图标。

  6. 公共节点页面,单击添加节点

  7. 添加节点对话框,选择Blink节点类型,单击确定

  8. 在节点编辑页面,配置节点的基本属性和运行参数。

    1. 在页面右侧的节点属性页签,自定义填写节点标识、节点名称以及简介信息。

    2. 在编辑页面,输入SQL语句,单击保存图标。

    3. 确认节点信息对话框中,确认节点标识、节点名称以及节点目录信息设置无误后,单击确定保存信息

    4. 单击编辑页面的解析图标,自动解析公共节点的输入/输出参数和运行参数。

      SQL解析对话框的输入与输出页签中,选择公共节点输入模型输出模型,单击确定

    5. 在节点编辑页面,单击左上角保存图标。

方式二:上传算法包方式

  1. 登录数据资源平台控制台

  2. 在页面左上角,单击菜单图标,选择研发工作台

  3. 在顶部菜单栏,单击选择工作组图标,选择目标工作组,单击资产加工

    说明

    若您已在资产加工页面,请跳过“单击资产加工”的操作。

  4. 在左侧导航栏,选择数据开发 > 公共节点

  5. 将鼠标悬停至已创建的目录或者默认的目录,选择配置 > 新建公共节点

  6. 添加节点对话框,选择Blink节点类型,单击确定

  7. 在节点编辑页面,进行配置。

    1. 在页面右侧的节点属性页签,自定义填写节点标识、节点名称以及简介信息并上传算法包。

      参数

      说明

      节点标识

      节点的唯一标识,由用户自定义,同一个工作区内不可重复。

      节点名称

      节点的名称。

      云计算资源类型

      Blink类型。

      注意

      在添加节点对话框中选定节点类型后,在节点编辑页面的节点属性中不可修改云计算资源类型。

      公共节点版本

      首次创建时,默认为开发版本Beta),待第一次发布以后版本号为1.0.0,依次叠加,用户修改对应的算法语句后,可发布成不同的版本。

      Blink版本

      您可根据实际需要选择Blink版本,可选择如下:

      • 默认:使用Blink推荐的版本。

      • V1:使用Blink的V1.6.4版本。

      • V2:使用Blink的V2.2.7版本。

      • V3:使用Blink的current版本。

      说明

      Blink算法最终使用的版本,除与自身设置的版本有关外,还与其运行所依赖的Blink类型的云计算资源有关。如果云计算资源的blink版本默认,则Blink算法最终使用的版本以此处配置为准,否则以云计算资源的Blink版本为准。

      资源配置

      节点运行的所有资源的配置,例如:CPU、MEM、并发数等。

      作业参数

      节点运行的额外参数。

      算法文件

      算法文件是JAR包格式的文件,有以下两种类型:

      • 自定义函数文件。创建自定义结果表时所依赖的JAR包。

      • 如果该Blink算法需要以自定义结果表来输出数据,则需要上传依赖包。

      简介

      节点的描述性信息,方便用户理解和查找。

    2. 配置资源、作业参数等内容。

    3. 在编辑页面,输入对应的脚本内容,单击图标。

    4. 确认节点信息对话框中,确认节点标识、节点名称以及节点目录信息设置无误后,单击OKblink

    5. 单击页面右侧运行属性页签,手动添加节点输入/输出参数和运行参数。

      • 如果算法文件和脚本中有要求输入变量,则可单击添加输入节点来设置节点输入。单击添加节点输入,添加输入参数,填写输入code,并选择输入的云计算资源类型以及输入表。

      • 如果算法文件和脚本中有要求输出变量,单击添加节点输出,添加输出参数,填写输出code,并选择输出的云计算资源类型以及输出表。

      • 如果需要设置算法的全局控制参数,则单击 新建参数来设置即可。各参数配置项说明如下表所示。

      配置项

      说明

      节点输入

      输入code

      输入变量的标识称,用户可根据前面编写的脚本内容来自定义,例如:Input

      云计算资源类型

      在下拉列表中选择输入变量的数据源类型。

      输入逻辑表

      在下拉列表中选择输入数据的逻辑表名称。

      节点输出

      输出code

      输出变量的标识,用户可根据前面编写的脚本内容来自定义,例如:Output

      云计算资源类型

      输出数据的数据源类型。

      输出逻辑表

      在下拉列表中选择输出数据的逻辑表名称。

      运行参数

      参数变量

      算法参数的名称,用户自定义。

      参数值

      参数的值。

      值类型

      算法参数的值类型,目前支持的格式包括STRINGBOOLEANLONGDOUBLEDATE,您可根据实际需要选择。

    6. 完成上述参数配置后,单击保存图标,创建节点完成。