阿里云首页 数据资源平台

添加Blink_DataStream类型的公共节点

Blink_DataStream节点是流式节点,运行于Blink云计算资源之上,支持对Datahub Service、AnalyticDB、Table Store 、MaxCompute、和ApsaraDB for RDS类型的数据源进行处理。本文介绍如何添加Blink_DataStream类型的公共节点。

前提条件

已添加Blink_DataStream节点所要使用的数据模型,具体操作,请参见通过Excel导入逻辑表通过云计算资源导入逻辑表手动新建逻辑表

背景信息

公共节点首次创建完成时,默认公共节点的版本为开发版本Beta),待第一次发布以后版本号为1.0.0,依次叠加。

操作步骤

方式一:写SQL语句方式

  1. 登录数据资源平台控制台

  2. 在页面左上角,单击菜单图标,选择研发工作台

  3. 在顶部菜单栏,单击选择工作组图标,选择目标工作组,单击资产加工

    说明

    若您已在资产加工页面,请跳过“单击资产加工”的操作。

  4. 在左侧导航栏,选择数据开发 > 公共节点

  5. 将鼠标悬停至公共节点单击进入图标。

  6. 公共节点页面,单击添加节点

  7. 添加节点对话框,选择Blink_DataStream节点类型,单击确定

  8. 在节点编辑页面,进行配置。

    1. 在页面右侧的节点属性页签,自定义填写节点标识、节点名称以及简介信息。

    2. 在编辑页面,输入SQL语句,单击保存图标。sql

    3. 确认节点信息对话框中,确认节点标识、节点名称以及节点目录信息设置无误后,单击确定

    4. 单击页面右侧运行属性页签,选择需要的测试计算资源。

    5. 单击编辑页面的解析图标,自动解析公共节点的输入/输出参数和运行参数。

      SQL解析对话框的输入与输出页签中,选择公共节点输入模型输出模型,单击确定

    6. 在节点编辑页面,单击左上角保存图标。

方式二:上传算法包方式

  1. 登录数据资源平台控制台

  2. 在页面左上角,单击菜单图标,选择研发工作台

  3. 在顶部菜单栏,单击选择工作组图标,选择目标工作组,单击资产加工

    说明

    若您已在资产加工页面,请跳过“单击资产加工”的操作。

  4. 在左侧导航栏,选择数据开发 > 公共节点

  5. 将鼠标悬停至公共节点单击进入图标。

  6. 公共节点页面,单击添加节点

  7. 添加节点对话框,选择Blink_DataStream节点类型,单击确定

  8. 在节点编辑页面,进行配置。

    1. 在页面右侧的节点属性页签,自定义填写节点标识、节点名称以及简介信息并上传算法包。

      参数

      说明

      节点标识

      节点的唯一标识,由用户自定义,同一个工作区内不可重复。

      节点名称

      节点的名称。

      云计算资源类型

      Blink_DataStream。

      注意

      在添加节点对话框中选定节点类型后,在节点编辑页面的节点属性中不可修改云计算资源类型。

      公共节点版本

      首次创建时,默认为开发版本(Beta),待第一次发布以后版本号为1.0.0,依次叠加,用户修改对应的算法语句后,可发布成不同的版本

      资源配置

      节点运行的所有资源的配置,例如:CPU、MEM、并发数等。

      算法文件

      算法文件是JAR包格式的文件,有以下两种类型:

      • 自定义函数文件。创建自定义结果表时所依赖的JAR包。

      • 如果该Blink算法需要以自定义结果表来输出数据,则需要上传依赖包。

      简介

      节点的描述性信息,方便用户理解和查找。

    2. 配置资源、作业参数、算法文件等内容。

    3. 在编辑页面,输入对应的脚本内容,单击图标。

    4. 确认节点信息对话框中,确认节点标识、节点名称以及节点目录信息设置无误后,单击OK

    5. 单击页面右侧运行配置页签,手动添加节点输入/输出参数和运行参数。

      • 如果算法文件和脚本中有要求输入变量,则可单击添加输入节点来设置节点输入。单击添加节点输入,添加输入参数,填写输入code,并选择输入的云计算资源类型以及输入表。

      • 如果算法文件和脚本中有要求输出变量,单击添加节点输出,添加输出参数,填写输出code,并选择输出的云计算资源类型以及输出表。

      • 如果需要设置算法的全局控制参数,则单击 新建参数来设置即可。各参数项说明如下表所示。

      配置项

      说明

      节点输入

      输入code

      输入变量的标识称,用户可根据前面编写的脚本内容来自定义,例如:Input

      云计算资源类型

      在下拉列表中选择输入变量的数据源类型。

      输入逻辑表

      在下拉列表中选择输入数据的逻辑表名称。

      节点输出

      输出code

      输出变量的标识,用户可根据前面编写的脚本内容来自定义,例如:Output

      云计算资源类型

      输出数据的数据源类型。

      输出逻辑表

      在下拉列表中选择输出数据的逻辑表名称。

      运行参数

      参数变量

      算法参数的名称,用户自定义。

      参数值

      参数的值。

      值类型

      算法参数的值类型,目前支持的格式包括STRINGBOOLEANLONGDOUBLEDATE,您可根据实际需要选择。

    6. 完成上述参数配置后,单击保存图标,创建节点完成。