计算节点配置说明

计算节点是处理数据代码的算法节点,在算法流程中主要用于某个特定场景,或针对某张表的逻辑处理。本文介绍计算节点的节点画布配置说明和场景画布的配置说明。

背景信息

计算节点支持多种类型,但是配置的参数和方法类似,这里只介绍关键参数。支持创建的资源类型包括:MaxCompute、RDS Mysql、DataHub、Hive、Elastic Job、Elastic Service、Hive、Blink、PostgreSQL、AnalyticDB PostgreSQL、Flink。

节点画布配置说明

节点属性

各类型计算节点存在部分差异,这里只说明关键参数,具体可参考各类型公共节点的配置参数,更多信息,请参见添加MaxCompute SQL类型的公共节点~添加Spark Stream类型的公共节点

配置项

说明

节点名称

节点的名称,支持用户自定义。

节点标识

节点的唯一标识,支持用户自定义,同一个工作组必须是唯一的,不可重复。

节点类型

节点的类型。

版本说明

节点的版本说明,支持用户自定义。

节点描述

节点的描述性信息,方便用户理解和查找。

作业类型

包含SQL和算法包类型。

模态

节点的模态,用于识别节点实际运行环境,可快速切换模态或者新建模态。仅当节点为融合节点FUSION NODE时,才会显示。

运行配置

各类型计算节点的输入、输出以及运行参数,部分节点类型支持解析,部分节点类型需要手动添加,请大家根据实际状况操作。

说明

当画布中输入算法语句,工具栏解析(解析)图标可用,则表示该类型节点的算法语句的输入输出和运行参数支持系统自动解析。

参数

说明

计算引擎

开发

开发环境场景使用资源,用于在开发环境中运行。

生产

生产环境场景使用资源,用于在生产环境中运行。

资源组

资源组是发布任务的资源池。设置后,可查看当前公共节点所属的开发资源组和生产资源组,请至系统设置 > 资源组管理中设置。

依赖节点

上游

说明

查看当前节点依赖的节点信息。

解析依赖

当配置完节点输入信息后,单击解析依赖,可自动解析该节点的依赖节点,并将依赖信息展示在场景画布运行配置的依赖节点区域中。

节点

该依赖节点的名称。

所属工作区组

该依赖节点的所属工作区。

场景/工作流

该依赖节点的所属场景或者任务流的名称及标识。

依赖关系

依赖节点的类型。

  • 强依赖:若依赖节点运行失败,调度阻塞,当前节点无法执行,等待依赖节点恢复成功。

  • 弱依赖:若依赖节点运行失败,调度不阻塞,当前节点继续按照计划继续触发执行

下游

说明

下游节点页签中,查看当前节点被哪些节点或者任务依赖,即展示依赖当前节点的其他节点信息。无需配置。

节点

依赖当前节点的节点名称。

所属工作组

把当前节点作为依赖节点的其他节点的所属工作组。

场景/工作流

当前节点作为依赖节点的其他节点所属场景的场景名称及标识以及工作流名称及标识。

节点输入

输入标识

节点的输入参数标识。

输入数据结构

输入表的数据格式,由数据模型定义,在下拉列表中选择,表示该计算资源中提供数据的数据表的结构。

  • 当选择数据表时,需保证输入的模型与上游节点的输出数据模型相同,物理表名可以自定义。

  • 当选择星号(*)时,代表数据结构为任意结构,用于对未创建数据模型的表进行操作,此时物理表必须选择已经存在的表。

开发环境

物理表所在资源

开发环境中节点输入使用的物理表所在资源。

物理表名

开发环境中节点输入参数的物理表名,可自定义新建物理表名或者选择已物理化至资源库中的物理表名。

  • 当输入数据结构为星号(*)时,输入物理表名必须选择已经存在的物理表。

  • 当输入数据结构为具体的模型结构时,填写物理表名,系统会自动执行物理化。

  • 当打开依赖上游开关时,且本节点输入参数连接到上游节点输出参数时,则本节点输入参数对应的物理表依赖上游输出,为上游节点输出物理表,不能手动再修改。

生产环境

物理表所在资源

生产环境中节点输入使用的物理表所在资源。

物理表名

生产环境中节点输入的物理表名,可自定义新建物理表名或者选择已物理化至资源库中的物理表名。

  • 当输入数据结构为星号(*)时,输入物理表名必须选择已经存在的物理表。

  • 当输入数据结构为具体的模型结构时,填写物理表名,系统会自动执行物理化。

  • 当打开依赖上游开关时,且本节点输入参数连接到上游节点输出参数时,则本节点输入参数对应的物理表依赖上游输出,为上游节点输出物理表,不能手动再修改。

节点输出

输出标识

节点的输出参数标识。

输出数据结构

输出表的数据格式,由数据模型定义,在下拉列表中选择,表示该计算资源中输出数据的数据表的结构。

  • 当选择数据表时,需保证节点输出的模型与下游节点的输入数据模型相同,物理表名可以自定义。

  • 当选择星号(*)时,代表数据结构为任意结构,以输出表为准,此时物理表必须选择已经存在的表。8

开发环境

物理表所在资源

开发环境中节点输出使用的物理表所在资源。

物理表名

开发环境节点输出的物理表名,可自定义新建物理表或者选择已物理化至资源库中的物理表名。

  • 当输出数据结构为星号(*)时,物理表必须选择资源库中已经存在的物理表。

  • 当输出数据结构为具体的模型结构时,填写物理表名,系统会自动执行物理化。

  • 当输出数据结构为具体的模型结构且数据资源类型为MaxCompute、Hive、AnalyticDB PostgreSQL、PostgreSQL时,系统会自动生成节点的输出物理表,当需要修改时,可打开自定义开关以后修改。

生产环境

物理表所在资源

生产环境中节点输出使用的物理表所在资源。

物理表名

生产环境节点输出的物理表名,可自定义新建物理表或者选择已物理化至资源库中的物理表名。

  • 当输出数据结构为星号(*)时,物理表必须选择资源库中已经存在的物理表。

  • 当输出数据结构为具体的模型结构时,填写物理表名,系统会自动执行物理化。

  • 当输出数据结构为具体的模型结构且数据资源类型为MaxCompute、Hive、AnalyticDB PostgreSQL、PostgreSQL时,系统会自动生成节点的输出物理表,当需要修改时,可打开自定义开关以后修改。

手动设置血缘

用于配置表资产中的字段映射关系。

完成输入和输出参数配置后,单击字段血缘配置,在血缘配置对话框中,单击输出表待配置的目标字段后的14图标,下拉选择对应的一个或者多个输入表以及输入表的字段。

说明

  • 对能自动解析输入和输出参数的SQL类节点类型,系统会自动匹配输入表和输出表的字段映射关系,同时也支持手动配置。

  • 配置完字段血缘关系并运行上线生产节点后,可至资产中心查看该节点输出表和输入表的字段映射关系,具体操作,请参见查看表资产详情的血缘关联介绍。

调度配置

如果在场景上线后,需要定时调度该场景中离线计算节点,则需要在开发环境场景上线前,打开定时调度开关的开关,设置离线节点的定时调度。设置后的定时调度只在生产环境场景生效。具体参数如下表所示:

参数

说明

定时调度

依赖本节点上一周期调度

选中后,则本次的调度依赖本节点上一周期调度的结果。

生效日期

该节点周期调度的有效时间段,设置后该节点在设置的日期内自动调度。用户可自定义选择起始时间和结束时间。

  • 其中日期的选择,支持选择当天及以后的日期。

  • 如果需要查看历史日期的调度结果,如前几天的调度数据结果,可以使用补数据功能,具体操作,请参见新建补数据计划

调度周期

支持按月、周、天、小时和分钟调度。

具体时间

根据选择的周期客户自定义具体开始和结束的时间。

时间表达式

根据上述的设置,自动生成时间表达式或者支持手动设置时间表达式。

失败重试

重试次数

单击失败重试后的告警配置开关,设置运行失败后重新运行的次数。

重试间隔

设每两次重试之间的间隔时间。

超时时间

设置运行超时时间,当运行时间超过设置的时长,则系统运行停止。

监控配置

负责人

默认为当前工作组的登录账号,当在全景监控设置责任人后可下拉选择,具体操作,请参见新建人员

业务分组

下拉选择已创建的分组,具体操作,请参见新建告警分组

告警级别

下拉选择接收告警的级别。

引用函数

在编写SQL语句时,当需要添加自定义函数时,可以来此页签手动选择需要的自定义函数或者通过自动解析默认选中需要的自定义函数。

配置项

说明

函数列表

在函数列表中,输入关键字搜索目标函数。SQL重新解析,会覆盖函数列表的引用状态,以自动解析的最新结果为准。特殊无法自动解析的函数请手动选中。当函数列表为空时,需要手动创建函数,具体操作,请参见新建自定义函数

函数名称

自定义函数的名称。

函数标识

自定义函数的标识。

引用

当需要引用自定义函数时,单击引用的复选框,选中需要引用的自定义函数。

场景画布配置说明

节点属性

配置项

说明

节点名称

节点的名称,支持用户自定义。

节点标识

节点的唯一标识,支持用户自定义,同一个工作组必须是唯一的,不可重复。

节点类型

节点的类型。

版本说明

节点的版本说明,支持用户自定义。

节点描述

节点的描述性信息,方便用户理解和查找。

作业类型

包含SQL和算法包类型。

发布为公共节点

当需要复用该计算节点时,可将该节点发布为共公共节点。

模态

节点的模态,用于识别融合节点实际运行的计算引擎,支持快速切换不同模态。仅当节点为FUSION NODE时,才会显示。

运行配置

当计算节点在节点画布中运行后,场景画布中会同步更新节点画布中的运行配置。当需要变更场景中的物理表时,支持通过修改场景运行参数来实现。

调度配置

如果在场景上线后,需要定时调度该场景中离线计算节点,则需要在开发环境场景上线前,打开该离线节点的定时调度开关的开关,设置离线节点的定时调度和依赖信息。设置后的定时调度只在生产环境场景生效。