计算节点配置说明
计算节点是处理数据代码的算法节点,在算法流程中主要用于某个特定场景,或针对某张表的逻辑处理。本文介绍计算节点的节点画布配置说明和场景画布的配置说明。
背景信息
计算节点支持多种类型,但是配置的参数和方法类似,这里只介绍关键参数。支持创建的资源类型包括:MaxCompute、DataHub、Hive、Zerg Standalon、Zerg Service、Hive、Blink、PostgreSQL、AnalyticDBPostgreSQL、Hologres。
节点画布配置说明
节点属性
各类型计算节点存在部分差异,这里只说明关键参数,具体可参考各类型公共节点的配置参数,更多信息,请参见添加MaxCompute SQL类型的公共节点~添加Spark Stream类型的公共节点。
配置项 | 说明 |
---|---|
节点名称 | 节点的名称,支持用户自定义。 |
节点标识 | 节点的唯一标识,支持用户自定义,同一个工作组必须是唯一的,不可重复。 |
节点类型 | 节点的类型。 |
版本说明 | 节点的版本说明,支持用户自定义。 |
节点描述 | 节点的描述性信息,方便用户理解和查找。 |
作业类型 | 包含SQL和算法包类型。 |
运行配置
各类型计算节点的输入、输出以及运行参数,部分节点类型支持解析,部分节点类型需要手动添加,请大家根据实际状况操作。
当画布中输入算法语句,工具栏(解析)图标可用,则表示该类型节点的算法语句的输入输出和运行参数支持系统自动解析。
参数 | 说明 | ||
---|---|---|---|
计算引擎 | 开发 | 开发场景使用资源,用于在开发环境中运行。 | |
生产 | 生产场景使用资源,用于在生产环境中运行。 | ||
高级设置 | 开发资源组 | 资源组是发布任务的资源池。设置后,可查看当前公共节点所属的开发资源组和生产资源组,请至系统设置 > 资源组管理中设置。 | |
外部依赖节点 | 上游 说明 查看当前节点依赖的节点信息。 | 自动解析依赖节点 | 当配置完节点输入信息后,单击自动解析依赖节点,可自动解析该节点的依赖节点,并将依赖信息展示在场景画布运行配置的依赖节点区域中。 |
依赖类型 | 该依赖节点的类型,分类场景节点依赖和自定义节点依赖。 | ||
所属工作区 | 该依赖节点的所属工作区。 | ||
场景名称 | 该依赖节点的所属场景的名称。 | ||
节点名称 | 该依赖节点的名称。 | ||
依赖生成方式 | 通过系统自动解析。 | ||
下游 说明 在下游节点页签中,查看当前节点被哪些节点或者任务依赖,即展示依赖当前节点的其他节点信息。无需配置。 | 节点名称 | 依赖当前节点的其他节点的名称。 | |
所属工作区 | 把当前节点作为依赖节点的其他节点的所属工作区。 | ||
节点来源 | 当前节点作为依赖节点的其他节点的节点来源。 | ||
场景标识 | 当前节点作为依赖节点的其他节点所属场景的场景标识。 | ||
节点输入 | 输入标识 | 节点的输入参数标识。 | |
数据结构 | 云计算资源类型 | 输入数据的云计算资源类型。 | |
输入数据结构 | 输入表的数据格式,由数据模型定义,在下拉列表中选择,表示该计算资源中提供数据的数据表的结构。
| ||
依赖上游 |
| ||
开发环境 | 物理表所在资源 | 开发环境中节点输入使用的物理表所在资源。 | |
物理表名 | 开发环境中节点输入参数的物理表名,可自定义新建物理表名或者选择已物理化至资源库中的物理表名。
| ||
生产环境 | 物理表所在资源 | 生产环境中节点输入使用的物理表所在资源。 | |
物理表名 | 生产环境中节点输入的物理表名,可自定义新建物理表名或者选择已物理化至资源库中的物理表名。
| ||
节点输出 | 输出标识 | 节点的输出参数标识。 | |
数据结构 | 云计算资源类型 | 输出数据的云计算资源类型。 | |
输出数据结构 | 输出表的数据格式,由数据模型定义,在下拉列表中选择,表示该计算资源中输出数据的数据表的结构。
| ||
自定义输出 | 单击 | ||
开发环境 | 物理表所在资源 | 开发环境中节点输出使用的物理表所在资源。 | |
物理表名 | 开发环境节点输出的物理表名,可自定义新建物理表或者选择已物理化至资源库中的物理表名。
| ||
生产环境 | 物理表所在资源 | 生产环境中节点输入使用的物理表所在资源。 | |
物理表名 | 生产环境节点输出的物理表名,可自定义新建物理表或者选择已物理化至资源库中的物理表名。
| ||
字段血缘配置 说明 当前仅MaxCompute MR、Hadoop、Zerg Standalone、Spark Batch、Spark Stream,Zerg Service、Flink Vvp Stream、Flink Vvr Stream,这些节点类型展示字段血缘配置按钮。 | 针对不能自动解析输入和输出参数的节点类型,当需要了解输入和输出参数各个字段的关系时,需要配置好输入和输出参数后,手动配置输入和输出表的字段关系,单击字段血缘配置,配置输入和输出表的各个字段映射关系。 | ||
运行参数 | 参数变量 | 算法参数的名称,用户自定义。 | |
参数说明 | 参数的说明信息。 | ||
参数值 | 参数的值设置。 | ||
值类型 | 算法参数的值类型,目前支持的格式包括STRING、BOOLEAN、LONG、DOUBLE 和 DATE,您可根据实际需要在下拉列表中选择。 | ||
监控配置 | 负责人 | 默认为当前工作组的登录账号,当在全景监控设置责任人后可下拉选择,具体操作,请参见新建人员。 | |
业务分组 | 下拉选择已创建的分组,具体操作,请参见新建告警分组。 | ||
告警级别 | 下拉选择接收告警的级别。 |
调度配置

参数 | 说明 | |
---|---|---|
定时调度 | 依赖本节点上一周期调度 | 选中后,则本次的调度依赖本节点上一周期调度的结果。 |
生成实例方式 | 可根据业务情况选择T+1次日生成和发布后立即生效。
说明 T表示今天(Today)。
| |
生效日期 | 该节点周期调度的有效时间段,设置后该节点在设置的日期内自动调度。用户可自定义选择起始时间和结束时间。
| |
调度周期 | 支持按月、周、天、小时和分钟调度。 | |
具体时间 | 根据选择的周期客户自定义具体开始和结束的时间。 | |
出错是否重跑 | 重跑次数 | 打开出错是否重跑的开关后,设置运行失败后重新运行的次数。 |
超时时间 | 重新运行超时时间设置。 |
引用函数
在编写SQL语句时,当需要添加自定义函数时,可以来此页签手动选择需要的自定义函数或者通过自动解析默认选中需要的自定义函数。
配置项 | 说明 |
---|---|
函数列表 | 在函数列表中,输入关键字搜索目标函数。SQL重新解析,会覆盖函数列表的引用状态,以自动解析的最新结果为准。特殊无法自动解析的函数请手动选中。当函数列表为空时,需要手动创建函数,具体操作,请参见新建自定义函数。 |
函数名称 | 自定义函数的名称。 |
函数标识 | 自定义函数的标识。 |
引用 | 当需要引用自定义函数时,单击引用的复选框,选中需要引用的自定义函数。 |
场景画布配置说明
节点属性
配置项 | 说明 |
---|---|
节点名称 | 节点的名称,支持用户自定义。 |
节点标识 | 节点的唯一标识,支持用户自定义,同一个工作组必须是唯一的,不可重复。 |
节点类型 | 节点的类型。 |
版本说明 | 节点的版本说明,支持用户自定义。 |
节点描述 | 节点的描述性信息,方便用户理解和查找。 |
作业类型 | 包含SQL和算法包类型。 |
发布为公共节点 | 当需要复用该计算节点时,可将该节点发布为共公共节点。 |
运行配置
当计算节点在节点画布中运行后,场景画布中会同步更新节点画布中的运行配置。当需要变更场景中的物理表时,支持通过修改场景运行参数来实现。
参数 | 说明 | ||
---|---|---|---|
计算引擎 | 开发 | 开发场景使用资源,用于在开发环境中运行。 | |
生产 | 生产场景使用资源,用于在生产环境中运行。 | ||
高级设置 | 开发资源组 | 资源组是发布任务的资源池。设置后,可查看当前公共节点所属的开发资源组和生产资源组,请至系统设置 > 资源组管理中设置。 | |
外部依赖节点 | 上游 说明 查看当前节点依赖的节点信息。 | 自动解析依赖节点 | 当配置完节点输入信息后,单击自动解析依赖节点,可自动解析该节点的依赖节点,并将依赖信息展示在场景画布运行配置的依赖节点区域中。 |
依赖类型 | 该依赖节点的类型,分类场景节点依赖和自定义节点依赖。 | ||
所属工作区 | 该依赖节点的所属工作区。 | ||
场景名称 | 该依赖节点的所属场景的名称。 | ||
节点名称 | 该依赖节点的名称。 | ||
依赖生成方式 | 通过系统自动解析。 | ||
下游 说明 在下游节点页签中,查看当前节点被哪些节点或者任务依赖,即展示依赖当前节点的其他节点信息。无需配置。 | 节点名称 | 依赖当前节点的其他节点的名称。 | |
所属工作区 | 把当前节点作为依赖节点的其他节点的所属工作区。 | ||
节点来源 | 当前节点作为依赖节点的其他节点的节点来源。 | ||
场景标识 | 当前节点作为依赖节点的其他节点所属场景的场景标识。 | ||
节点输入 | 输入标识 | 节点的输入参数标识。 | |
数据结构 | 云计算资源类型 | 输入数据的云计算资源类型。 | |
输入数据结构 | 输入表的数据格式,由数据模型定义,在下拉列表中选择,表示该计算资源中提供数据的数据表的结构。
| ||
依赖上游 |
| ||
开发环境 | 物理表所在资源 | 开发环境中节点输入使用的物理表所在资源。 | |
物理表名 | 开发环境中节点输入参数的物理表名,可自定义新建物理表名或者选择已物理化至资源库中的物理表名。
| ||
生产环境 | 物理表所在资源 | 生产环境中节点输入使用的物理表所在资源。 | |
物理表名 | 生产环境中节点输入的物理表名,可自定义新建物理表名或者选择已物理化至资源库中的物理表名。
| ||
节点输出 | 输出标识 | 节点的输出参数标识。 | |
数据结构 | 云计算资源类型 | 输出数据的云计算资源类型。 | |
输出数据结构 | 输出表的数据格式,由数据模型定义,在下拉列表中选择,表示该计算资源中输出数据的数据表的结构。
| ||
自定义输出 | 单击 | ||
开发环境 | 物理表所在资源 | 开发环境中节点输出使用的物理表所在资源。 | |
物理表名 | 开发环境节点输出的物理表名,可自定义新建物理表或者选择已物理化至资源库中的物理表名。
| ||
生产环境 | 物理表所在资源 | 生产环境中节点输入使用的物理表所在资源。 | |
物理表名 | 生产环境节点输出的物理表名,可自定义新建物理表或者选择已物理化至资源库中的物理表名。
| ||
字段血缘配置 说明 当前仅MaxCompute MR、Hadoop、Zerg Standalone、Spark Batch、Spark Stream,Zerg Service、Flink Vvp Stream、Flink Vvr Stream,这些节点类型展示字段血缘配置按钮。 | 针对不能自动解析输入和输出参数的节点类型,当需要了解输入和输出参数各个字段的关系时,需要配置好输入和输出参数后,手动配置输入和输出表的字段关系,单击字段血缘配置,配置输入和输出表的各个字段映射关系。 | ||
运行参数 | 参数变量 | 算法参数的名称,用户自定义。 | |
参数说明 | 参数的说明信息。 | ||
参数值 | 参数的值设置。 | ||
值类型 | 算法参数的值类型,目前支持的格式包括STRING、BOOLEAN、LONG、DOUBLE 和 DATE,您可根据实际需要在下拉列表中选择。 | ||
监控配置 | 负责人 | 默认为当前工作组的登录账号,当在全景监控设置责任人后可下拉选择,具体操作,请参见新建人员。 | |
业务分组 | 下拉选择已创建的分组,具体操作,请参见新建告警分组。 | ||
告警级别 | 下拉选择接收告警的级别。 |
调度配置
如果在场景上线后,需要定时调度该场景中离线计算节点,则需要在开发场景上线前,打开定时调度的开关,设置离线节点的定时调度和依赖信息。设置后的定时调度只在生产场景生效。具体参数如下表所示:
参数 | 说明 | |
---|---|---|
定时调度 | 依赖本节点上一周期调度 | 选中后,则本次的调度依赖本节点上一周期调度的结果。 |
生成实例方式 | 可根据业务情况选择T+1次日生成和发布后立即生效。
说明 T表示今天(Today)。
| |
生效日期 | 该节点周期调度的有效时间段,设置后该节点在设置的日期内自动调度。用户可自定义选择起始时间和结束时间。
| |
调度周期 | 支持按月、周、天、小时和分钟调度。 | |
具体时间 | 根据选择的周期客户自定义具体开始和结束的时间。 | |
出错是否重跑 | 重跑次数 | 打开出错是否重跑的开关后,设置运行失败后重新运行的次数。 |
超时时间 | 重新运行超时时间设置。 |