通过对计算节点中的脚本、自定义函数、节点输入、节点输出、参数等配置和管理,实现处理多种类型的数据,以及查看同一租户内不同工作组中的任务依赖信息,并支持根据需要设置告警上报信息。本文介绍如何设置运行配置参数。
前提条件
已创建对应类型的云计算资源,具体信息,请参见新建云计算资源。
操作步骤
步骤一:设置输入、输出和节点变量
单击页面右侧运行配置页签,选择需要的开发环境计算引擎和生产环境计算引擎。
手动新建节点的输入、输出参数和节点变量,或通过单击编辑页面的
图标,自动解析节点任务的输入和输出参数,详细参数说明,请参见运行属性。
这里以解析为例介绍,单击编辑页面的
图标,解析成功后,在节点编辑页面运行配置页签,会显示已自动解析出的输入输出和节点变量。
说明当节点类型为Spark Batch、Spark SQL、Elastic Job和MaxCompue MR、Elastic Service、Blink、Blink DataStream、Flink DataStream、Flink Vvp Stream、Flink Vvp Stream、Flink Vvp SQL、Flink Vvr Stream、Flink Vvr SQL、Flink SQL和Spark Stream类型的节点并且使用上传文件包时,输入、输出参数需要手动添加,不能自动解析。
参数
说明
计算引擎
开发
开发环境使用资源,用于在开发环境中运行。
生产
生产环境使用资源,用于在生产环境中运行。
资源组
资源组是发布任务的资源池。设置后,可查看当前公共节点所属的开发资源组和生产资源组,请至系统设置 > 资源组管理中设置。
节点变量
变量名
变量的名称,用户自定义。
变量值
变量的值,用户根据实际填写。支持选择全局变量中设置的值,具体设置方式,请参见新增工作组全局变量。
说明
变量的描述信息。
节点输入
输入标识
节点的输入参数标识。
输入数据结构
输入表的数据格式,由数据模型定义,在下拉列表中选择,表示该计算资源中提供数据的数据表的结构。
当选择数据表时,需保证输入的模型与上游节点的输出数据模型相同,物理表名可以自定义。
当选择星号(*)时,代表数据结构为任意结构,用于对未新建数据模型的表进行操作,此时物理表必须选择已经存在的表。
开发环境
物理表所在资源
开发环境中节点输入使用的物理表所在资源。
物理表名
开发环境中节点输入参数的物理表名,可自定义新建物理表名或者选择已物理化至资源库中的物理表名。
当输入数据结构为星号(*)时,输入物理表名必须选择已经存在的物理表。
当输入数据结构为具体的模型结构时,填写物理表名,系统会自动执行物理化。
生产环境
物理表所在资源
生产环境中节点输入使用的物理表所在资源。
物理表名
生产环境中节点输入的物理表名,可自定义新建物理表名或者选择已物理化至资源库中的物理表名。
当输入数据结构为星号(*)时,输入物理表名必须选择已经存在的物理表。
当输入数据结构为具体的模型结构时,填写物理表名,系统会自动执行物理化。
节点输出
输出标识
节点的输出参数标识。
输出数据结构
输出表的数据格式,由数据模型定义,在下拉列表中选择,表示该计算资源中输出数据的数据表的结构。
当选择数据表时,需保证节点输出的模型与下游节点的输入数据模型相同,物理表名可以自定义。
当选择星号(*)时,代表数据结构为任意结构,此时物理表必须选择已经存在的表。
开发环境
物理表所在资源
开发环境中节点输出使用的物理表所在资源。
物理表名
开发环境节点输出的物理表名,可自定义新建物理表或者选择已物理化至资源库中的物理表名。
当输出数据结构为星号(*)时,物理表必须选择资源库中已经存在的物理表。
当输出数据结构为具体的模型结构时,填写物理表名,系统会自动执行物理化。
当输出数据结构为具体的模型结构且数据资源类型为MaxCompute、Hive、AnalyticDB PostgreSQL、PostgreSQL时,系统会自动生成节点的输出物理表,当需要修改时,可打开自定义输出以后修改。
生产环境
物理表所在资源
生产环境中节点输出使用的物理表所在资源。
物理表名
生产环境节点输出的物理表名,可自定义新建物理表或者选择已物理化至资源库中的物理表名。
当输出数据结构为星号(*)时,物理表必须选择资源库中已经存在的物理表。
当输出数据结构为具体的模型结构时,填写物理表名,系统会自动执行物理化。
当输出数据结构为具体的模型结构且数据资源类型为MaxCompute、Hive、AnalyticDB PostgreSQL、PostgreSQL时,系统会自动生成节点的输出物理表,当需要修改时,可打开自定义开关以后修改。
手动设置血缘
用于配置表资产中的字段映射关系。
完成输入和输出参数配置后,单击手动设置血缘开关,在血缘配置对话框中,单击输出表待配置的目标字段后的
图标,下拉选择对应的一个或者多个输入表以及输入表的字段。
说明对能自动解析输入和输出参数的SQL类节点类型,系统会自动匹配输入表和输出表的字段映射关系,同时也支持手动配置。
配置完字段血缘关系并运行上线生产节点后,可至资产中心查看该节点输出表和输入表的字段映射关系,具体操作,请参见查看表资产详情的血缘关联介绍。
步骤二:(可选)配置数据表的字段映射关系。
对能自动解析输入和输出参数的SQL类节点类型,系统会自动匹配输入表和输出表的字段映射关系,当解析出的血缘关联存在差异,需要修改字段映射关系时,也支持手动配置。
针对不能自动解析输入和输出参数的节点类型,当需要了解资产中字段血缘关系时,在配置好输入和输出参数后,单击字段血缘配置,手动配置输入和输出表的字段映射关系。
其中不能自动解析输入和输出参数的节点包括:MaxCompute MR、Hadoop、Elastic Job、Spark Batch、Spark Stream,Elastic Service、Flink Vvp Stream、Flink Vvr Stream。
单击手动设置血缘开关。
在血缘配置对话框中,单击输出表待配置的目标字段后的
图标,下拉选择对应的输入表以及输入表的字段,单击保存。
配置完字段血缘关系并上线后,可至资产中心查看该节点输出表和输入的字段映射关系,具体操作,请参见查看表资产详情的血缘关联内容。
步骤三:如果业务有依赖关系时,设置依赖关系
如果业务有依赖关系时,需要设置依赖节点信息。可通过以下两种方式之一配置依赖信息。
单击解析依赖,当存在依赖节点时,系统会自动解析依赖节点信息并呈现在依赖节点区域。
单击添加依赖,手动新建依赖节点,并选择依赖类型、所属工作区以及依赖节点名称。
在外部依赖节点区域,依赖类型的下拉列表,选择需要的依赖类型。
选择依赖节点所属工作区并选择相应的依赖节点名称。
参数
说明
上游
添加依赖
单击添加依赖,手动新建依赖节点。
解析依赖
单击解析依赖,当存在依赖节点时,系统自动解析生成。
依赖关系
依赖节点的关系。
强依赖:若依赖节点运行失败,调度阻塞,当前节点无法执行,等待依赖节点恢复成功。
弱依赖:若依赖节点运行失败,调度不阻塞,当前节点继续按照计划继续触发执行。
所属工作区
该依赖节点的所属工作区。
场景名称/工作流
该依赖节点的任务流标识。
节点
选择的依赖节点的名称。
下游
展示依赖当前节点的其他节点信息。无需配置。
节点:即把当前节点作为上游依赖节点的下游节点名称。
场景名称/工作流:当前节点作为依赖节点的下游节点所属场景的场景标识或者工作流标识。
所属工作组:当前节点作为依赖节点的下游节点的所属工作区。
在节点编辑页面,单击左上角
图标。