对于离线任务,若需要周期性调度运行,您需定义该任务的调度相关属性,包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。
注意事项
系统仅支持调度类型为周期任务的离线计算任务进行调度配置。
依赖关系是两个节点之间的先后运行顺序关系,同时上游节点的状态将影响其他下游节点的运行状态。
配置了依赖关系的节点调度规则为:首先,上游节点运行完成后,才能调度下游节点。其次,根据节点设定的调度时间判断是否执行调度。
您在设定的调度时间之前提交的调度配置,会在设定的调度时间之后生效。而在设定的调度时间之后配置的依赖关系,只能间隔一天再生成实例。
任务的调度配置仅用于定义任务调度运行时的相关属性,任务需通过发布流程发布至生产环境后,才会根据该配置进行最终调度。
调度时间仅定义任务预期执行时间,其实际执行时间还受上游执行情况控制,关于任务执行条件说明,详情请参见实例运行诊断。
离线任务属性入口
在Dataphin首页,在顶部菜单栏选择研发 > 数据研发。
在开发页面的顶部菜单栏选择项目。
在左侧导航栏中选择数据处理 > 计算任务,在计算任务列表中,单击目标任务名称。
在该任务页签下,单击右侧的属性,打开属性面板。
配置离线任务属性
在离线任务属性页面,您需根据下表配置任务的基本信息与调度相关属性。
配置项 | 描述 |
包括任务名、ID、节点类型、开发负责人、运维责任人及描述。
| |
为运行当前任务所分配的CPU和内存资源。 说明 仅Python、Shell、SPARK_JAR_ON_MAXCOMPUTE、SPARK_JAR_ON_HIVE、MAXCOMPUTE_MR和HADOOP_MR类型的计算任务支持此项配置。 | |
Python三方包 | 选择需要引入的Python三方包。 说明
|
用于定义节点调度时使用的参数。Dataphin提供内置参数并支持自定义参数,可供任务在调度时实现参数动态赋值。 说明 若您在编辑节点代码时,在代码中定义了变量,需在此处对该变量进行赋值。若未定义可无须进行定义。 | |
用于定义任务在生产环境的周期调度方式。
| |
用于定义该任务的上下游依赖关系。通过依赖关系有序调度运行上下游节点,即当上游节点运行成功后,下游节点才会启动运行,保障适时的产出有效业务数据。您可使用自动解析快速设置节点依赖,也可手动添加节点的依赖关系。 | |
用于定义任务运行超时时间和任务运行失败时的重跑策略,可杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。 |
后续步骤
任务属性配置完成后,您可提交并发布至生产环境。后续可在生产环境进行任务的相关运维操作,详情请参见运维中心概述。