调度配置是配置节点在调度过程中的调度规则及依赖关系。本文为您介绍如何进行同步任务的调度配置。
前提条件
已完成同步任务的配置,详情请参见配置同步任务。
背景信息
系统仅支持周期性节点的同步任务进行调度配置。
依赖关系是两个或多个节点之间的语义连接关系,同时上游节点的状态将影响其他下游节点的运行状态。
配置了依赖关系的节点调度规则为:首先,上游节点运行完成后,才能调度下游节点。其次,根据节点设定的调度时间判断是否执行调度。
当您在设定的调度时间之前提交的调度配置,会在设定的调度时间之后生效。而在设定的调度时间之后配置的依赖关系,只能间隔一天再生成实例。
操作步骤
登录Dataphin控制台。
在Dataphin控制台页面,选择工作区地域后,单击进入Dataphin>>。
在Dataphin首页的顶部菜单栏,单击研发。
在数据开发页面,按照下图操作指引进入属性配置页面。
在属性配置页面,配置参数。
配置基本信息区域参数。
参数
描述
任务名称
任务名称由字母、数字、下划线(_)或英文句号(.)组合组成。任务名最长为128个字符。
ID
系统自动生成。
节点类型
系统自动生成。
描述
描述文案最长为128个字符。
优先级
系统自动生成,可支持编辑。
参数配置
输入配置的参数。
配置调度配置区域参数。
参数
描述
时间属性
选择时间属性。时间属性包括:
正常调度:按照调度周期的时间配置调度,并正常执行,通常任务默认选中该项。
空跑调度:按照调度周期的时间配置调度,但都是空跑执行,即一调度到该任务便直接返回成功,没有真正的执行任务。
暂停调度
暂停调度后,会按照下面的调度周期时间配置调度,但是一旦调度到该任务会直接返回失败,不会执行。通常用于某个任务暂时不用执行,但后面还会继续使用的场景
调度周期
调度周期可选择日、周、月、小时和分钟:
日调度,即调度任务每天自动运行一次。新建周期任务时,系统默认的时间周期为每天0点运行一次。您可以根据需要,单击图标,指定运行的时间点。
周调度,即调度任务每周的特定几天,在特定时间点自动运行一次。您可以根据需要,单击图标,指定运行的时间点。
如果您没有指定日期,为保证下游实例正常运行,系统会生成实例后直接设置为运行成功,而不会真正执行任何逻辑,也不会占用资源。
月调度,即调度任务在每月的特定几天,在特定时间点自动运行一次。您可以根据需要,单击图标,指定运行的时间点。
如果在没有被指定的日期时,为保证下游实例正常运行,系统会每天生成实例后直接设置为运行成功,而不会真正执行任何逻辑,也不会占用资源。
小时调度,即每天指定的时间段内,调度任务按间隔时间数的时间间隔运行一次。或选择指定的时间点,调度系统会自动为任务生成实例并运行。您可以根据业务需求选中时间段或时间点:
如果您选中了时间段,您可以单击开始或结束后的图标,指定运行的开始和结束时间。同时您可以单击间隔后的图标,在下拉列表中选择间隔时间。
如果您选中了时间点,单击下拉列表框,在下拉列表中选择时间点。
例如,每天00:00~23:59的时间段内,每隔1小时会自动调度一次,因此调度系统会自动为任务生成实例并运行。
分钟调度,即每天指定的时间段内,调度任务按间隔时间数的时间间隔运行一次。 您可以单击开始或结束后的图标,指定运行的开始和结束时间。同时您可以单击间隔后的图标,在下拉列表中选择间隔时间。
cron表达式
系统自动生成cron表达式。
最近的生成时间
系统自动生成最近生成的时间。
依赖上周期
根据业务场景分析是否需要选中依赖上周期。如果您选中了,则需要选择依赖上个调度周期的节点:
如果您选择了当前,则表示依赖当前节点的上个调度周期。
如果您选择了自定义,则需在输入框中,输入依赖节点的名称关键字搜索并选中需要依赖的节点。
优先级
优先级定义了同一时间同一批待调度任务的优先级。系统默认选择为中等优先级。您可以根据业务需求修改任务调度的优先级。系统支持的优先级包括:最低优先级、低优先级、中等优先级、高优先级和最高优先级。
参数配置
如果您需要调整系统参数的默认取值(例如业务日期),可通过设置自定义参数实现变量替换后再进行计算,单击属性对话框页面节点参数配置说明,查看系统支持配置的参数。
配置调度依赖区域参数。
参数
描述
上游依赖
上游依赖包括物理节点和逻辑表节点。逻辑表节点上游依赖仅支持系统解析。执行如下操作,添加该代码任务调度时依赖的上游物理节点:
单击手动添加上游。
在新建上游依赖对话框中,您可以通过以下两种方式搜索依赖节点:
输入所依赖节点的输出名称的关键字进行搜索节点。
输入virtual搜索虚拟节点(每个租户或企业在初始化时都会有一个根节点)。
说明节点的输出名称是全局唯一的,且不区分大小写。
单击确定新增。
同时您还可以单击操作列下的图标,删除已添加的依赖节点。
本节点输出
通过执行如下操作,设置当前节点的输出名称,根据需要您可以设置多个输出名称,供其他节点依赖使用:
单击新建节点输出。
在新增当前节点输出对话框中,填写输出名称。输出名称的命名规则请尽量统一,一般命名规则为
生成项目名.表名
且不区分大小写,以标识本节点产出的表,同时其他节点更好地选择调度依赖关系。例如,开发项目名称为
onedata_dev
,建议将输出名称设置为onedata.s_order
。如果您将输出名称设置为onedata_dev.s_order
,则仅限代码select * from onedata_dev.s_order
能解析出上游依赖节点。单击确定新增。
同时您还可以对当前节点已添加的输出名称执行如下操作:
单击操作列下的图标,删除已添加的输出名称。
如果该节点已提交且被任务所依赖(任务已提交),则单击操作列下的图标,查看下游节点。
单击确定,完成同步任务的调度配置。
保存、提交和发布同步任务。
在同步任务的配置页面,单击图标,保存同步任务。
在同步任务的配置页面,单击图标,提交同步任务。
在提交备注对话框,填写备注信息。
单击确定并提交。
可选:发布同步任务至生产环境。
如果您的开发模式是Dev-Prod模式,则需要发布同步任务,详情请参见管理发布任务。
如果您的开发模式是Basic模式,则不需要发布同步任务,提交后的同步任务就可以参与调度。