文档

离线任务调度属性配置

更新时间:

调度属性用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性,配置任务调度周期与生效日期等。本文为您介绍如何配置任务的调度属性。

操作步骤

  1. 在Dataphin首页,单击顶部菜单栏的研发

  2. 按照下图操作指引,进入离线集成任务属性面板。

    image.png

  3. 在离线集成任务属性面板,配置调度属性区域参数。

    参数

    描述

    调度类型

    支持正常调度、空跑调度及暂停调度3种调度类型。

    • 正常调度:按照调度周期的时间配置调度,并正常执行(即会真实跑数据),通常任务默认选中该项。

    • 空跑调度:按照调度周期的时间配置调度,但都是空跑执行(即不会真实跑数据),即当调度到该任务时便直接返回成功,没有真正的执行任务。通常用于当某一个节点在一定时间内不需要执行,并且不阻塞他的下游节点执行时,可选择此类型调度

    • 暂停调度:暂停调度选择是后,将按照调度周期配置的时间启动调度,但节点状态被置为暂停(即不会真实跑数据)。调度到该任务时,系统会直接返回失败,并且会阻塞依赖当前节点的下游节点执行。通常用于某个任务暂时不用执行,但后面还会继续使用的场景。

    生效时间

    配置生效日期后,调度任务将在生效日期内生效并自动调度,超过有效期的任务将不会自动调度。

    调度周期

    调度周期即在生产环境调度系统中,多久会真实执行一次该任务中的代码。当一个任务被成功提交后,该任务调度将提交当天次日开始按照该任务的时间属性配置生成自动调度的周期实例,并根据上游依赖的实例运行结果和时间点运行。

    调度周期可选择小时分钟

    • 日调度:即调度任务每天自动运行一次。新建周期任务时,系统默认的时间周期为每天0点运行一次。您可以根据需要,单击image图标,指定运行的时间点。

    • 周调度:即调度任务每周的特定几天,在特定时间点自动运行一次。您可以根据需要,单击image图标,指定运行的时间点。

      说明

      在非指定的调度时间内,为保证下游实例正常运行,系统会生成实例后直接设置为运行成功,而不会真正执行任何逻辑,也不会占用资源。

    • 月调度:即调度任务在每月的特定几天,在特定时间点自动运行一次。您可以根据需要,单击image图标,指定运行的时间点。

      说明

      在非指定的调度时间内,为保证下游实例正常运行,系统会每天生成实例后直接设置为运行成功,而不会真正执行任何逻辑,也不会占用资源。

    • 小时调度:支持时间段调度整点调度自定义调度

      • 时间段调度:即每天指定的时间段内,调度任务按间隔时间数的时间间隔运行一次。您可以单击开始结束后的image图标,指定运行的开始和结束时间。同时您可以单击间隔后的image图标,在下拉列表中选择间隔时间。例如,每天00:00~23:59的时间段内,每隔1小时会自动调度一次。

      • 整点调度:单击下拉列表框选择整点时间,调度系统会在所选择的整点时间自动为任务生成实例并运行。

      • 自定义调度:单击下拉列表框选择自定义时间,调度系统会在所自定义的时间自动为任务生成实例并运行。

    • 分钟调度:支持每天每小时

    • 每天:即每天指定的时间段内,调度任务按间隔时间数的时间间隔运行一次。

    • 每小时:即每小时指定的开始时间到该小时结束的时间段内,调度任务按间隔时间数的时间间隔运行一次。

    条件调度

    可设置多组调度条件,系统按照从上往下的顺序进行条件判断,命中条件后即执行相应调度动作,并终止后续所有条件的判断。未命中任何条件时,则执行默认调度配置。

    重要

    条件调度仅在调度类型为正常调度时生效。

    1. 单击添加调度条件

      image..png

      说明

      最多支持添加 10 个调度条件。

    2. 编辑条件调度对话框中,配置条件调度相关配置信息。

      image

      • 条件名称:支持任意字符,需在32个字符以内。

      • 生效状态:默认开启。关闭后,进行调度时该条件调度将被忽略。

      • 满足以下条件:条件的判断规则,当条件判断为真时,按执行调度的配置信息进行调度。配置说明,请参见:附录:条件规则说明

      • 执行调度:支持自定义与跟随调度属性:

        • 自定义:条件判断为真,根据所配置的调度类型运行调度。

        • 跟随调度属性:与调度属性中的调度策略一致, 等同于关闭条件调度时的调度设置。

      • 调度类型:配置说明,请参见上文调度类型

      • 起调日期:调度类型为正常调度时,需配置起调时间,即为调度任务的开始运行的时间。

    3. 单击确定。

      完成条件调度设置后,单击预览调度运行计划,可查看条件调度在日历中命中的日期。

      重要
      • 修改条件调度设置,并提交并发布到生产环境后,将对发布时为未运行状态的实例实时生效,对已进入等待运行时间的实例不生效。

      • 条件调度中使用了跨节点参数判断类型时,须提供可能的参数取值进行预览。

  4. 单击确定

附录:条件规则说明

Dataphin支持2个逻辑运算:

  • :所有条件的判断结果为真(True)时,结果为真。

  • :所有条件中任意一个条件为真(True)时,结果为真。

条件判断类型

Dataphin支持以业务日期、跨节点参数作为条件判断的类型。

业务日期判断类型

业务日期具备普通日历公共日历2个属性选项。

  • 普通日历:日常生活中所使用的日历(公历),支持日期、月份、星期作为参数值。参数值判断条件有属于不属于

  • 公共日历:在Dataphin创建的公共日历,支持日期类型(工作日、假期)、标签做为参数值。标签的参数值判断条件有包含所有包含其一不包含。公共日历创建详情请参见:新建公共日历

跨节点参数判断类型

跨节点参数判断类型可以通过参数类型的取值进行判断。包括文本类型和数值类型。

  • 文本类型:支持文本类型不是进行判断。

  • 数值类型:支持数值类型的运算符比较,包括=!=><>=<=

示例说明

image

业务日期以2022-12-06为例,使用或运算配置上图条件判断:

  • 第一条判断:2022-12-06 在普通日历中不属于星期中的周六或周天,即第一个条件判断为假。

  • 第二条判断:2022-12-06 在公共日历text01中日历类型为假日,即第二个条件判断为真。

因使用运算,所有条件中任意一个条件为真(True)时,结果为真,则该条件调度被满足,系统将根据配置的执行调度类型进行暂停调度。预览调度运行计划如下图所示:

image

  • 本页导读 (0)
文档反馈