HTTP触发器节点
其他调度系统的触发配置 在外部调度系统中进行触发配置时，您可以通过以下三种方式：Java方式、Python方式或API调用方式。Java方式 安装Java SDK，详情可参见 开始使用。其中，DataWorks的SDK请用下面的pom配置。groupId>...
最佳实践：集成第三方调度系统
DataWorks的开放平台为您提供OpenEvent、OpenAPI等开放能力，您可通过开放平台将第三方调度系统集成到DataWorks的调度系列中，将三方调度系统的任务嵌入DataWorks的业务流程中。本文以一个示例为您介绍集成第三方调度系统时需要进行的配置...
离线模式调度配置
暂停调度 暂停调度 选择 是 后，即可暂停该任务的调度，会按照下面的调度周期时间配置调度，但是一旦调度到该任务会直接返回失败，不会执行。通常用于某个任务暂时不用执行，但后面还会继续使用的场景。调度周期 调度周期即在生产环境调度...
离线模式调度配置
暂停调度 暂停调度 选择 是 后，即可暂停该任务的调度，会按照下面的调度周期时间配置调度，但是一旦调度到该任务会直接返回失败，不会执行。通常用于某个任务暂时不用执行，但后面还会继续使用的场景。调度周期 调度周期即在生产环境调度...
数据开发常见问题
为什么节点删除报错当前节点存在子节点，下线失败，但是在调度配置界面看已经没有该节点的依赖？跨周期依赖场景 什么情况下配置依赖上一周期的依赖项为本节点？为什么运维中心有些依赖线是虚线？下游节点同时依赖多个任务运行时，依赖关系...
周期任务通用运维概述
空跑调度 按照调度周期的时间配置调度，但都是空跑执行，即一调度到该任务便直接返回成功，没有真正的执行任务。暂停调度 暂停调度的任务生成的实例均为暂停调度状态，可通过 恢复 操作使实例恢复运行。暂停适用于有些任务及其下游任务暂时...
周期任务通用运维概述
空跑调度 按照调度周期的时间配置调度，但都是空跑执行，即一调度到该任务便直接返回成功，没有真正的执行任务。暂停调度 暂停调度的任务生成的实例均为暂停调度状态，可通过 恢复 操作使实例恢复运行。暂停适用于有些任务及其下游任务暂时...
配置逻辑表调度属性
按照下图操作指引，选择您需配置调度属性的逻辑表，进入 调度配置 信息页面。下图以维度逻辑表为例。在 调度属性 区域，配置逻辑表任务调度参数。参数 描述 调度类型 支持正常调度、空跑调度及暂停调度3种调度类型。正常调度：按照调度周期...
配置逻辑表调度属性
按照下图操作指引，选择您需配置调度属性的逻辑表，进入 调度配置 信息页面。下图以维度逻辑表为例。在 调度属性 区域，配置逻辑表任务调度参数。参数 描述 调度类型 支持正常调度、空跑调度及暂停调度3种调度类型。正常调度：按照调度周期...
依赖关系
配置调度依赖前您需先了解以下内容 什么是调度依赖 为什么要设置调度依赖 DataWorks上如何设置调度依赖？哪些场景不支持设置调度依赖？不需要依赖的表如何删除？调度依赖配置常见问题 提交节点报错：当前节点依赖的父节点输出名不存在 提交...
周期任务基本运维操作
周期任务是指在调度系统按照调度配置周期性自动调度的任务。您可以在 运维中心>周期任务 列表查看指定工作空间下的周期任务，并对任务进行运维操作，包括自动调度和手动运行周期任务、查看任务运行详情、暂停任务、下线任务等。本文为您...
离线任务调度属性配置
空跑调度：按照调度周期的时间配置调度，但都是空跑执行（即不会真实跑数据），即当调度到该任务时便直接返回成功，没有真正的执行任务。通常用于当某一个节点在一定时间内不需要执行，并且不阻塞他的下游节点执行时，可选择此类型调度。...
离线任务调度属性配置
空跑调度：按照调度周期的时间配置调度，但都是空跑执行（即不会真实跑数据），即当调度到该任务时便直接返回成功，没有真正的执行任务。通常用于当某一个节点在一定时间内不需要执行，并且不阻塞他的下游节点执行时，可选择此类型调度。...
配置离线管道调度
空跑调度：按照调度周期的时间配置调度，但都是空跑执行（即不会真实跑数据），即当调度到该任务时便直接返回成功，没有真正的执行任务。通常用于当某一个节点在一定时间内不需要执行，并且不阻塞他的下游节点执行时，可选择此类型调度。...
配置离线管道调度
空跑调度：按照调度周期的时间配置调度，但都是空跑执行（即不会真实跑数据），即当调度到该任务时便直接返回成功，没有真正的执行任务。通常用于当某一个节点在一定时间内不需要执行，并且不阻塞他的下游节点执行时，可选择此类型调度。...
Cron
Cron是一款类Unix的操作系统下的基于时间的任务管理系统。您可以通过Cron在固定时间、日期间隔下运行定时任务（可以是命令和脚本）。Cron表达式 Cron的表达式为：秒 分 时 日 月 周[年]为了帮助您理解，下面介绍一些常用的Cron表达式示例。...
查看并管理周期任务
周期任务是指调度系统按照调度配置自动定时运行的任务。您可以在 运维中心>周期任务 页面查看当前工作空间下的定时调度的任务列表及生产环境调度任务配置详情，并管理周期任务。背景信息 周期任务的创建、发布、运行、暂停调度、下线等任务...
调度周期：年调度
配置示例 配置路径 您需要进入数据开发节点的编辑页面，单击右侧导航栏的 调度配置，在 调度配置>时间属性 区域配置节点的调度周期。场景示例 配置详情 目标任务配置在每年的一月、四月、七月、十月的1日和最后一日运行，则在上述指定日期...
配置时间调度
本文为您介绍如何在任务编排的任务流页面，进行时间调度配置。应用场景 当任务需要在固定的时间点或时间周期内执行时，可选择时间调度。例如，在2023-08-23至2023-09-30范围内，每周二和周五的00:00，都需要将A数据库的数据迁移到B数据库中...
离线集成任务属性配置概述
对于离线集成任务，若需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型 为 周期性节点 的离线集成任务进行调度配置。...
离线集成任务属性配置概述
对于离线集成任务，若需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型 为 周期性节点 的离线集成任务进行调度配置。...
通过单条管道创建集成任务
在调度配置页面，配置集成管道的 基本信息、调度配置、调度依赖、调度参数、运行配置。各配置说明如下：基本信息：通过集成管道基本信息，您可以配置集成管道任务的开发负责人、运维负责人及描述。详细说明，请参见：配置离线集成管道基本...
通过脚本模式创建集成任务
在调度配置页面，配置集成管道的 基本信息、调度配置、调度依赖、调度参数、运行配置。各配置说明如下：基本信息：通过集成管道基本信息，您可配置集成管道任务开发负责人、运维负责人及描述。详细说明，请参见 配置离线集成管道基本信息。...
通过脚本模式创建集成任务
在调度配置页面，配置集成管道的 基本信息、调度配置、调度依赖、调度参数、运行配置。各配置说明如下：基本信息：通过集成管道基本信息，您可配置集成管道任务开发负责人、运维负责人及描述。详细说明，请参见 配置离线集成管道基本信息。...
离线集成概述
属性配置：配置离线管道任务的属性，包括基本信息、调度配置、调度依赖、运行配置等。更多信息，请参见 离线集成任务属性配置概述。质量监控：通过配置离线集成管道的质量监控，Dataphin会自动为您监控数据表的质量，如果数据表有质量风险...
调度配置
空跑调度：按照调度周期的时间配置调度，但都是空跑执行，即一调度到该任务便直接返回成功，没有真正的执行任务。暂停调度 暂停调度后，会按照下面的调度周期时间配置调度，但是一旦调度到该任务会直接返回失败，不会执行。通常用于某个...
调度配置
空跑调度：按照调度周期的时间配置调度，但都是空跑执行，即一调度到该任务便直接返回成功，没有真正的执行任务。暂停调度 暂停调度后，会按照下面的调度周期时间配置调度，但是一旦调度到该任务会直接返回失败，不会执行。通常用于某个...
通过单条管道创建集成任务
在调度配置页面，配置集成管道的 基本信息、调度配置、调度依赖、调度参数、运行配置。各配置说明如下：基本信息：通过集成管道基本信息，您可配置集成管道任务开发负责人、运维负责人及描述。详细说明，请参见：配置离线集成管道基本信息...
调度周期：小时调度
例如，配置调度任务在0点~3点的时间段内，每隔1个小时运行一次。表示时间区间为[00：00，03：00]，间隔为1小时，调度系统每天将生成4个实例，实例定时时间分别在0点、1点、2点和3点，即0点、1点、2点和3点是实例的定时运行时间。您可设置在...
调度周期：月调度
配置示例 配置路径 您需要进入数据开发节点的编辑页面，单击右侧导航栏的 调度配置，在 调度配置>时间属性 区域配置节点的调度周期。场景示例 配置详情 目标任务配置在每月最后一天运行，则每月最后一天生成的实例会正常调度执行，而其它...
离线集成概述
属性配置：配置离线管道任务的属性，包括基本信息、调度配置、调度依赖、运行配置等。更多信息，请参见 离线集成任务属性配置概述。质量监控：通过配置离线集成管道的质量监控，Dataphin会自动为您监控数据表的质量，如果数据表有质量风险...
调度周期：日调度
配置示例 配置路径 您需要进入数据开发节点的编辑页面，单击右侧导航栏的 调度配置，在 调度配置>时间属性 区域配置节点的调度周期。场景示例 配置详情 假设导入、统计加工和导出任务，均为日调度任务。上述任务的运行时间为每天 13:00 点...
批量上传质量规则
说明 批量配置调度时，需要确保所选资源表的分区表达式一致，如果配置的分区和表实际分区不一致，可能会报错。批量配置调度时，非分区表不会保存分区表达式，只会保存调度配置。试跑：试跑后，可单击 图标 查看试跑日志。说明 批量运行时，...
批量上传质量规则
说明 批量配置调度时，需要确保所选资源表的分区表达式一致，如果配置的分区和表实际分区不一致，可能会报错。批量配置调度时，非分区表不会保存分区表达式，只会保存调度配置。试跑：试跑后，可单击 图标 查看试跑日志。说明 批量运行时，...
逻辑表运行配置
在数据 开发 页面，选择您需配置调度的维度逻辑表，进入调度配置信息页面。下图以维度逻辑表为例。在 调度属性 区域，配置逻辑表 运行配置。参数 描述 运行超时 若单次运行总时长超过设置阈值仍未完成，会自动终止并置为失败。系统配置：...
新建VIRTUAL任务
虚拟节点是租户配置调度参数时可选的依赖节点。本文为您介绍如何基于Dataphin构建VIRTUAL类型的虚拟节点。背景信息 在开始构建数据模型前，您可以创建基于该数据模型的虚拟节点，以便于该数据模型中其他任务配置调度参数时依赖该节点。操作...
新建VIRTUAL任务
虚拟节点是租户配置调度参数时可选的依赖节点。本文为您介绍如何基于Dataphin构建VIRTUAL类型的虚拟节点。背景信息 在开始构建数据模型前，您可以创建基于该数据模型的虚拟节点，以便于该数据模型中其他任务配置调度参数时依赖该节点。操作...
离线任务属性配置概述
调度依赖 用于定义该任务的上下游依赖关系。通过依赖关系有序调度运行上下游节点，即当上游节点运行成功后，下游节点才会启动运行，保障适时的产出有效业务数据。您可使用自动解析快速设置节点依赖，也可手动添加节点的依赖关系。运行配置 ...
离线任务属性配置概述
调度依赖 用于定义该任务的上下游依赖关系。通过依赖关系有序调度运行上下游节点，即当上游节点运行成功后，下游节点才会启动运行，保障适时的产出有效业务数据。您可使用自动解析快速设置节点依赖，也可手动添加节点的依赖关系。计算任务...
Cron
Cron是一款类Unix的操作系统下的基于时间的任务管理系统。您可以通过Cron在固定时间、日期间隔下运行定时任务（可以是命令和脚本）。Cron表达式 Cron的表达式为：秒分时 日月周[年]为了帮助您理解，下面介绍一些常用的Cron表达式示例。...
- 产品推荐
- 这些文档可能帮助您