依赖关系
为什么节点删除报错当前节点存在子节点，下线失败，但是在调度配置界面看已经没有该节点的依赖？跨周期依赖配置实时场景 为什么运维中心有些依赖线是虚线？小时任务设置自依赖对自身及下游节点有什么影响？日调度任务依赖小时调度任务运行...
数据开发常见问题
为什么节点删除报错当前节点存在子节点，下线失败，但是在调度配置界面看已经没有该节点的依赖？跨周期依赖场景 什么情况下配置依赖上一周期的依赖项为本节点？为什么运维中心有些依赖线是虚线？下游节点同时依赖多个任务运行时，依赖关系...
配置调度日历
DataWorks在原有调度配置基础上，新增自定义调度日历功能，您可通过该功能实现更灵活的任务调度日期与调度方式定义。本文为您介绍自定义调度日历的典型应用场景及如何在DataWorks上新增并使用自定义调度日历。背景信息 自定义调度日历适用...
配置并使用调度参数
序号 描述 相关参考 1 您需在节点代码中通过${变量名} 的方式定义变量，再前往 调度配置>参数 界面为变量赋值调度参数。定义变量 2 通过可视化及表达式两种方式为代码中的变量赋值。为变量赋值调度参数 3 通过调度参数预览功能，单独测试...
调度设置
若您已熟悉DataWorks的调度配置，则可参考本章节了解更多调度相关的高阶功能；若您才开始使用DataWorks的调度配置，请先前往 任务调度配置概述，了解调度配置的基础功能。
逻辑表调度配置概述
单击调度配置，进入逻辑表 调度配置 对话框。逻辑表调度配置 在逻辑表 调度配置 对话框，您需根据下表配置逻辑表任务的调度相关信息。配置项 描述 数据延迟 用于自动重跑逻辑表在 最大延迟天数 周期内的全部数据。调度属性 逻辑表调度属性...
预览依赖关系
DataWorks依赖关系设置原则及特殊依赖场景示例，详情请参见 必读：复杂依赖场景调度配置原则与示例。当前调度配置生成的依赖关系预览图，与生产环境的实际依赖关系可能存在差异，仅供参考。说明 生产调度任务修改调度周期时，选择 发布后...
逻辑表调度配置概述
逻辑表调度配置 在逻辑表 调度配置 对话框，您需根据下表配置逻辑表任务的调度相关信息。配置项 描述 数据延迟 用于自动重跑逻辑表在 最大延迟天数 周期内的全部数据。配置调度属性 逻辑表调度属性用于定义逻辑表任务在调度过程中的调度...
调度参数配置最佳实践
定义参数的方法：在代码中可通过${参数名} 方式声明参数，在右侧调度配置中可使用常量或调度时间表达式给参数赋值。说明 Shell及PyODPS声明参数的方法比较特殊，详情请参见 不同类型节点调度参数配置示例。系统调度参数 bizdate 是...
配置事件调度
本文为您介绍如何在任务编排的任务流页面，进行事件调度配置。应用场景 任务的触发条件依赖于外部事件调度时，可选择事件调度。例如，C任务流的调度类型为事件调度，配置了A任务流和B任务流中的单实例SQL节点这两个事件，则A任务流和B任务...
调度参数返回值二次处理的典型场景
调度参数只支持获取时间类型数据，部分节点（例如，离线同步节点）配置了调度参数后，调度参数的返回值不能直接使用，需要进行函数转换等二次处理。本文为您介绍二次处理调度参数返回结果的典型场景。背景信息 调度参数支持的时间类型未...
任务调度属性配置概述
本文为您介绍调度配置的相关内容。前提条件 已创建节点。DataWorks基于节点进行任务开发，不同类型的引擎任务在DataWorks上被封装为不同类型的节点，您可根据业务需要，选择合适的节点使用。详情请参见 通用开发流程。已开启工作空间调度...
配置逻辑表调度属性
按照下图操作指引，选择您需配置调度属性的逻辑表，进入 调度配置 信息页面。下图以维度逻辑表为例。在 调度属性 区域，配置逻辑表任务调度参数。参数 描述 调度类型 支持正常调度、空跑调度及暂停调度3种调度类型。正常调度：按照调度周期...
配置逻辑表调度属性
按照下图操作指引，选择您需配置调度属性的逻辑表，进入 调度配置 信息页面。下图以维度逻辑表为例。在 调度属性 区域，配置逻辑表任务调度参数。参数 描述 调度类型 支持正常调度、空跑调度及暂停调度3种调度类型。正常调度：按照调度周期...
Dataphin补数据任务空跑调度了是什么原因
问题原因 按当前的调度配置，补20220930（月末）的数据空跑了是正常的。补数据选择的是业务日期，而调度周期配置的是调度日期，如果补数据时选择的业务日期是20220930，那么对应的调度日期就是20221001，而调度周期是月调度，并没有包含每...
调度依赖配置指引
复杂依赖场景调度配置，详情请参见 必读：复杂依赖场景调度配置原则与示例。提交时：代码解析结果对比 用于提交节点时，确认当前版本节点依赖变更是否符合预期，及变更对生产的影响。开启自动解析时，为保障生产数据正常产出，您需要在提交...
调度周期：分钟调度
配置示例 配置路径 您需要进入数据开发节点的编辑页面，单击右侧导航栏的 调度配置，在 调度配置>时间属性 区域配置节点的调度周期。场景示例 目标任务每天 00:00~23:59 的时间段内，每隔30分钟调度一次，配置详情如下图所示。说明 cron...
离线模式配置概述
配置项 描述 调度配置 调度配置用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期等。配置说明，请参见 离线模式调度配置。资源配置 Ververica Flink实时计算源 对于Ververica Flink创建的...
配置离线管道调度
调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。本文为您介绍如何配置周期性离线管道调度配置。背景信息 依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了...
配置离线管道调度
调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。本文为您介绍如何配置周期性离线管道调度配置。背景信息 依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了...
离线模式配置概述
配置项 描述 调度配置 调度配置用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期等。配置说明，请参见 离线模式调度配置。资源配置 开源Flink实时计算源 对于开源Flink创建的流批一体任务...
调度周期：日调度
配置示例 配置路径 您需要进入数据开发节点的编辑页面，单击右侧导航栏的 调度配置，在 调度配置>时间属性 区域配置节点的调度周期。场景示例 配置详情 假设导入、统计加工和导出任务，均为日调度任务。上述任务的运行时间为每天 13:00 点...
配置同周期调度依赖
通过调度配置界面手动添加上游节点依赖 在调度配置界面，通过输入某节点的节点输出，手动添加依赖的上游节点，格式为 projectname.tablename。通过自动解析功能基于表血缘设置节点依赖 DataWorks支持通过节点代码中的表血缘快速设置节点...
配置调度规则
选择 自定义配置：如果内置的按节点与可用区的配置调度规则无法满足您对于复杂场景的需求时，您可以使用EDAS提供的自定义配置功能，根据实际业务场景来设计调度规则。添加节点亲和性调度规则 添加应用亲和性调度规则 添加应用反亲和性调度...
离线任务调度属性配置
未命中任何条件时，则执行默认调度配置。重要 条件调度仅在调度类型为 正常调度 时生效。单击 添加调度条件。说明 最多支持添加 10 个调度条件。在 编辑条件调度 对话框中，配置条件调度相关配置信息。条件名称：支持任意字符，需在32个...
离线任务调度属性配置
未命中任何条件时，则执行默认调度配置。重要 条件调度仅在调度类型为 正常调度 时生效。单击 添加调度条件。说明 最多支持添加 10 个调度条件。在 编辑条件调度 对话框中，配置条件调度相关配置信息。条件名称：支持任意字符，需在32个...
引用SQL组件
SQL组件是一种带有多个输入参数和输出参数的SQL代码模板。使用SQL代码处理数据表时，通过过滤...任务发布：完成所有开发相关操作后，您需要将所有任务节点进行发布，发布后节点即会根据调度配置结果进行周期性运行，操作详情请参见 发布任务。
引用SQL组件
SQL组件是一种带有多个输入参数和输出参数的SQL代码模板。使用SQL代码处理数据表时，通过过滤...任务发布：完成所有开发相关操作后，您需要将所有任务节点进行发布，发布后节点即会根据调度配置结果进行周期性运行，操作详情请参见 发布任务。
通过单条管道创建集成任务
在调度配置页面，配置集成管道的 基本信息、调度配置、调度依赖、调度参数、运行配置。各配置说明如下：基本信息：通过集成管道基本信息，您可配置集成管道任务开发负责人、运维负责人及描述。详细说明，请参见：配置离线集成管道基本信息...
Hologres整库周期性增全量同步至MaxCompute
您可以设置调度周期、需要使用的调度资源组等，更多调度参数配置详情请参见 调度属性配置。完成上述所有任务配置后，单击 完成配置，完成同步任务的配置。其他参数配置详情请参见 其他高级配置。场景2：一次性全量周期性增量配置方式 当...
调度周期：小时调度
配置示例 配置路径 您需要进入数据开发节点的编辑页面，单击右侧导航栏的 调度配置，在 调度配置>时间属性 区域配置节点的调度周期。场景示例 配置详情 目标任务每天 00:00~23:59 的时间段内，每隔6小时自动调度一次，配置详情如下图所示。...
AnalyticDB for MySQL3.0整库周期性增全量同步至...
您可以设置调度周期、需要使用的调度资源组等，更多调度参数配置详情请参见 调度属性配置。完成上述所有任务配置后，单击 完成配置，完成同步任务的配置。其他参数配置详情请参见 其他高级配置。场景2：一次性全量周期性增量配置方式 当...
调度设置
若您的任务需要周期性运行，则在配置任务的调度属性前，需先进入DataStudio的调度设置页面开启调度功能，开启后，周期任务的调度配置才会生效。同时，DataWorks支持设置周期任务默认使用的资源组，支持设置任务的默认重跑属性、重跑次数、...
UpdateTaskFlowSchedule-更新任务流调度配置
调用UpdateTaskFlowSchedule接口，更新任务流调度配置。接口说明 该接口用于更新编辑态任务流的调度设置。可配置 定时调度、周期调度、事件调度；其中 定时调度可配置调度一次或周期调度，事件调度可配置的订阅包括任务流和任务流节点。...
MySQL整库离线同步到OSS
单击 周期调度参数配置，新增调度参数，以添加一个 cyc_time 参数为例：单击 批量修改 中的 目标文件附加字段，给新增字段赋值调度参数（目标表字段中可以快捷打开调度参数编辑面板）。在 目标文件附加字段 中，新增附加字段。高级参数配置...
配置时间调度
本文为您介绍如何在任务编排的任务流页面，进行时间调度配置。应用场景 当任务需要在固定的时间点或时间周期内执行时，可选择时间调度。例如，在2023-08-23至2023-09-30范围内，每周二和周五的00:00，都需要将A数据库的数据迁移到B数据库中...
提交节点报错：当前节点依赖的父节点输出名不存在
为了避免依赖关系配置错误导致数据出现问题，DataWorks会在提交节点时对表数据血缘关系的输入输出与调度配置的输入输出进行比较，如果不一致会给您提示，详情可参见 提交节点时提示：输入输出和代码血缘分析不匹配。不是DataWorks每天调度...
离线集成任务属性配置概述
注意事项 系统仅支持 调度类型 为 周期性节点 的离线集成任务进行调度配置。依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了依赖关系的节点调度规则为：首先，上游节点运行完成后，...
找不到任务实例如何处理
DataWorks会根据任务节点中的调度配置中 生成实例方式 和 调度依赖 的配置结果，使用不同方式为您创建运行节点任务的实例。实例未成功创建的可能原因如下。节点成为孤立节点时（即节点的 调度依赖 中，没有配置任何 依赖的上游节点），则...
离线集成任务属性配置概述
注意事项 系统仅支持 调度类型 为 周期性节点 的离线集成任务进行调度配置。依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了依赖关系的节点调度规则为：首先，上游节点运行完成后，...
- 产品推荐
- 这些文档可能帮助您