依赖关系

为什么节点删除报错当前节点存在子节点,下线失败,但是在调度配置界面已经没有该节点的依赖?跨周期依赖配置实时场景 为什么运维中心有些依赖线是虚线?小时任务设置自依赖对自身及下游节点有什么影响?日调度任务依赖小时调度任务运行...

数据开发常见问题

为什么节点删除报错当前节点存在子节点,下线失败,但是在调度配置界面已经没有该节点的依赖?跨周期依赖场景 什么情况下配置依赖上一周期的依赖项为本节点?为什么运维中心有些依赖线是虚线?下游节点同时依赖多个任务运行时,依赖关系...

配置调度日历

DataWorks在原有调度配置基础上,新增自定义调度日历功能,您可通过该功能实现更灵活的任务调度日期与调度方式定义。本文为您介绍自定义调度日历的典型应用场景及如何在DataWorks上新增并使用自定义调度日历。背景信息 自定义调度日历适用...

调度设置

若您已熟悉DataWorks的调度配置,则可参考本章节了解更多调度相关的高阶功能;若您才开始使用DataWorks的调度配置,请先前往 任务调度配置概述,了解调度配置的基础功能。

逻辑表调度配置概述

单击调度配置,进入逻辑表 调度配置 对话框。逻辑表调度配置 在逻辑表 调度配置 对话框,您需根据下表配置逻辑表任务的调度相关信息。配置项 描述 数据延迟 用于自动重跑逻辑表在 最大延迟天数 周期内的全部数据。调度属性 逻辑表调度属性...

调度参数配置最佳实践

本文为您介绍配置调度参数的最佳实践,您可参考本文进行参数配置。背景信息 调度参数配置的相关应用场景及最佳实践如下:调度参数配置最佳实践 调度参数在数据集成的典型应用场景 各类型节点的调度参数配置示例:SQL类型节点及离线同步节点...

配置事件调度

本文为您介绍如何在任务编排的任务流页面,进行事件调度配置。应用场景 任务的触发条件依赖于外部事件调度时,可选择事件调度。例如,C任务流的调度类型为事件调度配置了A任务流和B任务流中的单实例SQL节点这两个事件,则A任务流和B任务...

任务调度属性配置概述

本文为您介绍调度配置的相关内容。前提条件 已创建节点。DataWorks基于节点进行任务开发,不同类型的引擎任务在DataWorks上被封装为不同类型的节点,您可根据业务需要,选择合适的节点使用。详情请参见 通用开发流程。已开启工作空间调度...

配置逻辑表调度属性

按照下图操作指引,选择您需配置调度属性的逻辑表,进入 调度配置 信息页面。下图以维度逻辑表为例。在 调度属性 区域,配置逻辑表任务调度参数。参数 描述 调度类型 支持正常调度、空跑调度及暂停调度3种调度类型。正常调度:按照调度周期...

Dataphin补数据任务空跑调度了是什么原因

问题原因 按当前的调度配置,补20220930(月末)的数据空跑了是正常的。补数据选择的是业务日期,而调度周期配置的是调度日期,如果补数据时选择的业务日期是20220930,那么对应的调度日期就是20221001,而调度周期是月调度,并没有包含每...

调度周期:分钟调度

配置示例 配置路径 您需要进入数据开发节点的编辑页面,单击右侧导航栏的 调度配置,在 调度配置>时间属性 区域配置节点的调度周期。场景示例 目标任务每天 00:00~23:59 的时间段内,每隔30分钟调度一次,配置详情如下图所示。说明 cron...

离线模式配置概述

配置项 描述 调度配置 调度配置用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性,配置任务调度周期与生效日期等。配置说明,请参见 离线模式调度配置。资源配置 Ververica Flink实时计算源 对于Ververica Flink创建的...

配置离线管道调度

在离线集成任务 属性 面板,配置 调度配置 区域参数。参数 描述 调度类型 支持正常调度、空跑调度及暂停调度3种调度类型。正常调度:按照调度周期的时间配置调度,并正常执行(即会真实跑数据),通常任务默认选中该项。空跑调度:按照调度...

配置离线管道调度

在离线集成任务 属性 面板,配置 调度配置 区域参数。参数 描述 调度类型 支持正常调度、空跑调度及暂停调度3种调度类型。正常调度:按照调度周期的时间配置调度,并正常执行(即会真实跑数据),通常任务默认选中该项。空跑调度:按照调度...

配置调度规则

本文介绍如何配置调度规则。在创建应用时配调度规则 登录 EDAS控制台,在左侧导航栏,单击 应用管理>应用列表,在顶部菜单栏选择地域并在页面上方选择命名空间,然后在 应用列表 页面左上角,单击 创建应用。在 应用基本信息 页签,选择...

调度周期:日调度

配置示例 配置路径 您需要进入数据开发节点的编辑页面,单击右侧导航栏的 调度配置,在 调度配置>时间属性 区域配置节点的调度周期。场景示例 配置详情 假设导入、统计加工和导出任务,均为日调度任务。上述任务的运行时间为每天 13:00 点...

通过单条管道创建集成任务

调度配置页面,配置集成管道的 基本信息、调度配置调度依赖、调度参数、运行配置。各配置说明如下:基本信息:通过集成管道基本信息,您可配置集成管道任务开发负责人、运维负责人及描述。详细说明,请参见:配置离线集成管道基本信息...

引用SQL组件

SQL组件是一种带有多个输入参数和输出参数的SQL代码模板。使用SQL代码处理数据表时,通过过滤...任务发布:完成所有开发相关操作后,您需要将所有任务节点进行发布,发布后节点即会根据调度配置结果进行周期性运行,操作详情请参见 发布任务。

引用SQL组件

SQL组件是一种带有多个输入参数和输出参数的SQL代码模板。使用SQL代码处理数据表时,通过过滤...任务发布:完成所有开发相关操作后,您需要将所有任务节点进行发布,发布后节点即会根据调度配置结果进行周期性运行,操作详情请参见 发布任务。

Hologres整库周期性增全量同步至MaxCompute

效果:同步修改过的表,没有修改的表不会再进行同步 数据开发相关场景 如果您有下游数据依赖,需要进行数据开发操作的场景,可以参考 配置调度依赖,进行节点上下游的设置,对应的周期任务节点信息可以在周期配置中查看。

调度周期:小时调度

配置示例 配置路径 您需要进入数据开发节点的编辑页面,单击右侧导航栏的 调度配置,在 调度配置>时间属性 区域配置节点的调度周期。场景示例 配置详情 目标任务每天 00:00~23:59 的时间段内,每隔6小时自动调度一次,配置详情如下图所示。...

调度设置

若您的任务需要周期性运行,则在配置任务的调度属性前,需先进入DataStudio的调度设置页面开启调度功能,开启后,周期任务的调度配置才会生效。同时,DataWorks支持设置周期任务默认使用的资源组,支持设置任务的默认重跑属性、重跑次数、...

AnalyticDB for MySQL3.0整库周期性增全量同步至...

效果:同步修改过的表,没有修改的表不会再进行同步 数据开发相关场景 如果您有下游数据依赖,需要进行数据开发操作的场景,可以参考 配置调度依赖,进行节点上下游的设置,对应的周期任务节点信息可以在周期配置中查看。

UpdateTaskFlowSchedule-更新任务流调度配置

调用UpdateTaskFlowSchedule接口,更新任务流调度配置。接口说明 该接口用于更新编辑态任务流的调度设置。可配置 定时调度、周期调度、事件调度;其中 定时调度可配置调度一次或周期调度,事件调度可配置的订阅包括任务流和任务流节点。...

配置时间调度

本文为您介绍如何在任务编排的任务流页面,进行时间调度配置。应用场景 当任务需要在固定的时间点或时间周期内执行时,可选择时间调度。例如,在2023-08-23至2023-09-30范围内,每周二和周五的00:00,都需要将A数据库的数据迁移到B数据库中...

离线集成任务属性配置概述

注意事项 系统仅支持 调度类型 为 周期性节点 的离线集成任务进行调度配置。依赖关系是两个或多个节点之间的语义连接关系,同时上游节点的状态将影响其他下游节点的运行状态。配置了依赖关系的节点调度规则为:首先,上游节点运行完成后,...

EDAS应用接入SchedulerX

EDAS应用创建成功后,在应用详情的 基本信息 页面的 任务调度配置 区域,显示接入的SchedulerX 应用分组 信息,包括 任务数量、应用分组 ID和 通知配置 信息。结果验证 单击 任务调度配置 区域的 任务管理、应用分组 名称,可跳转至 任务...

找不到任务实例如何处理

DataWorks会根据任务节点中的调度配置中 生成实例方式 和 调度依赖 的配置结果,使用不同方式为您创建运行节点任务的实例。实例未成功创建的可能原因如下。节点成为孤立节点时(即节点的 调度依赖 中,没有配置任何 依赖的上游节点),则...

新建VIRTUAL任务

虚拟节点是租户配置调度参数时可选的依赖节点。本文为您介绍如何基于Dataphin构建VIRTUAL类型的虚拟节点。背景信息 在开始构建数据模型前,您可以创建基于该数据模型的虚拟节点,以便于该数据模型中其他任务配置调度参数时依赖该节点。操作...

代码解析结果对比

功能介绍 提交节点时,若节点当前版本的调度依赖(即在 调度配置>调度依赖 区域配置的输入输出)与该节点在生产环境的调度依赖不一致,将出现输入输出变更提示(例如,当前最新版本与上个版本比较,新增或删除了哪些输入或输出)。...

数据开发

调度依赖配置:配置调度依赖的目的是为了保障上游表产出完成才会触发下游读取数据,而当前节点上游的数据是静态的,不需要等待产出,所以本节点的上游依赖可配置为工作空间根节点,即周期依赖的上游节点配置为"使用工作空间根节点",其他...

FTP Check节点

单击节点编辑区域右侧的 调度配置,配置节点的调度属性。调度属性包括 基础属性、时间属性、资源属性 和 调度依赖,详情请参见 配置基础属性、时间属性配置说明、配置资源属性 及 配置同周期调度依赖。配置检测对象及检测策略。在 选择FTP...

UpdateFile

该参数与 DataWorks控制台 中,数据开发任务的“调度配置>时间属性>出错自动重跑”的”重跑间隔“配置对应。控制台中“重跑间隔”的时间单位为分钟,请在调用时注意转换时间。RerunMode String 否 ALL_ALLOWED 重跑属性。取值如下:ALL_...

调度周期:年调度

配置示例 配置路径 您需要进入数据开发节点的编辑页面,单击右侧导航栏的 调度配置,在 调度配置>时间属性 区域配置节点的调度周期。场景示例 配置详情 目标任务配置在每年的一月、四月、七月、十月的1日和最后一日运行,则在上述指定日期...

配置基础属性

您可以在调度配置对话框查看调度节点的名称、ID、类型,并配置责任人、描述等基本信息。本文为您介绍调度节点基础属性的参数配置。进入数据开发节点的编辑页面,单击右侧导航栏的 调度配置,在 基础属性 区域配置调度节点的基本信息。参数 ...

使用DataWorks离线调度Designer工作流

您可以在 时间属性 区域配置调度周期,后续DataWorks会根据配置的调度周期自动调度运行节点任务。具体配置详情请参见 调度配置。单击工具栏中的 和 图标,根据界面提示,保存并提交节点。重要 您需要设置节点的 重跑属性 和 依赖的上游节点...

通过脚本模式创建集成任务

调度配置页面,配置集成管道的 基本信息、调度配置调度依赖、调度参数、运行配置。各配置说明如下:基本信息:通过集成管道基本信息,您可配置集成管道任务开发负责人、运维负责人及描述。详细说明,请参见 配置离线集成管道基本信息。...

离线任务属性配置概述

注意事项 系统仅支持 调度类型为周期任务 的离线计算任务进行调度配置。依赖关系是两个节点之间的先后运行顺序关系,同时上游节点的状态将影响其他下游节点的运行状态。配置了依赖关系的节点调度规则为:首先,上游节点运行完成后,才能...

逻辑表配置概述

调度配置 您可以通过配置逻辑表的调度配置,配置逻辑表的数据延迟、调度属性、上游依赖、参数配置、运行配置、资源配置信息。物化配置 物化配置用于配置维度和事实逻辑表的生命周期、分区字段及自定义参数,同时支持手动设定物化表的个数及...

新建数据源规则

调度配置列表 调度创建完成后,您可在调度配置列表进行查看、编辑、克隆、删除等操作 区域 描述 ① 筛选及搜索区 支持按照调度名称进行快捷搜索。支持按照 定时调度、固定任务 触发调度 进行筛选。② 列表区 为您展示规则配置列表的 调度...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
配置审计 应用配置管理 (文档停止维护) 云服务器 ECS 音视频通信 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用