工作流编辑
配置工作流调度 您可以打开工作流调度配置面板，配置工作流调度参数，调度系统会按照参数定时运行相关工作流，并将作业下发到指定集群上执行。以下介绍如何配置工作流的基本属性、调度属性和告警设置。进入数据开发的项目列表页面。通过...
工作流使用案例
配置工作流调度 您可以打开工作流调度开关并配置工作流调度参数，调度系统会按照参数定时运行相关工作流，并将作业下发到指定集群上执行。以下介绍配置工作流的基本属性、调度属性和告警设置。完成工作流设计后，单机画布右上角 配置 按钮...
调度周期：年调度
年调度是指调度任务在每年的特定几天，在特定的时间点自动运行一次。例如，调度任务设置为每年一月的最后一天执行。注意事项 在非指定的调度时间内，为保证下游实例正常运行，年...调度详情 调度系统会自动为任务生成实例并运行，如下图所示。
调度周期：月调度
调度详情 调度系统会自动为任务生成实例并运行，如下图所示。重要 使用 补数据 功能对月调度任务执行补数据操作时，请注意补数据选择的为 业务日期，业务日期=定时调度日期-1。例如：每月一号的任务在执行补数据操作时应选择业务时间为上个...
调度周期：周调度
调度详情 调度系统会自动为任务生成实例并运行。重要 使用 补数据 功能对周调度任务执行补数据操作时，请注意补数据选择的为 业务日期，业务日期=定时调度日期-1。例如：每周一的任务在执行补数据操作时应选择业务时间为上周日。若补数据...
调度配置
例如，每天00:00~23:59的时间段内，每隔1小时会自动调度一次，因此调度系统会自动为任务生成实例并运行。分钟 调度，即每天指定的时间段内，调度任务按间隔时间数的时间间隔运行一次。您可以单击 开始 或 结束 后的 图标，指定运行的开始和...
调度配置
例如，每天00:00~23:59的时间段内，每隔1小时会自动调度一次，因此调度系统会自动为任务生成实例并运行。分钟 调度，即每天指定的时间段内，调度任务按间隔时间数的时间间隔运行一次。您可以单击 开始 或 结束 后的 图标，指定运行的开始和...
基本概念
例如设置每天2:00运行Task1实例，调度系统会在每天23:30根据周期节点定义好的时间，自动生成一个快照，即Task1第二天2:00运行的实例。到第二天2:00时，如果判断上游实例已经完成，Task1实例便会如期启动运行。说明 您可进入 运维中心 的 ...
调度周期：日调度
调度详情 调度系统会自动为任务生成实例并运行，各业务数据加工时间如下图所示。说明 调度节点执行需要满足如下条件：上游任务执行成功。节点的定时运行时间已到。任何一个条件不满足，调度节点都无法执行，并且两个条件没有先后顺序。默认...
使用限制
注意事项 在使用DMS任务编排功能时，可能会出现任务调度延迟或由于SQL及脚本缺少幂等性而影响下游数据正确性的情况。如下为您说明出现这种情况的场景以及处理方案。任务调度延迟 在每日凌晨和每小时整点的任务调度高峰期，可能会出现任务...
BUILD
即某任务在该时间内调度，会出现因执行时间较长，超出该时间段的情况。示例 配置0~6点和18~24点调度BUILD任务。SET ADB_CONFIG RC_CSTORE_BUILD_SCHEDULE_PERIOD=`0,6;18,24`;配置BUILD调度优先级 BUILD调度是按照单表某个一级分区新增数据...
服务端发布记录
本文介绍分布式任务调度SchedulerX产品发布的功能变更，包括新增功能、功能优化、重要问题修复等，帮助您了解SchedulerX的发布动态。发布记录 2024-02-29 功能名称 变更类型 功能描述 相关文档 Java版本SDK v1.11.1 修复 Netty、Logback等...
等待资源
问题现象 调度将任务下发到对应执行引擎上，此过程可能会出现以下等待资源问题：等待调度资源组。数据集成任务等待数据集成资源。计算任务等待引擎计算资源。产生原因 资源组下可用资源是有限的，如果有任务长时间执行未释放资源必定会阻塞...
场景：切换调度时区
调度场景下（不包括数据开发临时运行），若您在DataWorks脚本任务（例如Shell，pyodps）中，直接执行获取时间命令（例如Shell节点中执行date命令），系统会根据您调度时区返回时间。如果是在底层计算引擎侧解析的，请参考底层计算引擎侧的...
配置共享GPU调度节点选卡策略
Spread：调度系统会尽量将Pod分散到这个节点的各个GPU上，避免一张GPU卡坏掉后，影响的业务过多。以下示例表示，某个节点有2张GPU卡，每张卡有15 GiB显存，Pod1申请2 GiB显存，Pod2申请3 GiB显存。步骤一：创建节点池 默认情况下，节点的选...
配置规则：按模板（批量）
在 规则验证 页面您可以进行如下操作：校验规则配置的合理性：试跑 规则创建完成后，您可以选择单个或多个规则进行试跑，在弹出来的 试跑 对话框中选择调度时间（模拟给定校验被触发的时间），系统会根据此时间以及设定的分区表达式，计算...
kube-scheduler
调度器中新增感知节点剩余IP的插件，当节点上无剩余IP时不再向节点上调度Pod。调度器中新增拓扑感知调度插件，支持将Pod调度到同一拓扑域上，并且将自动在多个拓扑域上进行重试。调度器将以一秒的频率更新ElasticQuotaTree的Usage以及...
Dataphin中小时调度的任务可以依赖天调度的任务吗？
详细信息 不建议小时调度的任务上游依赖天调度的任务，可能会出现每个小时跑的数据都一样的情况。对于这种情况，建议上游任务也是小时调度。或者上游任务中数据是定时更新的。比如逻辑表上游是管道任务，管道任务给逻辑表的来源主表中同步...
导出DMS操作日志到阿里云日志服务
日志时间范围 否 说明 调度方式 选择 单次 时会出现此配置项。导出某时间范围内的日志。不填写该配置项则默认导出三年内的日志。日志开始时间 否 说明 调度方式 选择 周期 时会出现此配置项。周期任务没有截止时间。DMS日志记录的开始时间...
HTTP触发器节点
系统会保留外部调度系统的调度指令，待上游任务运行完成后，再通过HTTP触发节点触发下游任务节点运行。重要 外部调度系统的触发指令仅保留24小时。如果24小时内上游任务节点没有运行完成，则触发指令会丢失，外部调度系统本次发出的调度...
最佳实践：集成第三方调度系统
DataWorks的开放平台为您提供OpenEvent、OpenAPI等开放能力，您可通过开放平台将第三方调度系统集成到DataWorks的调度系列中，将三方调度系统的任务嵌入DataWorks的业务流程中。本文以一个示例为您介绍集成第三方调度系统时需要进行的配置...
导出开源引擎任务
该过程调度参数传递可能会存在问题，您需自行调试检查。调度参数介绍，详情请参见 调度参数配置。MR EMR MR节点 ODPS MR CDH MR节点 具体映射为哪种引擎节点，可在导入任务的 高级设置 进行配置。Spark EMR Spark CDH Spark 具体映射为哪种...
E-HPC集群调度器插件
当您的业务需要迁移到云上时，往往需要将云下的调度器集成至云上，但因HPC行业调度器众多，且不同调度器有多种定制版本，会出现E-HPC内置调度器无法满足的情况。因此，E-HPC提供了调度器插件作为平台的外扩组件，您可以使用E-HPC提供的调度...
创建数据源质量规则
例如：当您配置了多条告警配置且选择所有告警配置均生效，系统会按照告警接收方式+告警接收人+告警规则合并告警；特殊的，如果告警接收人为同一个接收人，告警方式为自定义和质量负责人时，会按照合并策略合并告警消息。说明 值班表不支持...
创建数据源质量规则
例如：当您配置了多条告警配置且选择所有告警配置均生效，系统会按照告警接收方式+告警接收人+告警规则合并告警；特殊的，如果告警接收人为同一个接收人，告警方式为自定义和质量负责人时，会按照合并策略合并告警消息。说明 值班表不支持...
同步增量数据到MaxCompute
说明 执行后续操作时，如果未保存脚本，则系统会出现保存确认的提示，单击 确认 即可。脚本模式 增量数据的同步需要使用到Tablestore Stream Reader和MaxCompute Writer插件。脚本配置规则请参见 Tablestore Stream数据源 和 MaxCompute...
提交节点报错：当前节点依赖的父节点输出名不存在
为了避免依赖关系配置错误导致数据出现问题，DataWorks会在提交节点时对表数据血缘关系的输入输出与调度配置的输入输出进行比较，如果不一致会给您提示，详情可参见 提交节点时提示：输入输出和代码血缘分析不匹配。不是DataWorks每天调度...
Hologres开发：周期性调度
HoloStudio与DataWorks无缝连通，您可以通过HoloStudio将MaxCompute数据导入Hologres，并基于DataWorks的底层能力，前往DataWorks进行定时调度，实现周期性导入数据至Hologres。本文为您介绍如何将MaxCompute源表数据导入Hologres进行周期...
实例生成方式：发布后即时生成实例
场景二：更新已发布任务的调度周期 更新生产任务的调度时间（即调度频率与定时时间），并将变更操作发布至生产环境，该任务当天周期实例可能会出现变更前与变更后的实例同时存在，因此，会导致任务当天的依赖关系比较复杂。说明 此场景仅...
加工数据
系统会为每个节点自动生成两个输出名，格式为分别为：projectName.randomNumber_out、projectName.nodeName_out。如果使用自动解析功能，系统将根据代码解析结果为节点生成输出名，格式为：projectName.tableName。3.保存配置 本案例其他必...
加工数据
系统会为每个节点自动生成两个输出名，格式分别为：projectName.randomNumber_out、projectName.nodeName_out。如果使用自动解析功能，系统将根据代码解析结果为节点生成输出名，格式为：projectName.tableName。3.保存配置 本案例其他必填...
数据开发
调度依赖配置：配置调度依赖的目的是为了保障上游表产出完成才会触发下游读取数据，而当前节点上游的数据是静态的，不需要等待产出，所以本节点的上游依赖可配置为工作空间根节点，即周期依赖的上游节点配置为"使用工作空间根节点"，其他...
DataWorks大数据开发治理平台
DataWorks为您提供函数计算节点，您可通过该节点周期性调度处理事件函数，并完成与其它类型节点的集成和联合调度。本文为您介绍如何使用函数计算节点。背景信息 DataWorks 基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为...
函数计算节点
DataWorks为您提供函数计算节点，您可通过该节点周期性调度处理事件函数，并完成与其他类型节点的集成和联合调度。本文为您介绍如何使用函数计算节点。前提条件 已开通函数计算。您需要先开通函数计算服务后，才可在DataWorks使用函数计算...
查看并管理手动实例
空跑调度的实例系统会直接标记为运行成功。手动实例列表支持的操作 操作 描述 查看节点代码 进入代码详情页，查看手动实例的节点代码。查看运行日志 进入运行日志页面，查看实例节点运行的日志。重跑 重跑当前实例节点及其下游未运行的实例...
查看并管理手动实例
空跑调度的实例系统会直接标记为运行成功。手动实例列表支持的操作 操作 描述 查看节点代码 进入代码详情页，查看手动实例的节点代码。查看运行日志 进入运行日志页面，查看实例节点运行的日志。重跑 重跑当前实例节点及其下游未运行的实例...
周期实例通用运维概述
空跑调度的实例系统会直接标记为运行成功。周期实例DAG图 单击周期实例操作列表的实例对象名称，页面右侧将展示以当前节点为中心节点的DAG图。DAG图支持可视化动态呈现该节点的上下游依赖关系，默认展示Main节点（选中节点）及上下游第一层...
周期实例通用运维概述
空跑调度的实例系统会直接标记为运行成功。周期实例DAG图 单击周期实例操作列表的实例对象名称，页面右侧将展示以当前节点为中心节点的DAG图。DAG图支持可视化动态呈现该节点的上下游依赖关系，默认展示Main节点（选中节点）及上下游第一层...
服务定时自动部署
每执行一次定时部署调度，系统就会在原模型服务基础上，增加一个模型服务版本，作为最新的线上运行服务。home/admin/usertools/tools/eascmd64-i<yourAccessKeyID>-k<yourAccessKeySecret>-e pai-eas....
配置离线管道调度
调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。本文为您介绍如何配置周期性离线管道调度配置。背景信息 依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了...
- 产品推荐
- 这些文档可能帮助您