任务管理
基于时间片的轮转调度 时间片轮转调度使用时间片控制每个任务的执行时间，同等优先级的任务依次获得处理器被调度执行，每个任务可以运行的时间片是固定的，当任务的时间片用完后，该任务被放在对应优先级就绪队列的队尾，然后调度就绪队列...
通过Docker安装并使用cGPU服务
每个容器占用尽量多的时间片，时间片占比为 1/当前容器数。2：权重抢占调度。当ALIYUN_COM_GPU_SCHD_WEIGHT的取值大于1时，自动使用权重抢占调度。3：固定算力调度。用于固定算力的百分比。4：算力弱调度。隔离性弱于抢占调度。5：原生调度...
任务调度属性配置概述
生效日期：定义该任务在什么时间段内调度。超过生效日期的任务将不再生成实例。资源属性 用于定义该任务发布至生产环境调度运行时使用的调度资源组。调度依赖 用于定义该任务的上下游依赖关系。通过依赖关系有序调度运行上下游节点，即当...
离线任务属性配置概述
生效日期：定义该任务在什么时间段内调度。超过生效日期的任务将不再生成实例。调度周期：定义该任务的调度频率，即多久执行一次任务。条件调度：定义该任务调度的条件。可设置多组调度条件，系统按照从上往下的顺序评估条件，命中条件后即...
离线任务属性配置概述
生效日期：定义该任务在什么时间段内调度。超过生效日期的任务将不再生成实例。调度周期：定义该任务的调度频率，即多久执行一次任务。条件调度：定义该任务调度的条件。可设置多组调度条件，系统按照从上往下的顺序评估条件，命中条件后即...
配置时间调度
本文为您介绍如何在任务编排的任务流页面，进行时间调度配置。应用场景 当任务需要在固定的时间点或时间周期内执行时，可选择时间调度。例如，在2023-08-23至2023-09-30范围内，每周二和周五的00:00，都需要将A数据库的数据迁移到B数据库中...
调度中心字段说明
调度时间 标识该调度组的调度时间段 调度时间8-22：调度组每天早上8点到晚上22点执行调度。调度时间22-8：调度组每天晚上22点到第二天早上8点执行调度。调度规则 当前调度组内如果有一个任务失败，其它任务是否继续执行 继续：如果当前任务...
Dataphin的调度任务到了设置的调度时间状态还是等待中
问题描述 Dataphin的调度任务到了设置的调度时间状态还是等待中。问题原因 上游任务全部运行成功之后，实例就会进入等待状态。等待中分为等待调度时间和等待调度资源：任务到达了定时调度时间，但是由于调度资源不足，所以处于等待调度资源...
名词解释
调度时间 JobInstance每次调度的时间叫做调度时间，JobProcessor可以根据 context.getScheduleTime()获取。数据时间 SchedulerX可以处理有数据状态的任务。创建任务的时候可以填数据偏移。例如一个任务是每天00:30运行，但是实际上要处理上...
配置共享GPU调度cGPU算力调度策略
每个容器占用尽量多的时间片，时间片占比为 1/当前容器数。2 权重抢占调度。当ALIYUN_COM_GPU_SCHD_WEIGHT的取值大于1时，自动使用权重抢占调度。3 固定算力调度。用于固定算力的百分比。4 算力弱调度。隔离性弱于抢占调度。5 原生调度。即...
名词解释
调度时间 JobInstance每次调度的时间叫做调度时间，JobProcessor可以根据 context.getScheduleTime()获取。数据时间 SchedulerX可以处理有数据状态的任务。创建任务的时候可以填数据偏移。例如一个任务是每天00:30运行，但是实际上要处理上...
调度参数配置最佳实践
}和$[…]参数的功能差异 调度参数返回值二次处理典型场景 获取上个月最后一天 获取当前季度 获取定时时间15分钟前的年、月、日、小时、分钟 获取时间区间，调度间隔为1天 获取时间区间，调度间隔为1小时 通过赋值节点二次处理调度参数 参数...
名词解释
调度时间 JobInstance每次调度的时间叫做调度时间，JobProcessor可以根据 context.getScheduleTime()获取。数据时间 SchedulerX可以处理具有数据状态的任务。创建任务的时候可以填写数据偏移。例如一个任务是每天00:30运行，但是实际上要...
配置离线管道调度
调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。本文为您介绍如何配置周期性离线管道调度配置。背景信息 依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了...
配置离线管道调度
调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。本文为您介绍如何配置周期性离线管道调度配置。背景信息 依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了...
工作原理
如果设置了调度的结束时间，则最后一个实例（调度时间小于调度结束时间）执行完成后，不再产生新的实例。场景四：修改调度配置对生成实例的影响 修改调度配置后，下一个实例按照新配置生成。一般建议同步修改SQL时间窗口、调度频率等配置，...
离线任务调度属性配置
调度属性用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期等。本文为您介绍如何配置任务的调度属性。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入离线集成...
离线任务调度属性配置
调度属性用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期等。本文为您介绍如何配置任务的调度属性。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入离线集成...
配置逻辑表调度属性
逻辑表调度属性用于定义逻辑表任务在调度过程中的调度规则。本文为您介绍如何配置维度或事实逻辑表的调度属性。操作步骤 请参见 数据开发入口，进入数据 开发 页面。按照下图操作指引，选择您需配置调度属性的逻辑表，进入 调度配置 信息...
配置逻辑表调度属性
逻辑表调度属性用于定义逻辑表任务在调度过程中的调度规则。本文为您介绍如何配置维度或事实逻辑表的调度属性。操作步骤 请参见 数据开发入口，进入数据 开发 页面。按照下图操作指引，选择您需配置调度属性的逻辑表，进入 调度配置 信息...
UpdateSecretRotationPolicy
凭据开启自动轮转后，首次自动轮转的时间为上次轮转时间加上轮转周期。如果该时间早于当前时间，将会立即开始首次自动轮转。本文将提供一个示例，更新名称为 RdsSecret/Mysql5.4/MyCred 的凭据轮转策略。具体如下：将 ...
UpdateSecretRotationPolicy
凭据开启自动轮转后，首次自动轮转的时间为上次轮转时间加上轮转周期。如果该时间早于当前时间，将会立即开始首次自动轮转。本文将提供一个示例，更新名称为 RdsSecret/Mysql5.4/MyCred 的凭据轮转策略。具体如下：将 ...
场景：切换调度时区
在创建DataWorks工作空间时，您需要选择工作空间所在地域，默认情况下DataWorks工作空间所在地域对应的时区即为调度时区（即任务定时调度时间所使用的时区）。同时，还支持您切换工作空间的调度时区，本文为您介绍如何切换调度时区。背景...
调度配置
调度配置是配置节点在调度过程中的调度规则及依赖关系。本文为您介绍如何进行同步任务的调度配置。前提条件 已完成同步任务的配置，详情请参见 配置同步任务。背景信息 系统仅支持周期性节点的同步任务进行调度配置。依赖关系是两个或多个...
Cron
Cron是一款类Unix的...高级配置参数说明如下：配置名称 意义 默认值 时间偏移 数据时间相对于调度时间的偏移，可以在调度时从上下文获取该值。无 时区 可以根据实际情况选择不同时区，包括一些常用国家或地区，也包括标准的GMT表达方式。无
调度配置
调度配置是配置节点在调度过程中的调度规则及依赖关系。本文为您介绍如何进行同步任务的调度配置。前提条件 已完成同步任务的配置，详情请参见 配置同步任务。背景信息 系统仅支持周期性节点的同步任务进行调度配置。依赖关系是两个或多个...
调度周期：月调度
月调度是指调度任务在每月的特定几天，在特定的时间点自动运行一次。例如，调度任务设置为每月一号、二号执行。注意事项 在非指定的调度时间内，为保证下游实例正常运行，月调度节点会生成空跑的周期实例。重要 空跑现象：系统直接返回运行...
UpdateRotationPolicy
使用说明 如果开启自动轮转，将在上一次轮转时间加上轮转周期天数后，自动创建一个新的密钥版本，并将它设置为主版本。以下密钥不允许配置自动轮转策略：非对称密钥 服务密钥 用户自带密钥（外部导入到KMS的密钥）不处于 Enabled 状态的...
UpdateRotationPolicy
开启自动轮转后，将在上一次轮转时间加上轮转周期天数后，自动创建一个新的密钥版本，并将它设置为主版本。使用限制：仅软件密钥管理实例中的对称密钥支持轮转。仅处于已启用状态的密钥支持轮转。当密钥处于禁用或待删除状态时，已开启的...
查看并管理定时调度补数据任务
定时调度补数据任务是指任务将按照配置的定时调度时间生成并运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理定时调度类型的补数据任务。定时调度补数据任务入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 ...
HTTP任务
高级配置参数说明如下：配置名称 说明 时间偏移 数据时间相对于调度时间的偏移，可以在调度时从上下文获取该值。时区 可以根据实际情况选择不同时区，包括一些常用国家或地区，也包括标准的GMT表达方式。第三步：报警配置 HTTP任务支持错误...
Dataphin的重跑并恢复调度和强制重跑的区别
实例开始运行条件说明 依赖的上游实例全部运行成功-满足此条件，即变成“等待中”状态（可能在等待到达定时运行时间或者等待分配调度资源，后续版本拆分了“等待调度时间”和“等待调度资源”）到达当前实例的定时运行时间，且已分配调度...
调度参数支持的格式
调度参数是DataWorks任务调度时使用的参数，可根据您配置的调度参数取值规则，在每次任务运行时自动替换为真实的取值，实现任务调度时间内参数的动态替换。本文为您介绍调度参数支持的格式及相关使用。背景信息 您可在代码中通过${变量名} ...
Cron
Cron是一款类Unix的操作系统下的...高级配置参数说明如下：配置名称 意义 时间偏移 数据时间相对于调度时间的偏移，可以在调度时从上下文获取该值。时区 可以根据实际情况选择不同时区，包括一些常用国家或地区，也包括标准的GMT表达方式。
Cron
Cron是一款类Unix的操作系统下的...高级配置参数说明如下：配置名称 意义 时间偏移 数据时间相对于调度时间的偏移，可以在调度时从上下文获取该值。时区 可以根据实际情况选择不同时区，包括一些常用国家或地区，也包括标准的GMT表达方式。
调度依赖场景规则与示例
Dataphin支持将周期任务的调度周期设置为分钟、小时、日、周、月、年调度类型中的其中一种类型。各调度类型的周期任务支持互相依赖，调度类型不同，任务执行的周期不同。任务各周期是通过实例的方式执行，当上下游调度依赖的类型不同时，您...
调度依赖场景规则与示例
Dataphin支持将周期任务的调度周期设置为分钟、小时、日、周、月、年调度类型中的其中一种类型。各调度类型的周期任务支持互相依赖，调度类型不同，任务执行的周期不同。任务各周期是通过实例的方式执行，当上下游调度依赖的类型不同时，您...
新建调度任务
已发布的离线模型支持配置自动化调度任务。本文主要介绍新建调度任务。前提条件 已新建离线模型且模型已发布，具体操作，请参见 新建离线模型。已创建云计算资源作为数据源，具体操作，请参见 新建计算资源。操作步骤 登录 数据资源平台...
配置并使用调度参数
调度参数是根据任务调度的业务时间及调度参数的取值格式自动替换为具体的值，实现在任务调度时间内参数的动态替换。本文为您介绍如何配置及使用调度参数，并以ODPS SQL节点为例，讲解调度参数配置完成后使用冒烟测试功能测试调度参数的替换...
实例生成方式：发布后即时生成实例
DataWorks会为您的周期调度节点自动生成自调度实例，支持 T+1次日生成、发布后即时生成 两种实例生成方式，即发布至生产环境后第二天自动调度及发布至生产环境后立即自动调度。本文为您介绍即时生成实例的规则及配置要点。注意事项 周期...
- 产品推荐
- 这些文档可能帮助您