依赖关系
配置调度依赖前您需先了解以下内容 什么是调度依赖 为什么要设置调度依赖 DataWorks上如何设置调度依赖？哪些场景不支持设置调度依赖？不需要依赖的表如何删除？调度依赖配置常见问题 提交节点报错：当前节点依赖的父节点输出名不存在 提交...
E-HPC集群调度器插件
什么是调度器插件 E-HPC作为一款PaaS平台，集成了常用的开源调度器来提供平台级服务。当您的业务需要迁移到云上时，往往需要将云下的调度器集成至云上，但因HPC行业调度器众多，且不同调度器有多种定制版本，会出现E-HPC内置调度器无法满足...
Dataphin补数据任务空跑调度了是什么原因
问题描述 Dataphin补数据任务空跑调度了是什么原因？问题原因 按当前的调度配置，补20220930（月末）的数据空跑了是正常的。补数据选择的是业务日期，而调度周期配置的是调度日期，如果补数据时选择的业务日期是20220930，那么对应的调度...
常见问题
移动调度中心高可用 Q：移动调度中心实现高可用的策略是什么？A：移动调度中心实现高可用的策略如下：移动调度中心已预先配置好自身域名和 IP，这样 App 可以拉取到 MDGC 自身的域名调度配置。移动调度中心已预先配置好域名和 IP 到公网 ...
堡垒机连接服务器相关问题
堡垒机主机运维页面看不到主机，是什么原因？RAM用户未授权主机：请您为RAM用户授权主机后再查看，具体操作，请参见 按用户授权主机。RAM用户已授权主机：请您使用授权主机的RAM用户登录堡垒机进行查看。登录堡垒机之后为什么显示EMPTY账户...
工作流调度简介
什么是工作流调度 工作流调度（即触发器）是触发工作流执行的方式。在事件驱动的计算模型中，事件源是事件的生产者，工作流是事件的处理者，而工作流调度提供了一种集中、统一的方式来管理不同的事件源。在事件源中，当事件发生时，如果...
创建SMC迁移任务
您需要在弹窗中确认相关信息，并选择是否加入调度组（什么是调度组？然后点击 提交，即可发起SMC迁移。名称 含义 说明 是否加入分组调度 是否加入调度组 是：可以将任务加入状态为 开启 的调度组，CMH会按照调度规则自动调度。否：不加入...
自定义资源组
为什么找不到自定义资源组使用入口？自定义资源组已经不再支持，请使用独享资源组。目录 如何安装监控？如何处理添加自定义调度资源服务器失败的情况？如何处理服务器突然终止服务且重启失败的情况？如何处理自定义调度资源下的任务长期...
独享资源组
独享资源组使用场景 独享调度资源组使用场景 独享数据集成资源组使用场景 独享资源组网络配置 独享资源组访问VPC环境下数据的前提条件是什么？如何查看数据源的网络环境？添加独享资源组白名单 独享资源组商业化行为 如何对资源组进行续费...
任务常见问题
本文介绍如何处理使用SchedulerX过程中的一些任务管理问题。Spring应用找不到Bean怎么办？通过应用管理连接机器查看启动方式，确保为Spring或者Spring Boot方式。JobProcessor 要注入为 bean，比如加@Component 注解。排查Pom依赖如果依赖 ...
实现任务调度
相关内容，请参见 什么是分布式任务调度SchedulerX。在 application.properties 文件中添加您阿里云账号的AccessKey ID和AccessKey Secret的配置。spring.cloud.alicloud.access-key=xxxxx spring.cloud.alicloud.secret-key=xxxxx 后续...
应用管理
关于ECI更多信息，请参见 什么是弹性容器实例。regionId：ECI应用实例的地域ID。示例值：cn-hangzhou。AccessKeyId：申请一个RAM用户，授予创建及查询ECI的权限，该字段会加密保存。示例值：LTAI5t8W3FWP*q2K2。AccessKeySecret：申请一个...
什么是SCDN
本文为您介绍什么是阿里云SCDN及SCDN支持的功能。SCDN简介 SCDN（Secure Content Delivery Network）即拥有安全防护能力的CDN服务，为您提供安全CDN带宽和独享资源，并提供全网100万QPS，单节点6万QPS能力，同时支持频次控制和流量管理等...
共享GPU调度
进一步了解，请参见：关于什么是共享GPU调度，请参见 共享GPU调度概述。关于如何开启共享GPU调度专业版，请参见 安装共享GPU调度组件。关于如何使用共享GPU调度专业版，请参见 运行共享GPU调度示例、通过共享GPU调度实现多卡共享。若ACK...
GPU调度概述
想进一步了解：关于什么是共享GPU调度，请参见 共享GPU调度概述。关于如何开启共享GPU，请参见 安装共享GPU组件；关于如何关闭共享GPU显存隔离能力，请参见 关闭共享GPU显存隔离能力。关于如何使用共享GPU调度，请参见 运行共享GPU示例、...
产品功能
数据偏移时间 SchedulerX可以处理有数据状态的任务，在创建任务的时候设置调度时间，而实际上处理的数据时间可能和任务执行时间不一致，可以配置时间偏移，调度时间+时间偏移即数据时间。例如一个任务是每天00:30运行，但是实际上要处理前...
资源组操作及网络连通
如何切换任务在调度系统中执行所用的资源组 在生产运维中心切换任务执行使用的调度资源组和数据集成任务执行资源组：在数据开发界面走发布流程修改生产环境任务执行使用的资源组。说明 以下方式修改资源组请记得发布，标准模式下提交操作...
任务常见问题
本文介绍如何处理使用SchedulerX过程中的一些任务管理问题。Spring应用找不到Bean怎么办？通过应用管理连接机器查看启动方式，确保为Spring或者Spring Boot方式。JobProcessor 要注入为 bean，比如加@Component 注解。排查Pom依赖如果依赖 ...
任务常见问题
本文介绍如何处理使用SchedulerX过程中的一些任务管理问题。Spring应用找不到Bean怎么办？通过应用管理连接机器查看启动方式，确保为Spring或者Spring Boot方式。JobProcessor 要注入为 bean，比如加@Component 注解。排查Pom依赖如果依赖 ...
启用节点自动伸缩
当集群的容量规划无法满足应用Pod调度时，您可以使用 节点自动伸缩 方案实现节点的自动扩缩。节点自动伸缩 适用于扩容规模较小（例如开启弹性的节点池数量少于20，或对应节点池中的节点数量少于100），工作负载批次较为稳定，以单次伸缩为...
查看周期实例
周期实例是周期任务达到启用调度所配置的周期性运行时间时，被自动调度的实例快照。您可以通过列表及DAG图的方式，快速查看实例的详细信息并执行相关操作。相关概念 正常任务：即真实执行代码逻辑的任务，不包括空跑（调度属性为空跑的任务...
负载均衡SLB产品家族介绍
更多信息，请参见 什么是应用型负载均衡ALB。网络型负载均衡NLB（Network Load Balancer）：面向万物互联时代推出的新一代四层负载均衡，支持超高性能和自动弹性能力，单实例可以达到1亿并发连接，帮您轻松应对高并发业务。NLB 面向海量...
创建安全沙箱应用
关于ACR的更多信息，请参见 什么是容器镜像服务ACR。说明 您可以在 容器镜像服务 页签，根据名称搜索托管在容器镜像服务ACR中的镜像。Docker官方镜像：在 Docker官方镜像 页签中，可以选择Docker官方提供的容器镜像。用户收藏：在 用户收藏...
应用管理
关于ECI更多信息，请参见 什么是弹性容器实例。regionId：ECI应用实例的地域ID。示例值：cn-hangzhou。AccessKeyId：申请一个RAM用户，授予创建及查询ECI的权限，该字段会加密保存。示例值：LTAI5t8W3FWP*q2K2。AccessKeySecret：申请一个...
历史功能发布记录（2023年）
全部 什么是容器服务 Serverless 版 ACK Serverless支持Spot实例创建加速，提升大批量Spot实例创建规模 ACK Serverless提供高达100万核/小时的实例创建能力，可以在短时间内快速创建大量Spark Job等任务型并发处理实例，降低Job任务的排队...
调度参数返回值二次处理的典型场景
调度参数只支持获取时间类型数据，部分节点（例如，离线同步节点）配置了调度参数后，调度参数的返回值不能直接使用，需要进行函数转换等二次处理。本文为您介绍二次处理调度参数返回结果的典型场景。背景信息 调度参数支持的时间类型未...
创建管道
使用控制台管理管道 重要 删除或暂停管道之后再提交到管道中的任务，不会被媒体处理MPS调度处理，会返回任务失败。删除或暂停管道之前已经提交的任务不受影响。但已进入处理排队中的任务将无法取消，会正常执行并收取对应的费用。提交任务 ...
使用负载热点打散重调度
ack-koordinator组件提供负载热点打散重调度能力，可以感知集群内节点负载的变化，自动地优化超过负载水位安全阈值的节点，防止出现负载极端不均衡的情况。本文介绍如何使用负载热点打散重调度及其高级配置参数。使用限制 仅支持ACK Pro版...
调度参数典型场景配置示例
}和$[…]参数的功能差异 调度参数返回值二次处理典型场景 获取上个月最后一天 获取当前季度 获取定时时间15分钟前的年、月、日、小时、分钟 获取时间区间，调度间隔为1天 获取时间区间，调度间隔为1小时 通过赋值节点二次处理调度参数
问题汇总
补数据 补数据功能说明 为什么小时分钟任务补数据选择了并行但...如何找回下线节点 孤立节点 什么是孤立节点 如何处理孤立节点？其他问题 资源组 日志和实例保留多长时间？为什么不能在调度资源组上进行大数据计算？其他 如何设置任务优先级？
其他问题
base_xykxfmx_mzf_di_节点周期调度是10分钟，在节点模式中查看 dwd_xykyw_xfmx_mzf_di的上游节点ods_base_xykxfmx_mzf_di的调度周期是3分钟。dwd_xykyw_xfmx_mzf_di的周期是15分钟。到周期时间后，各节点运行情况如下：dwd_xykyw_xfmx_mzf_...
调度周期：年调度
年调度是指调度任务在每年的特定几天，在特定的时间点自动运行一次。例如，调度任务设置为每年一月的最后一天执行。注意事项 在非指定的调度时间内，为保证下游实例正常运行，年调度节点会生成空跑的周期实例。重要 空跑现象：系统直接返回...
调度周期：周调度
周调度是指调度任务在每周的特定几天，在特定的时间点自动运行一次。例如，调度任务设置为每周一、周二零点执行。注意事项 在非指定的调度时间内，为保证下游实例正常运行，周调度节点会生成空跑的周期实例。重要 空跑现象：系统直接返回...
调度周期：月调度
月调度是指调度任务在每月的特定几天，在特定的时间点自动运行一次。例如，调度任务设置为每月一号、二号执行。注意事项 在非指定的调度时间内，为保证下游实例正常运行，月调度节点会生成空跑的周期实例。重要 空跑现象：系统直接返回运行...
数据开发常见问题
调度依赖常见问题 配置须知 什么是调度依赖？为什么要设置调度依赖？DataWorks上如何设置调度依赖？下游任务依赖上游任务的运行规则是什么？节点的输出名称的作用是什么？一个节点可以有多个输出名称吗？哪些场景不支持设置调度依赖？典型...
产品相关问题
任务调度的核心功能是什么？分布式调度：提高系统的可用性、伸缩性，且调度与业务的分离，让研发更专注业务逻辑的开发。多种任务类型：简单任务，集群任务，消息任务，流式任务，满足不同场景需求。丰富的管理功能：包括定时触发、事件触发...
使用ECI弹性调度
ECI弹性调度是阿里云提供的弹性调度策略。您可以在部署服务时通过添加Annotations来声明只使用ECS或ECI弹性资源，或者是在ECS资源不足时自动申请ECI资源。通过ECI弹性调度可以满足您在不同工作负载的场景下对弹性资源的不同需求。本文介绍...
调度参数
调度参数典型场景 调度参数往前取一个小时，如何处理跨天参数替换的问题 如何处理表的分区格式年月日时分秒间带空格情况：pt=yyyy-mm-dd hh24:mi:ss 节点定时时间为每天20:00，节点内参数取值为定时时间（$cyctime或者$[yyyymmddhh24miss]...
调度Pod到x86架构的虚拟节点
（仅适用于ACK Pro集群）配置ECI弹性调度 ECI弹性调度是阿里云提供的一种弹性调度策略，在部署服务时，您可以添加Annotations来声明只使用普通节点的资源或者虚拟节点的ECI资源，或者在普通节点的资源不足时自动使用ECI资源，以满足不同...
通过ack-co-scheduler组件实现协同调度
containers:name:nginx-numa image:nginx:1.13.3 ports:containerPort:80 resources:requests:cpu:4 limits:cpu:4 ECI弹性调度 ECI弹性调度是阿里云提供的弹性调度策略。您可以在部署服务时通过添加Annotations来申明只使用ECS或ECI弹性...
- 产品推荐
- 这些文档可能帮助您