任务DING怎么用？如何发起/结束？
详细信息 什么是任务DING：1、任务DING可选择任务执行人、抄送人（抄送人可监督任务进度，但无需完成任务）、截止时间，并且在截止时间前的一段时间范围内对任务执行人再次进行提醒；2、点击截止时间可选择“清空”，即该任务无时间限制；3...
如何备份RDS只读实例
常见问题 Q：通过内网IP配置的备份计划出现连接源实例失败的情况，可能原因及解决方法是什么？A：可能原因：本文方法二中的IP是一个即时的内网IP，当只读实例发生克隆、迁移可用区、切换VPC、切换交换机时，即时内网IP可能会发生变化，从而...
RDS MySQL只读实例逻辑备份
常见问题 Q：通过内网IP配置的备份计划出现连接源实例失败的情况，可能原因及解决方法是什么？A：可能原因：本文方法二中的IP是一个即时的内网IP，当只读实例发生克隆、迁移可用区、切换VPC、切换交换机时，即时内网IP可能会发生变化，从而...
任务类型
下面的图中，首先理清各个任务之间的依赖关系，count1 和 count2 是并行的任务，它们依赖 split 任务，merge任务依赖 count1 和 count2。依据上面的依赖关系，在Job中可以这样描述：from batchcompute.resources import(JobDescription,...
历史记录
并行任务子任务列表不能重试子任务。1.0.6-compatible，2019-07-02 优化：兼容 schedulerx1.0(DTS)接口的兼容版本。不支持同时依赖 schedulerx-client 和 schedulerx-worker 两个包，只能依赖 schedulerx-worker 一个包，即需要把DTS所有...
快速开始
添加任务 点击阶段任务列表的新建任务按钮，如下所示：如上图所示，对于使用了release文件定义源码构建的用户可以添加“应用构建”，对于未使用release文件的用户可以添加“构建”任务来自定义构建过程，“构建任务”是一个工作区相关任务...
功能相关问题
任务互斥的作用是什么，是否会造成任务堆叠？互斥的任务，即处在“执行中”或“暂停”状态的任务，即使已经达到下一个任务触发时间点，仍无法再次触发。本次调度状态以“跳过”标记。因此，并不会造成任务堆叠。任务分组的作用是什么？根据...
如何解决全量迁移慢或迁移卡住
说明 多任务并行可能造成一时性的资源紧张，建议分批分时段建立任务。排查账号密码准确性：检查源库的用户名及密码是否正确。使用配置任务时指定的用户名和密码从远程连接访问源库，测试数据库能否连通。以MySQL数据库为例，建立连接的命令...
并行查询
分区间并行 分区间并行是指每个worker查询一个分区，从而实现多个worker并行查询整个分区表。示例：EXPLAIN(COSTS OFF)select*from prt1;QUERY PLAN-Gather Workers Planned:6->Parallel Append->Seq Scan on prt1_p5->Seq Scan on prt1_...
并行查询
分区间并行 分区间并行是指每个worker查询一个分区，从而实现多个worker并行查询整个分区表。示例：EXPLAIN(COSTS OFF)select*from prt1;QUERY PLAN-Gather Workers Planned:6->Parallel Append->Seq Scan on prt1_p5->Seq Scan on prt1_...
为什么会空跑
场景一：周月实例空跑周期 场景二：实时生成的过期实例 场景三：设置成功实例 场景四：实例属性为空跑 场景五：临时工作流中未被选择的实例 日调度任务空跑排查方法 什么是空跑？空跑的实例任务状态显示成功（正常调度），运行日志为空，无...
依赖关系
下游任务依赖上游任务的运行规则是什么？节点的输出名称的作用是什么？一个节点可以有多个输出名称吗？多个节点往同一张表写数据，自动解析报错节点输出名相同且提交报错，可以有相同的输出名称吗？使用自动解析依赖关系时，如何不解析到...
数据开发常见问题
下游任务依赖上游任务的运行规则是什么？节点的输出名称的作用是什么？一个节点可以有多个输出名称吗？哪些场景不支持设置调度依赖？典型配置场景 提交节点报错：当前节点依赖的父节点输出名不存在 提交节点时提示：输入输出和代码血缘分析...
任务类型
任务调度支持以下任务类型。简单任务 简单任务 是最基本的任务类型，适用于业务逻辑简单的场景。单个简单任务对应一个 handler，支持任务分片及分步：当需要并发执行并且不关注资源利用率时，可以使用简单任务的分片功能。当需要将一个任务...
流水线任务 jobs
如：jobs:my_job:name:我的任务 runsOn:public/cn-beijing stages.<stage_id>.jobs.<job_id>.needs非必填，默认一个阶段内的所有任务并行执行。若任务间有依赖关系，可通过 needs 描述阶段内的任务依赖关系。注意：needs 支持跨阶段的任务...
任务管理
配置项 配置项 是否必选 说明 示例 任务名词 是 任务名词 视频分析任务 作业预启动数 是 任务下的计算作业数量 1 作业可支持流 是 单个计算作业可分析的视频流数量 6 任务流类型 是 任务处理的流类型，默认为视频流-video video 算法包 是 ...
任务运行诊断
独享调度资源组最大支持的任务并行数，与您所购买的资源组规格有关。独享调度资源组各规格支持执行的任务数，详情请参见 独享调度资源组。检查任务执行情况 当满足以上运行条件时，DataWorks会将任务下发至对应的执行资源或服务上执行。...
基本概念
任务节点 节点是任务流中任务的实体承载，其可以处于任务流中的任意位置，节点之间通过边来建立依赖关系。任务节点类型如下：数据集成 数据加工 状态检查 通用 节点实例 若干个节点实例组成任务流实例，节点之间的依赖关系是基于当时运行的...
使用多机MPP对海量数据分析提速
技术架构 列存索引多机并行执行技术架构如下：列存索引多机并行是由多个只读列存节点组成的一个多机执行组，并提供多机并行执行能力。随着用户查询负载的变化，用户可以快速增加或减少只读列存节点的个数，以平衡查询性能和计算成本。多机...
离线同步并发和限流之间的关系
上面任务期望最大并发数：即是任务配置的并发数，由于数据集成资源组或者任务本身特性等原因，任务实际执行的并发数可能小于等于任务配置并发数，如涉及任务并发数计费场景（数据集成调试资源组）会按照任务实际并发数计费。数据集成会尝试...
自定义流水线阶段
自定义阶段和 构建应用 阶段也可添加并行任务，自定义并行任务。在流水线中，选择需要自定义阶段的位置，单击，打开 阶段配置 对话框。在 阶段配置 对话框中，配置相关参数。参数名称 子参数名称 参数说明 阶段名称-构建阶段标题名称。超时...
JobContext参数说明
参数 解释 long jobId 任务ID long jobInstanceId 任务实例ID Long workflowId 工作流ID long wfInstanceId 工作流实例ID long taskId 分布式任务子任务ID，根任务是0。DateTime scheduleTime 实例的计划调度时间 DateTime dataTime 实例的...
产品相关问题
任务调度的核心功能是什么？分布式调度：提高系统的可用性、伸缩性，且调度与业务的分离，让研发更专注业务逻辑的开发。多种任务类型：简单任务，集群任务，消息任务，流式任务，满足不同场景需求。丰富的管理功能：包括定时触发、事件触发...
常见问题
问题列表 什么是云工作流？云工作流的工作原理是什么？云工作流的优势是什么？云工作流最长执行多长时间？怎么执行云工作流？云工作流使用什么语言编写流程？云工作流是集成了云监控？云工作流是否集成了事件源？什么是 云工作流？云工作流...
深度解析PolarDB数据库并行查询技术
本文主要介绍基于代价进行并行优化、并行执行的云数据库的并行查询引擎的关键问题和核心技术。背景信息 随着数据规模的不断扩大，用户SQL的执行时间越来越长，这不仅对数据库的优化能力提出更高的要求，并且对数据库的执行模式也提出了新的...
会员任务
会员任务是引导用户做相关行为的一系列...会员任务页面展示所有会员任务，包括默认任务和自定义任务，支持编辑默认会员任务，支持开启/关闭会员任务，支持新增自定义任务，新增/编辑会员任务时支持选择触发事件。操作路径：会员中心>会员任务
并行安全性
规划器把查询中涉及的操作分类成 并行安全、并行受限 或者 并行不安全。并行安全的操作不会与并行查询的使用产生冲突。并行受限的操作不能在并行工作者中执行，但是能够在并行查询的领导者中执行。因此，并行受限的操作不能出现在 Gather ...
任务运维
周期实例 任务和实例是一对多的关系，实例是任务的具体实现。发布后的第二天可以按业务日期查看周期实例的DAG，下图是周期实例的一些基本功能点说明：您可以通过 查看运行日志 或 运行诊断]来排查实例未正常完成的原因。通过查看实例详情...
计划加速
QUERY PLAN-PartitionedTableScan on prt1(cost=0.00.1.00 rows=1 width=40)->Seq Scan on prt1(cost=0.00.1.00 rows=1 width=40)(2 rows)并行查询 PolarDB PostgreSQL版 支持分区表的 并行查询，它能很好的处理大规模数据的查询。...
计划加速
QUERY PLAN-PartitionedTableScan on prt1(cost=0.00.1.00 rows=1 width=40)->Seq Scan on prt1(cost=0.00.1.00 rows=1 width=40)(2 rows)并行查询 支持分区表的 并行查询，它能很好的处理大规模数据的查询。和 Append 一样，...
任务状态说明
任务状态 状态说明 可进行的操作 创建中 同步任务正在进行同步初始化 查看同步配置 运行中 同步任务正常同步中 查看同步配置 暂停同步 取消同步 已暂停 同步任务被暂停，处于暂停状态 查看同步配置 修改同步对象 重新启动任务 取消任务 已...
相关概念
本文介绍流水线相关概念，包括流水线和流水线模板、任务和任务模板以及执行上下文。背景介绍 应用中心提出了流水线和流水线模板的概念。流水线通过引用流水线模板，提供执行上下文，描述了一次流水线执行以及执行结果。而流水线模板通过...
相关概念
本文介绍流水线相关概念，包括流水线和流水线模板、任务和任务模板以及执行上下文。背景介绍 应用中心提出了流水线和流水线模板的概念。流水线通过引用流水线模板，提供执行上下文，描述了一次流水线执行以及执行结果。而流水线模板通过...
创建资源
本文介绍如何创建微服务空间、调度任务分组、调度任务和调度工作流。背景信息 资源 描述 使用场景 命名空间 在具体地域（Region）中，命名空间用于实现资源和服务的隔离。当您对资源有较高的安全要求时，需要创建命名空间。应用 在具体的...
产品功能
通过SchedulerX可以管理定时调度任务、查询任务执行记录和运行日志。本文介绍SchedulerX调度、执行和运维三个方面的功能。定时调度 Crontab 支持Unix Crontab表达式，不支持秒级别调度。更多信息，请参见 Cron。Fixed rate Crontab必须被60...
如何管理应用级别的资源和任务优先级
能够实现CPU和内存级别的资源管控，而您使用自己的Worker通过客户端接入SchedulerX，所以SchedulerX作为通用的任务调度平台，无法实现CPU和内存级别的管控，也无法通过第三方的资源管理系统进行管控，实现的是任务实例数量和优先级的管控。...
管理任务
最近运行状态 运行状态根据最近一次任务的运行情况来定义，包含待运行、运行中、运行成功、运行失败、手动终止、未运行（-），其中：待运行：出现并行任务时，排队中的任务状态显示为待运行。手动终止：当任务在待运行或运行中时，通过单击...
应用场景
云工作流（CloudFlow）用于协调分布式应用和微服务以构建复杂多步骤的、异步调用任务以及长时间运行的业务流程。事务型业务流程编排 复杂的业务场景如电商网站、酒店和机票预定等应用通常要访问多个远程服务，并且对操作事务性语义（即所有...
并行步骤
本文介绍了并行步骤和相关使用示例。介绍 并行（Parallel）步骤用来并行执行多个步骤。它定义了多个分支（Branches），每个分支包含一系列串行步骤。并行步骤的每个分支都对应一个本地变量。执行并行步骤会并发执行所有分支包含的串行步骤...
数据导入优化建议
导入并发和资源说明 单张表的导入会在系统内部串行，不同表之间的导入任务会并行，默认并行度是2。以MaxCompute表导入HybridDB for MySQL为例，同一张表的不同分区导入实际上会排队串行执行。不同表的导入，同时提交，有并行度的n个任务...
- 产品推荐
- 这些文档可能帮助您