任务组管理
企业成员在创建流水线的过程中，对流水线任务节点进行编排时，可以选择...管理任务组 可在 企业管理->任务组管理 中管理 Flow 提供的任务组 和 用户创建的企业任务组，任务组可关闭，关闭后企业成员在编排流水线时，将无法继续使用该任务组。
任务组批量升级
配置任务组批量升级 通过企业设置->任务组管理->新建企业任务组，在创建新建任务组时，选择开启"支持批量升级。流水线使用任务组 在配置流水线过程中，选择已经创建的任务组。支持批量升级，流水线在使用任务组时无法任意更改任务组配置。...
API接口常见问题
需要每次创建JobGroup，任务组是外呼任务的逻辑分组，比如同一天的外呼任务，同一批次的外呼任务，可以定义在同一任务组中。针对同一个JobGroup，可以，循环多次调用AssignJobs接口下发任务。为保证AssignJobs的性能，建议每次调用任务数...
基本概念
节点实例的状态如下：运行中（RUNNING）暂停（SUSPEND）失败（FAIL）成功（SUCCESS）终止中（KILLING）跳过（SKIPPED）取消（CANCELLED）排队中（QUEUED）任务流 任务流是由多个任务节点组合编排出的任务组，任务之间可以有依赖关系，整个...
资源组操作及网络连通
如何切换任务在调度系统中执行所用的资源组 在生产运维中心切换任务执行使用的调度资源组和数据集成任务执行资源组：在数据开发界面走发布流程修改生产环境任务执行使用的资源组。说明 以下方式修改资源组请记得发布，标准模式下提交操作...
通用参考：切换资源组
资源组在购买、新增配置完成后即可被所属工作空间内的任务使用。您可根据实际场景，参考本文切换任务使用的资源组，并修改资源组归属的工作空间。背景信息 若资源组已绑定工作空间，修改其所归属的工作空间时，需先解绑该工作空间，再重新...
数据传输作业：数据集成
在配置同步任务前，您需要确保数据集成资源组与您将同步的数据源网络环境已经连通，详情请参见 配置资源组与网络连通。实时同步 DataWorks提供的实时数据同步功能，使用单表或整库同步方式，将源端数据库中部分或全部表的数据变化实时同步...
导出离线日志（公测中）
管理日志导出任务 任务管理页面展示由任务模板定时或批量生成的所有日志任务，包括任务 ID、任务类型、执行器组、任务模板名称、任务执行时间、执行状态等信息。在 任务管理 页面，从任务列表中选择要查看的任务，单击 查看日志，查看当前...
智能诊断
全链路诊断 DataWorks根据任务运行的必要条件，将依次检查上游任务的运行状态、当前任务设置的定时时间、调度资源的使用情况、当前任务的执行情况：上游依赖 智能诊断的 上游依赖 页面，为您展示当前任务的上游任务运行情况，如果上游任务...
离线同步任务调优
当新提交至独享资源组的任务所需要的并发度大于独享资源组剩余的并发度额度时，新提交的任务将等待独享资源组中正在运行的任务结束，直至剩余的并发度额度满足新提交任务的并发度需求。说明 如果新提交任务设置的并发度超过独享资源组的...
离线同步日志分析
当任务长时间处于等待数据集成任务执行资源的状态时，可能是其他任务运行占用该资源组上的资源导致当前任务无资源执行而处于等待状态，您可以通过以下方案解决此类问题：待占用该数据集成资源组的任务（即运行在该资源组上的任务）执行成功...
新增和使用独享调度资源组
您可根据业务场景需求选择购买合适规格的独享调度资源组，用于任务的调度运行。购买独享资源组后，在实际使用前您还需进行网络绑定、白名单等配置操作。本文为您介绍从购买至使用独享调度资源组的全流程与步骤详情。前提条件 购买和使用独...
新增和使用独享数据集成资源组
您可以使用DataWorks独享数据集成资源组功能，为数据集成同步任务分配独立的计算资源，从而提高任务的执行效率和稳定性。购买独享资源组后，在实际使用前您还需进行网络绑定、白名单等配置操作。本文为您介绍从购买至使用独享数据集成资源...
快速开始
添加任务 点击阶段任务列表的新建任务按钮，如下所示：如上图所示，对于使用了release文件定义源码构建的用户可以添加“应用构建”，对于未使用release文件的用户可以添加“构建”任务来自定义构建过程，“构建任务”是一个工作区相关任务...
DataWorks公共数据集成（调试）资源组下线公告
已经配置了DataWorks公共数据集成资源组的任务可继续正常运行，但不能对这些任务进行修改，若您需修改这些任务，请于 2024年4月1日 前切换为 DataWorks独享数据集成资源组。2024年9月1日 起，DataWorks公共数据集成资源组不再提供服务，...
PAI产品购买指引
【预付费】前往 AI计算资源组（预付费）页面，提前购买通用训练资源或灵骏智算资源专有资源组，部署在专有资源组上的分布式训练任务，按照专有资源组购买时长收费，如何使用专有资源组提交训练任务，请参见 分布式训练（DLC）。说明 灵骏智...
执行补数据并查看补数据实例（新版）
搜索任务 通过名称或ID搜索，添加一个起始任务，以及一个或多个结束任务，平台将根据起始及结束任务分析中间任务（即中间任务为起始任务的直接或间接下游任务，为结束任务的直接或间接上游任务）。中间任务列表 平台根据起始任务及结束任务...
执行补数据并查看补数据实例（旧版）
在当前周期任务的DAG图中，结合DAG的聚合功能，按照工作空间、所属责任人或优先级等维度将节点划分为组，直接勾选该节点组，快速添加目标类别的节点为补数据节点。实例的DAG图，详情请参见 附录：DAG图功能介绍。在周期任务界面，通过目标...
常见问题
如何通过日志查看任务执行在什么资源组类型上？如何切换任务在调度系统中执行所用的资源组。如何排查自定义调度资源组等待gateway？如何查看资源组对外IP，以便用于加白放行？资源组还有剩余资源，为什么会提示任务资源不足无法启动？离线...
购买与使用独享数据传输服务资源组
使用独享数据服务资源组 您可以选择在 项目级、任务级 或 用户级 指定使用什么资源组来运行数据传输任务。项目级：为整个项目的所有数据传输任务指定使用公共资源组还是独享资源组、指定默认的资源组是哪个资源组。任务级：在数据传输任务...
弹性伸缩的审计事件
RebalanceInstances 重新平衡多可用区伸缩组内ECS实例的分布。RecordLifecycleActionHeartbeat 延长一个生命周期挂钩触发后被挂起的ECS实例的等待时间。RemoveInstances 从一个伸缩组删除一台或多台ECS实例。ResumeProcesses 恢复伸缩组中...
离线同步并发和限流之间的关系
上面任务期望最大并发数：即是任务配置的并发数，由于数据集成资源组或者任务本身特性等原因，任务实际执行的并发数可能小于等于任务配置并发数，如涉及任务并发数计费场景（数据集成调试资源组）会按照任务实际并发数计费。数据集成会尝试...
等待资源
说明 如果资源使用率高但实际无任务执行或资源组上可执行任务数未达资源组上限但仍无法执行任务，您可以单击 申请链接 或扫描下方二维码加入DataWorks钉钉交流群进行售前售后咨询，咨询可直接@智能机器人，值班时间段内也可直接联系值班...
群组任务
群任务：群组任务包含了群组中所有成员创建的任务。在群组中可以查看所有任务和完成情况，便于对群组中的各项事务进行全面的了解和梳理。个人任务：个人任务包含了“我”创建的和指派给“我”的任务。如某条任务中与“我”无关则在个人任务...
调度中心
本文介绍调度中心功能的具体使用流程，帮助您快速掌握创建、查看及使用调度组。...将您的迁移任务加入调度组后，您可以通过调度组列表的 任务详情 观察组内任务的执行情况，也可以 点击调度组名称，查看组内任务的任务概览。
调度中心字段说明
调度组ID 标识该调度组的唯一ID 当前任务数 当前调度组内全部任务的数量 当前任务数=成功任务数+失败任务数+其它状态任务数。任务详情 当前调度组内任务执行情况统计 成功任务：当前调度组内执行成功的任务数量。失败任务：当前调度组内...
组件组合
所以页面中可以展示操作成功的状态，或者任务当前处于什么状态、还需要等待多久。后续操作 结果页除了展现任务最终的状态，还可以在下面引导用户进行相关的其他操作。示例 结果页分为两种样式：任务成功：任务某阶段成功，下一阶段还需要...
流程配置
任务编排 添加并行任务 在流水线编辑页面，鼠标移动到一个阶段会出现“+并行任务”按钮，点击打开 选择任务组 面板，选择合适的任务组模板，即可完成并行任务的添加。添加串行任务 在流水线编辑页面，鼠标移动到一个任务会出现“+”，可以...
其他问题
任务与实例 周期任务与周期实例、补数据实例、测试实例是什么关系？资源组 日志和实例保留多长时间？为什么不能在调度资源组上进行大数据计算？其他 如何设置任务优先级？如何查看任务优先级？周期任务与周期实例、补数据实例、测试实例是...
创建StarRocks计算源
Dataphin支持使用StarRocks作为Dataphin的离线计算引擎，为Dataphin项目提供处理离线计算任务的能力。本文为您介绍如何创建StarRocks计算源。背景信息 StarRocks是一款高性能分析数据库，支持实时、多维和高度并发的数据分析。StarRocks...
创建SMC迁移任务
如果您在创建迁移计划时，迁移计划模板 选择了“AWS迁移”，您的服务器和数据库迁移任务将分别通过SMC工具和DTS工具完成。本文为您介绍如何从进度大盘创建SMC迁移任务。建立SMC同步 在云迁移中心页面，依次点击 迁移->迁移工具，查看迁移...
智能水位分析
CADT监控大屏已接入企业云监控...停用智能水位分析任务 停用某个智能水位分析任务后，该任务将不再产生新的报告。在 智能水位分析 页面，单击目标智能水位分析任务对应 操作 列的.，然后选择 停用。智能水位分析任务停用成功后，状态为 停用。
日志服务SLS的审计事件
CreateMachineGroup 创建机器组，用以指定需要收集日志的服务器。CreateProject 创建一个Project。CreateSavedSearch 创建快速查询。CreateShipper 创建日志投递任务。DeleteChart 删除统计图表。DeleteConfig 删除指定的Logtail配置。...
使用弹性伸缩为NLB自动添加或移除后端服务器
弹性伸缩产品支持关联网络型负载均衡NLB的服务器组，通过配置触发任务，自动调整服务器组内的ECS实例个数，从而有效增强了NLB的高可用服务能力并降低了资源使用成本。场景示例 某新闻网站播出了一则新闻，访问量突增，服务器无法承载巨大...
使用弹性伸缩为ALB自动添加或移除后端服务器
弹性伸缩产品支持关联应用型负载均衡ALB的服务器组，通过配置触发任务，自动调整服务器组内的ECS实例个数，从而有效增强了ALB的高可用服务能力并降低了资源使用成本。场景示例 某新闻网站播出了一则新闻，访问量突增，服务器无法承载巨大...
API概览
订阅任务的消费组管理：CreateConsumerChannel DescribeConsumerChannel ModifyConsumerChannel DeleteConsumerChannel 管理订阅任务的消费组，如新增、查询、修改或删除消费组。SkipPreCheck 屏蔽或取消屏蔽预检查告警项目。查询DTS同步、...
使用弹性伸缩为CLB自动添加或移除后端服务器
弹性伸缩产品支持关联传统型负载均衡CLB的服务器组，通过配置触发任务，自动调整服务器组内的ECS实例个数，从而有效增强了CLB的高可用服务能力并降低了资源使用成本。场景示例 某新闻网站播出了一则新闻，访问量突增，服务器无法承载巨大...
查看并管理脚本任务
脚本任务页面包含计算任务、同步任务和集成任务，每个任务对应一个调度节点，本文以节点视角为您介绍如何查看并管理脚本任务。脚本任务页面入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引，进入 ...
离线同步任务运维
为确保任务运行无误，当您在DataStudio中完成任务开发，并发布至生产环境后，您可以进入运维中心管理离线同步任务、监控任务运行状态、修改同步资源组和查看任务运行日志等。本文列举离线同步任务的常见运维操作。前提条件 已完成离线同步...
简介
任务组（JobGroup）：顾名思义，任务组是外呼任务的逻辑分组，比如同一天的外呼任务，同一批次的外呼任务，可以定义在同一任务组中。任务（Job）：一个外呼任务对应一个联系人，除了联系人信息外，还包括业务相关的自定义参数。联系人...
- 产品推荐
- 这些文档可能帮助您