功能介绍
数据管理DMS的任务编排主要用于编排各类任务节点并进行周期或事件调度执行。您可以通过创建一个或多个任务节点组成的任务流，实现复杂的任务调度，提高数据开发效率。
背景信息
随着互联网和物联网的飞速发展、数据规模急剧增长、数据来源多样化，同时数据分析需求及业务流程复杂性不断增加，这使得传统手动处理数据的方式无法满足现有需求。因此，需要一个自动化流程来确保数据处理、分析、备份等多种需求的顺序和正确性。
针对以上问题，DMS的任务编排应运而生，其可自动化处理数据，提高数据开发效率，减少出错率，提升数据价值和可靠性。
支持的数据库类型
关系型数据库：
MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、其他来源MySQL
SQL Server：RDS SQL Server、MyBase SQL Server、其他来源SQL Server
PostgreSQL：RDS PostgreSQL、PolarDB PostgreSQL版、MyBase PostgreSQL、其他来源PostgreSQL
OceanBase：OceanBase MySQL模式、OceanBase Oracle模式、自建OceanBase
PolarDB PostgreSQL版（兼容Oracle）
Oracle
达梦数据库
DB2
NoSQL：Lindorm
数据仓库：
AnalyticDB for MySQL
AnalyticDB for PostgreSQL
DLA
MaxCompute
Hologres
对象存储：OSS
任务类型介绍
分类 | 任务类型 | 描述 | 相关文档 |
数据集成 | DTS数据迁移 | 实现跨库、全量、单表或整库的数据迁移，迁移的类型包括数据和结构。 | |
离线数据集成 | 用于数据迁移、数据传输等场景，实现数据源之间的数据同步。 | ||
数据加工 | 单实例SQL | 将SQL语句发放到指定的关系型数据库上并执行。 说明 如果目标实例已开启无锁结构变更，单实例SQL任务会优先采用无锁结构变更的方式执行，可以有效避免锁表问题。更多信息，请参见开启无锁结构变更。 | 无 |
循环SQL | 可循环生成SQL语句，再将其分批提交给DMS管理的任意关系型数据库执行，同时，还可以搭配变量，控制SQL循环次数，达到简化SQL循环逻辑、平衡SQL语句对源库产生压力的目的。 | ||
跨库Spark SQL | 基于Spark引擎，实现大规模跨库数据传输和数据加工，主要针对各类跨库数据同步和数据加工场景。 | ||
Lindorm Spark | 通过Lindorm计算引擎高效地完成分布式计算任务，满足用户在数据生产、交互式分析、机器学习和图计算等场景中的计算需求。 | ||
ADB Spark | 支持周期性、有顺序地调度Spark作业。 | ||
DLA Serverless Spark | 用于配置Serverless Spark作业。 | ||
无锁数据变更 | 采用DMS无锁技术实现数据的Update、Delete等变更。 说明 目标实例需开启无锁结构变更。更多信息，请参见开启无锁结构变更。 | ||
DLA Spark SQL | 通过SQL的方式提交作业到DLA Spark集群。 | 无 | |
通用 | 单实例SQL赋值 | 将SELECT语句读取的数据赋值给输出变量，输出变量可以在下一节点中被使用。 | |
条件分支 | 条件分支节点可用于在任务流中进行条件判断。执行任务流时，如果条件分支节点的条件表达式判断结果为True，执行后续任务，否则不执行后续任务。 | ||
DLA一键数仓 | 基于DLA一键建仓的功能，将数据库的数据上传到OSS，建立数据仓库。 | ||
DBS备份 | 通过DBS将数据库的数据备份到DBS提供的OSS中。 | ||
EC远程命令 | 基于ECS云助手在远程ECS上执行Shell、PowerShell、Bat命令或脚本代码。 | ||
脚本代码 | 基于数据库网关的脚本任务可以实现周期性或定时运行脚本。 | ||
仪表盘推送 | 仪表盘推送节点通过联动数据服务功能，可以将数据可视化的图表直接推送至您的钉钉、钉钉机器人或邮箱中。 | ||
状态检查 | 表时间列状态检查 | 检查某一时间点后，目标表中是否有新增数据。 | 无 |
Lindorm文件检查 | 用于检查Lindorm HDFS下某个文件是否存在。 | 无 | |
SQL状态检查 | 通过SQL语句检查数据状态。例如，统计班级里男生是否超过10人。 | 无 | |
稽核任务 | 用于检查数据质量。设置质量规则和调度周期后，自动检查数据质量并生成报告。 | 无 | |
任务流依赖检查 | 实现任务流自依赖和跨任务流间依赖，依赖的目标对象可以是某个任务流或某个任务节点。 |