文档

数据管理DMS的任务编排主要用于编排各类任务节点并进行周期或事件调度执行。您可以通过创建一个或多个任务节点组成的任务流,实现复杂的任务调度,提高数据开发效率。

背景信息

随着互联网和物联网的飞速发展、数据规模急剧增长、数据来源多样化,同时数据分析需求及业务流程复杂性不断增加,这使得传统手动处理数据的方式无法满足现有需求。因此,需要一个自动化流程来确保数据处理、分析、备份等多种需求的顺序和正确性。

针对以上问题,DMS的任务编排应运而生,其可自动化处理数据,提高数据开发效率,减少出错率,提升数据价值和可靠性。

支持的数据库类型

  • 关系型数据库:

    • MySQL:RDS MySQLPolarDB MySQL版MyBase MySQLPolarDB分布式版、其他来源MySQL

    • SQL Server:RDS SQL ServerMyBase SQL Server、其他来源SQL Server

    • PostgreSQL:RDS PostgreSQLPolarDB PostgreSQL版MyBase PostgreSQL、其他来源PostgreSQL

    • OceanBase:OceanBase MySQL模式OceanBase Oracle模式、自建OceanBase

    • PolarDB PostgreSQL版(兼容Oracle)

    • Oracle

    • 达梦数据库

    • DB2

  • NoSQL:Lindorm

  • 数据仓库:

    • AnalyticDB MySQL版

    • AnalyticDB PostgreSQL版

    • DLA

    • MaxCompute

    • Hologres

  • 对象存储:OSS

任务类型介绍

分类

任务类型

描述

相关文档

数据集成

DTS数据迁移

实现跨库、全量、单表或整库的数据迁移,迁移的类型包括数据和结构。

配置DTS数据迁移节点

离线数据集成

用于数据迁移、数据传输等场景,实现数据源之间的数据同步。

配置离线数据集成节点

数据加工

单实例SQL

将SQL语句发放到指定的关系型数据库上并执行。

说明

如果目标实例已开启无锁结构变更,单实例SQL任务会优先采用无锁结构变更的方式执行,可以有效避免锁表问题。更多信息,请参见开启无锁结构变更

循环SQL

可循环生成SQL语句,再将其分批提交给DMS管理的任意关系型数据库执行,同时,还可以搭配变量,控制SQL循环次数,达到简化SQL循环逻辑、平衡SQL语句对源库产生压力的目的。

配置循环SQL节点

跨库Spark SQL

基于Spark引擎,实现大规模跨库数据传输和数据加工,主要针对各类跨库数据同步和数据加工场景。

配置跨库Spark SQL节点

Lindorm Spark

通过Lindorm计算引擎高效地完成分布式计算任务,满足用户在数据生产、交互式分析、机器学习和图计算等场景中的计算需求。

配置Lindorm Spark节点

ADB Spark

支持周期性、有顺序地调度Spark作业。

配置AnalyticDB MySQL Spark节点

DLA Serverless Spark

用于配置Serverless Spark作业。

创建和执行Spark作业

无锁数据变更

采用DMS无锁技术实现数据的Update、Delete等变更。

说明

目标实例需开启无锁结构变更。更多信息,请参见开启无锁结构变更

DML无锁变更概览

DLA Spark SQL

通过SQL的方式提交作业到DLA Spark集群。

通用

单实例SQL赋值

将SELECT语句读取的数据赋值给输出变量,输出变量可以在下一节点中被使用。

配置SQL赋值节点

条件分支

条件分支节点可用于在任务流中进行条件判断。执行任务流时,如果条件分支节点的条件表达式判断结果为True,执行后续任务,否则不执行后续任务。

配置条件分支节点

DLA一键数仓

基于DLA一键建仓的功能,将数据库的数据上传到OSS,建立数据仓库。

一键建仓

DBS备份

通过DBS将数据库的数据备份到DBS提供的OSS中。

DBS

EC远程命令

基于ECS云助手在远程ECS上执行Shell、PowerShell、Bat命令或脚本代码。

配置ECS远程命令节点

脚本代码

基于数据库网关的脚本任务可以实现周期性或定时运行脚本。

配置脚本代码节点

仪表盘推送

仪表盘推送节点通过联动数据服务功能,可以将数据可视化的图表直接推送至您的钉钉、钉钉机器人或邮箱中。

配置仪表盘推送节点

状态检查

表时间列状态检查

检查某一时间点后,目标表中是否有新增数据。

Lindorm文件检查

用于检查Lindorm HDFS下某个文件是否存在。

SQL状态检查

通过SQL语句检查数据状态。例如,统计班级里男生是否超过10人。

稽核任务

用于检查数据质量。设置质量规则和调度周期后,自动检查数据质量并生成报告。

任务流依赖检查

实现任务流自依赖和跨任务流间依赖,依赖的目标对象可以是某个任务流或某个任务节点。

配置任务流依赖检查节点

相关文档

  • 本页导读 (1)