集成与开发概览

功能简介

数据集成与开发功能模块支持多种计算、存储引擎，支持结构化、半结构化、非结构化数据的实时集成、离线集成、开发、服务，能够满足企业各类数据加工、集成、开发、服务需求。

您可以通过流批一体的数据集成对在线数据进行入仓、加工处理，通过数据开发模块对数仓数据进行分层开发，之后结合数据服务和可视化能力对外提供数据使用和分析服务。您也可以将这些功能作为基础能力集成到您自己的数据平台中使用，建设属于企业独有的数据平台。

产品优势

• 流批一体技术，支持20多种数据实时、离线集成。

• 低代码开发。

• 100%兼容Flink、Spark。

• 支持链路及开发过程中的数据安全。

• 分钟级调度。

• 多环境管理。

应用场景

• 数据集成

  • 运维：数据容灾、异地多活、数据归档、数据迁移、测试数据生成、运维指标监控、业务指标监控等。

  • 开发：实时报表、日志分析、离线宽表、T+1数据快照、数据聚合、数据清洗、数据脱敏等。

• 数据开发

  • 数据库开发：跨库开发、定时任务、数据归档、数据迁移、报表开发等。

  • 数仓开发：数据入仓、数据清洗、数据加工、数据分层、报表开发、宽表开发等。

数据集成（DTS）

DMS数据集成支持多源异构数据的实时、离线集成，包含数据同步、离线集成、流式ETL三个功能模块。

• 数据同步。更多信息，请参见数据同步方案概览。

  数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景。

  

• 离线集成。更多信息，请参见离线集成概述。

  离线集成是一种低代码的数据开发工具，您可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的，进而对在线数据库、数据仓库的数据进行加工处理并同步至目的端。

  

• 流式ETL。更多信息，请参见流式ETL。

  通过可视化拖拉拽操作、SQL语句（100%兼容Flink）两种方式配置流式加工任务，实现流式数据的抽取、数据转换和加工、数据装载能力，适用于日志、在线数据实时加工处理、实时统计报表等各类实时数据开发场景。

  

数据开发

• 任务编排。更多信息，请参见概述。

  任务编排主要用于编排各类任务并进行调度执行。您可以通过创建一个或多个任务节点组成的任务流，实现复杂的任务调度，提高数据开发效率。

• 数仓开发。更多信息，请参见创建项目空间。

  数仓开发主要用于沉浸式数据仓库开发，您可以通过创建项目空间，选择数仓引擎和环境，进而创建多个数仓开发任务发布运行，实现复杂的数仓开发过程，提升数仓开发效率和管理能力。