数据集成概述

数据集成是基于Dataphin构建的简单高效的数据同步平台,致力于提供强大的数据预处理能力和丰富的异构数据源之间数据高速稳定的同步能力。

背景信息

面对各行各业对大数据的应用,数据集成会有很多的诉求,包括能够简单高效地配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优(例如容错、限速、并发)等。

功能概述

说明

如果您是在2020年4月份之后购买的Dataphin,则数据同步能力已升级为数据集成。

Dataphin升级了数据集成的能力,旨在为您构建简单高效、安全可靠的数据同步平台:

  • 支持通过整库迁移(快速生成批量同步任务)和一键生成目标表(同步到MaxCompute的数据无需手动建表)的方式,提高数据集成的效率,详情请参见通过整库迁移配置集成任务

  • 支持流程转换组件,实现数据源的数据预处理(例如清洗、转换、字段脱敏、计算、合并、分发、过滤等)能力,详情请参见通过单条管道创建集成任务

  • 支持Dev-Prod和Basic的开发模式,您可以根据业务场景灵活选择开发模式。

  • 支持将Dataphin中创建的逻辑表快速地同步到目标库。

  • 支持用户自定义系统不支持的组件,以满足不同业务场景数据同步的需求。RDBMS数据库组件通过JDBC链接,非RDBMS数据库组件需要自行上传JAR包。

数据集成支持多种类型组件,通过简单的拖拽、配置并组装组件的方式,生成离线单条管道。数据集成支持快速生成批量同步任务。整库迁移来源端支持MySQL、SQL Server、Oracle,目标端支持 MaxCompute。同时,数据集成支持用户自定义系统不支持的组件类型,以满足数据同步的需求。

数据集成入口

快捷入口(推荐)

在Dataphin首页,单击Dataphin产品使用路径的数据引入,快速进入数据集成。

image

普通入口

在Dataphin首页,在顶部菜单栏选择研发 > 数据集成,进入数据集成页面。

image