数据同步可实现离线、实时多源异构数据的便捷同步或接入,提供完善的数据接入任务配置、数据模板配置等功能,可有效保障数据接入的稳定性和可控性,满足各类平台、数据源及应用系统间的数据汇聚需求。

数据源管理

  • 支持对数据同步的数据源端和目标端进行统一的注册和管理,支持对关系型数据库、文件、消息队列等多种类型数据源的配置,并可对所填写数据源的连通性性进行有效性验证。支持对已配置联通的数据源进行元数据同步及数据对象查看,帮助用户了解元数据资产内容。
  • 支持一键同步工作组内已配置的数据资源,快速对工作组已有资源在数据同步任务中进行应用。

数据模板管理

  • 针对半结构化、非结构数据,支持创建数据模板,支持自定义数据字段及字段类型,并提供编辑、删除等功能。
  • 支持在离线数据同步、实时数据同步任务中引用已添加的数据模板,根据数据模板定义的数据结构执行数据同步任务。

离线数据同步

  • 支持单表离线任务、批量离线任务的新建。
  • 支持自定义选择已经注册的数据源端数据和目标端,支持多种常见离线同步链路。
  • 提供全量任务自动建表、同名字段自动映射、任务调度配置功能。
  • 支持对离线任务实例的运行属性和运行日志进行监看。
  • 支持对非增量离线同步实例进行实例重跑。

实时数据同步

  • 支持目标端为Datahub的单表实时任务的新建。
  • 支持Oracle CDC、MySQL binlog、SQL Server CDC三种实时数据同步模式。
  • 提供完善的实时数据接入配置等功能,有效保障实时任务接入的稳定性和可控性。