数据管理DMS离线集成是一种低代码的数据开发工具，您可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。

支持的数据库类型

  • MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB MySQL 3.0、其他来源MySQL。
  • SQL Server：RDS SQL Server、MyBase SQL Server、其他来源SQL Server。
  • PostgreSQL：RDS PostgreSQL、PolarDB PostgreSQL版、MyBase PostgreSQL、AnalyticDB PostgreSQL版、其他来源PostgreSQL。
  • Oracle
  • DB2
  • MaxCompute
  • Hologres
  • OSS
说明 Hologres只支持数据输入任务节点，OSS只支持数据输出任务节节点。

应用场景

DMS离线集成提供的批量处理数据功能，可应用于以下场景：

  • 通过低代码可视化编辑的方式快速搭建离线数仓，支持即席查询、多维分析、数据挖掘、离线计算等数仓应用场景。
  • 解决企业复杂大数据批处理难题，支持企业精细化运营、数据营销、智能推荐等大数据业务场景。
  • 离线集成功能底层基于Spark开发，支持提升Hadoop平台运行速度的应用场景。
说明 如果您在使用该功能的过程中有任何疑问或问题，请使用钉钉搜索钉钉群号31826394，加入钉钉群反馈。

创建数据流流程

shujuliu

操作步骤

  1. 登录数据管理DMS 5.0。
  2. 在顶部菜单栏中，选择集成与开发（DTS） > 数据集成 > 离线集成。
  3. 单击新增数据流。
  4. 在新增数据流页面，输入数据流名称和描述，单击确认。
  5. 在数据流详情页面，创建数据流节点。具体操作，请参见创建数据流。
  6. 单击画布空白区域，配置数据流信息。
    1. 单击数据流信息页签，在基础属性区域修改数据流名称、描述、责任人、相关人员。
    2. 如果您需要调度数据流，在调度配置区域，打开开启调度开关，配置调度。具体配置，请参见任务编排概述。
    3. 单击高级配置页签，设置变量。具体操作，请参见配置时间变量。
  7. 发布数据流。具体操作，请参见发布数据流。
  8. 可选：单击画布右上方前往运维，进行数据流的运维。具体操作，请参见数据流运维。