数据管理DMS离线集成是一种低代码的数据开发工具,您可以组合各类任务节点,形成数据流,通过周期调度运行达到数据加工、数据同步的目的。

支持的数据库类型

  • MySQL:RDS MySQLPolarDB MySQL引擎MyBase MySQLPolarDB-XAnalyticDB MySQL 3.0、其他来源MySQL。
  • SQL Server:RDS SQL ServerMyBase SQL Server、其他来源SQL Server。
  • PostgreSQL:RDS PostgreSQLPolarDB PostgreSQL引擎MyBase PostgreSQLAnalyticDB PostgreSQL版、其他来源PostgreSQL。
  • Oracle
  • DB2
  • MaxCompute
  • Hologres
  • OSS
说明 Hologres只支持数据输入任务节点,OSS只支持数据输出任务节节点。

应用场景

DMS离线集成提供的批量处理数据功能,可应用于以下场景:

  • 通过低代码可视化编辑的方式快速搭建离线数仓,支持即席查询、多维分析、数据挖掘、离线计算等数仓应用场景。
  • 解决企业复杂大数据批处理难题,支持企业精细化运营、数据营销、智能推荐等大数据业务场景。
  • 离线集成功能底层基于Spark开发,支持提升Hadoop平台运行速度的应用场景。
说明 如果您在使用该功能的过程中有任何疑问或问题,请使用钉钉搜索钉钉群号31826394,加入钉钉群反馈。

创建数据流流程

shujuliu

操作步骤

  1. 登录数据管理DMS 5.0
  2. 在顶部菜单栏中,选择集成与开发(DTS) > 数据集成 > 离线集成
  3. 单击新增数据流
  4. 新增数据流页面,输入数据流名称描述,单击确认
  5. 在数据流详情页面,创建数据流节点。具体操作,请参见创建数据流
  6. 单击画布空白区域,配置数据流信息。
    1. 单击数据流信息页签,在基础属性区域修改数据流名称描述责任人相关人员
    2. 如果您需要调度数据流,在调度配置区域,打开开启调度开关,配置调度。具体配置,请参见表 1
    3. 单击高级配置页签,设置变量。具体操作,请参见配置时间变量
  7. 发布数据流。具体操作,请参见发布数据流
  8. 可选:单击画布右上方前往运维,进行数据流的运维。具体操作,请参见数据流运维