数据管理DMS数据编排是一种低代码开发数据加工任务的工具,您可以组合各类任务节点,形成数据流,通过周期调度运行达到数据加工、数据同步的目的。

应用场景

DMS数据编排提供了批量处理数据的功能,可应用于以下场景:
说明 数据编排功能持续开放中。如需试用该功能或在使用过程中遇到问题,请加钉钉群沟通。钉钉群号:31826394。
  • 通过低代码可视化编辑的方式快速搭建离线数仓,支持即席查询、多维分析、数据挖掘、离线计算等数仓应用场景。
  • 解决企业复杂大数据批处理难题,支持企业精细化运营、数据营销、智能推荐等大数据业务场景。
  • 数据编排功能底层基于Spark开发,可有效提升Hadoop平台运行速度。

创建数据流流程

数据编排流程图
  1. 登录DMS数据管理服务
  2. 在顶部导航栏,选择传输与加工(DTS)
  3. 在左侧导航栏,选择数据编排
  4. 单击新增数据流
  5. 新增数据流页面,输入数据流名称描述,单击确认
  6. 在数据流详情页面,创建数据流节点。具体操作,请参见创建数据流
  7. 单击画布空白区域,配置数据流信息。
    1. 单击数据流信息页签,在基础属性区域修改数据流名称责任人相关人员和切换开启消息通知开关状态。
    2. 如果需要调度数据流,在调度配置区域,打开开启调度开关,配置调度。具体配置,请参见配置调度
    3. 单击高级配置页签,设置变量。具体设置,请参见配置变量
  8. 发布数据流。具体操作,请参见发布数据流