在数据管理DMS离线集成中,可以组合各类任务节点,形成数据流,通过周期调度运行达到数据加工、数据同步的目的。本文介绍创建数据流和配置的方法。
使用限制
支持的数据库类型:
- MySQL:RDS MySQL、PolarDB MySQL引擎、MyBase MySQL、PolarDB-X、AnalyticDB MySQL 3.0、其他来源MySQL
- SQL Server:RDS SQL Server、MyBase SQL Server、其他来源SQL Server
- PostgreSQL:RDS PostgreSQL、PolarDB PostgreSQL引擎、MyBase PostgreSQL、AnalyticDB PostgreSQL版、其他来源PostgreSQL
- Oracle
- DB2
- MaxCompute
- Hologres
- OSS
- 登录DMS数据管理服务。
- 在顶部菜单栏中,选择。
- 单击目标数据流,进入数据流详情页面。
- 配置数据输入节点。
说明 数据流的第一个节点必须是数据输入,为数据流提供数据源。
- 在左侧任务类型列表中,拖拽数据输入节点到画布空白区域。
- 选中数据输入节点,在页面下方的数据来源页签中配置数据源。
配置项 |
操作 |
数据库类型 |
选择源数据库的类型。 |
数据库 |
- 输入并选择数据流读取数据的源数据库。
- 在弹出的登录实例对话框中,输入数据库账号和数据库密码。
|
表 |
选择数据流读取数据的源表。 |
- 以过滤源表数据为例,配置数据处理节点。
说明 除数据输入和数据输出外,其他任务类型均可作为数据处理节点。
- 在左侧任务类型列表中,拖拽数据过滤节点到画布的空白区域。
- 将鼠标放在数据输入节点上,单击节点左侧出现的空心圆点并拉出连接线,连接至数据过滤节点上。
- 选中数据过滤节点,在页面下方的数据过滤页签中配置数据的过滤条件表达式。
例如,在过滤条件表达式文本框中输入
name='小明'
。
说明 您可以直接在输入框中输入过滤条件,也可以双击右侧函数列表的函数辅助编写。
- 配置数据输出节点。
说明 数据流的最后一个节点必须是数据输出,提供处理后的数据要写入的目标表。
- 在左侧任务类型列表中,拖拽数据输出节点到画布的空白区域。
- 选中数据输出节点,在页面下方的数据输出页签中配置数据输出节点。
- 数据库:
配置项 |
描述 |
数据库类型 |
选择输出数据的目标数据库类型。 |
数据库 |
搜索并选择输出数据的目标数据库。
说明 如果数据库未登录,在登录实例对话框中,输入数据库账号和密码登录数据库。
|
表名 |
选择或输入数据流输出数据的目标表。 |
写入前执行语句 |
输入写入数据之前需要执行的SQL语句。 |
|