过滤转换组件支持将上游组件的输入字段进行过滤转换后输出至下游。本文为您介绍如何配置过滤转换组件。
操作步骤
在Dataphin首页顶部菜单栏,选择研发 > 数据集成。
在集成页面顶部菜单栏选择项目(Dev-Prod模式需要选择环境)。
在左侧导航栏中单击离线集成,在离线集成列表中单击需要开发的离线管道,打开该离线管道的配置页面。
单击页面右上角的组件库,打开组件库面板。
在组件库面板左侧导航栏中需选择转换,在右侧的转换组件列表中找到过滤组件,并拖动该组件至画布。
单击并拖动目标输入或流程组件的
图标,将其连接至当前过滤组件上。
单击过滤组件卡片中的
图标,打开转换-过滤配置对话框。
在转换-过滤配置对话框中,配置以下参数。
参数
描述
参数
描述
步骤名称
即过滤转换组件的名称。Dataphin自动生成步骤名称,您也可以根据业务场景修改。命名规则如下:
只能包含中文、字母、下划线(_)、数字。
不能超过64个字符。
输入字段
根据上游的输出,为您展示输入字段。
筛选条件
填写筛选条件。支持脚本模式和配置模式。
脚本模式:通过脚本方式设置筛选条件。不需要填写WHERE,直接填写WHERE语句后内容。例如,
user_id is not null
或and name != 'xxx'
。配置模式:通过界面化方式设置筛选条件。
支持的筛选条件包括=、!=、>、>=、<、<=、LIKE、NOT LIKE、IS NULL、IS NOT NULL、START WITH、END WITH。多个条件之间支持AND和OR逻辑运算符。
例如:在输入字段中包含
id
、name
和ds
的情况下,需过滤id<123
且name不等于abc
的数据。若使用脚本模式应填写id < 123 AND name != 'abc'
语句;若通过界面化方式直接配置,则筛选条件应如下图所示。LIKE操作符不支持使用(%)符号指定起始或结束字符,仅支持过滤出所有包含指定字符的数据。若需指定起始或结束字符,您可以使用START WITH和END WITH语句。例如,
name START WITH '张' AND name END WITH '丰'
将过滤name
字段起始字符为张结束字符为丰的数据。单击确认,完成过滤转换组件的属性配置。
- 本页导读 (0)
- 操作步骤