集成输入组件的过滤和条件过滤的优缺点

更新时间:
复制 MD 格式

一、输入过滤

优点:

·上手简单,只需要配置sql后的where条件即可,不需要填写where,例如id>2,ds=${bizdate}

·性能优化,输入过滤是直接修改了读取数据库sql的,可以通过配置精细化分配任务读取数据,减少数据库压力

缺点:

·未能覆盖全部输入组件,部分输入组件不支持输入过滤

image

二、过滤组件

优点:

·通过界面化方式设置筛选条件,以及逻辑运算符(AND、OR),便于非技术用户使用

·支持多种高级筛选条件,例如START WITH和END WITH,可以精确匹配字段的起始或结束字符

·适用于所有支持读取的数据源

缺点:

·对性能不友好,需要输入组件全量读取后过滤,如果遇到上游数据量较大,复杂逻辑的过滤会加长运行时长并加大内存cpu使用

image