DataWorks数据集成单表实时任务支持使用数据过滤组件,可以对指定的字段配置数据过滤规则。
步骤一:配置数据集成任务
新建数据源,详情请参见:数据源管理。
新建数据集成任务,详情请参见:单表实时同步任务配置。
说明当数据集成侧同步任务的同步类型为单表实时,可在数据来源组件与数据去向组件之间新增数据处理组件。详情可参见支持的数据源及同步方案。
步骤二:添加数据过滤组件
-
在单表实时同步任务中,开启数据处理开关,单击+添加节点,新增选择数据过滤组件。
-
配置过滤规则
-
字段名:选择输入字段,取值作为条件表达式左值。
-
选择运算条件:条件运算类型,详情如下表。
-
值:条件表达式右值,支持选择前一个步骤的输入字段或者输入常量,选择输入常量时,不支持正则,支持Java转义字符,例如
\t(制表符)、\n(换行符)、\u0001(unicode字符)
-
-
添加规则:可以添加多个过滤规则。

后续操作
完成数据来源、数据过滤的配置后,可单击数据输出预览,以便查看当前节点的输出数据结果,是否符合您的需求。
该文章对您有帮助吗?