数据过滤

更新时间:
复制为 MD 格式

DataWorks数据集成单表实时任务支持使用数据过滤组件,可以对指定的字段配置数据过滤规则。

步骤一:配置数据集成任务

  1. 新建数据源,详情请参见:数据源管理

  2. 新建数据集成任务,详情请参见:单表实时同步任务配置

    说明

    当数据集成侧同步任务的同步类型为单表实时,可在数据来源组件与数据去向组件之间新增数据处理组件。详情可参见支持的数据源及同步方案

步骤二:添加数据过滤组件

  1. 在单表实时同步任务中,开启数据处理开关,单击+添加节点,新增选择数据过滤组件。

  2. 配置过滤规则

    • 字段名:选择输入字段,取值作为条件表达式左值。

    • 选择运算条件:条件运算类型,详情如下表。

      条件运算类型详情

      类型

      说明

      等于

      比较数值类型或文本类型相等。

      不等于

      比较数值类型或文本类型不相等。

      小于

      比较数值类型取值或文本类型字典序小于。

      大于

      比较数值类型取值或文本类型字典序大于。

      小于等于

      比较数值类型取值或文本类型字典序小于等于。

      大于等于

      比较数值类型取值或文本类型字典序大于等于。

      包含

      文本类型是否包含特定子串。

      不包含

      文本类型是否包含特定子串。

      开头为

      文本类型是否以特定子串开头。

      结尾为

      文本类型是否以特定子串结尾。

      Null

      任意类型取值为Null。

      不为Null

      任务类型取值不为Null。

    • :条件表达式右值,支持选择前一个步骤的输入字段或者输入常量,选择输入常量时,不支持正则,支持Java转义字符,例如\t(制表符)、\n(换行符)、\u0001(unicode字符)

  3. 添加规则:可以添加多个过滤规则。image

后续操作

完成数据来源数据过滤的配置后,可单击数据输出预览,以便查看当前节点的输出数据结果,是否符合您的需求。