文档

过滤

更新时间:

本文介绍过滤算子的使用方法及注意事项。

用途

过滤算子可以将数据按照过滤条件配置的内容进行过滤,然后输出到下个节点。

适用场景

计算链路

计算引擎

是否支持

离线

MaxCompute

Hive

HiveStorage

RDS/MySQL

使用说明

过滤条件

配置过滤的筛选条件,比如"语文成绩>80",对于不符合条件的会过滤掉,不会传到下个节点。

过滤条件支持逻辑运行及多重嵌套,且支持表达式配置。

输出字段

输出的字段默认继承上个节点的输出,在经过这个算子之后,可以配置需要输出到下个节点的字段。

输出的字段可以设置别名和代码别名,之后的节点就会使用别名和代码别名。

结果排序

对于输出的结果可以配置排序,有升序和降序,排序的内容支持多个,比如按照年龄升序,并且按照语文成绩降序,并且排序内容支持表达式配置。

对于节点输出的数据支持截取,比如从第100条开始,截取1000条。

说明

只有离线场景才有此功能。

注意事项

  1. 过滤算子有且只有一个父级节点,只能过滤父级节点的输出。

  2. 过滤节点必须配置过滤条件,不允许为空。