本文介绍过滤算子的使用方法及注意事项。
用途
过滤算子可以将数据按照过滤条件配置的内容进行过滤,然后输出到下个节点。
适用场景
计算链路 | 计算引擎 | 是否支持 |
离线 | MaxCompute | 是 |
Hive | 是 | |
HiveStorage | 是 | |
RDS/MySQL | 是 |
使用说明
过滤条件
配置过滤的筛选条件,比如"语文成绩>80",对于不符合条件的会过滤掉,不会传到下个节点。
过滤条件支持逻辑运行及多重嵌套,且支持表达式配置。
输出字段
输出的字段默认继承上个节点的输出,在经过这个算子之后,可以配置需要输出到下个节点的字段。
输出的字段可以设置别名和代码别名,之后的节点就会使用别名和代码别名。
结果排序
对于输出的结果可以配置排序,有升序和降序,排序的内容支持多个,比如按照年龄升序,并且按照语文成绩降序,并且排序内容支持表达式配置。
对于节点输出的数据支持截取,比如从第100条开始,截取1000条。
说明
只有离线场景才有此功能。
注意事项
过滤算子有且只有一个父级节点,只能过滤父级节点的输出。
过滤节点必须配置过滤条件,不允许为空。
文档内容是否对您有帮助?