数据去重

用途

数据去重算子可以按照指定的字段去除重复的数据，只保留其中一条，然后输出到下个节点。

适用场景

使用说明

选择去重字段

选择需要去重的字段，选中的字段将作为该算子的输出字段，数据中若包含多条重复记录则仅保留第一条数据。