本文介绍数据去重算子的使用方法和注意事项。
数据去重算子可以按照指定的字段去除重复的数据，只保留其中一条，然后输出到下个节点。
适用场景
计算链路
计算引擎
是否支持
离线
MaxCompute
是
Hive
HiveStorage
RDS/MySQL
选择需要去重的字段，选中的字段将作为该算子的输出字段，数据中若包含多条重复记录则仅保留第一条数据。