文档

数据去重

更新时间:

本文介绍数据去重算子的使用方法和注意事项。

用途

数据去重算子可以按照指定的字段去除重复的数据,只保留其中一条,然后输出到下个节点。

适用场景

计算链路

计算引擎

是否支持

离线

MaxCompute

Hive

HiveStorage

RDS/MySQL

使用说明

选择去重字段

选择需要去重的字段,选中的字段将作为该算子的输出字段,数据中若包含多条重复记录则仅保留第一条数据。