DataWorks实时同步出现重复数据

更新时间:
复制为 MD 格式

【问题现象】:两条重复数据只是_sequence_id_不同问题

【问题原因】:停掉任务,新加表,启动任务(不重置点位)不会引发数据重复问题,但是failover会回溯位点,会有一些重复数据

比如同步第一次启动实时任务 早上九点到现在 ,中间停掉,在回溯位点到早上九点 sequenceid就会增大,odps无法避免重复,和odps本身有关系,odps没有主键的概念 。

【解决方案】:目前只能在目标端通过sql语法处理重复数据。