【问题现象】:两条重复数据只是_sequence_id_不同问题
【问题原因】:停掉任务,新加表,启动任务(不重置点位)不会引发数据重复问题,但是failover会回溯位点,会有一些重复数据。
比如同步第一次启动实时任务 早上九点到现在 ,中间停掉,在回溯位点到早上九点 sequenceid就会增大,odps无法避免重复,和odps本身有关系,odps没有主键的概念 。
【解决方案】:目前只能在目标端通过sql语法处理重复数据。