阿里云首页

Dataphin集成任务同步成功,数据变成100w+数据了,预期应该是347707条数据

问题描述

Dataphin集成任务配置加载策略是覆盖策略,执行成功后成功,数据变成100w+数据了,预期应该是347707条数据。

2021-11-11 16:56:02.807 [job-1623938] INFO  DlinkTransBase - 

任务启动时刻                    : 2021-11-11 16:55:48
任务结束时刻                    : 2021-11-11 16:56:02
任务总计耗时                    :                 14s
任务平均流量                    :           10.58MB/s
记录写入速度                    :          28975rec/s
读出记录总数                    :              347707
写出记录总数                    :              347707
读写失败总数                    :                   0

2021-11-11 16:56:05.883 Dlink command exit with code: 0

2021-11-11 16:56:11.008 =================================================================
2021-11-11 16:56:11.008 Current task status: SUCCESS
2021-11-11 16:56:11.008 Elapsed time: 26.86 s( Estimated: 10m )
2021-11-11 16:56:11.008 ---------------- voldemort task ends ----------------

问题原因

覆盖目前是只删除自己同步写进去的数据,其他方式写进去的数据不会删,比如其他地方执行了SQL插入,那同步这边删不掉的。

解决方案

可以将该分区删除掉,再进行同步即可。

适用于

  • Dataphin
首页 Dataphin集成任务同步成功,数据变成100w+数据了,预期应该是347707条数据