Dataphin集成管道任务报错：“ERROR DlinkTaskPluginCollector - 脏数据”

问题描述

Dataphin集成管道任务报错：“ERROR DlinkTaskPluginCollector - 脏数据”。集成任务输入源为Hive，输出源为ElasticSearch。

问题原因

ElasticSearch的这个index下之前有数据，且sign_tm是Date类型，现在使用追加模式写入数据，ElasticSearch会继续使用之前的Date类型的时间格式去解析要写入的数据，而ElasticSearch默认的时间格式是这样：1900-01-01T08:05:43.000+08:05:43，本次管道配置sign_tm的类型是Text，不再是Date类型，而写进去的数据内容1900-01-01 08:05:43，格式不一致，所以出错。

解决方案

1. ElasticSearch组件的加载策略选择覆盖模式，那ElasticSearch便不会再使用之前的数据类型。覆盖模式，会清除掉之前的数据。
2. 在ElasticSearch组件中，把sign_tm的字段类型修改回Date类型。

适用于

• Dataphin