Dataphin集成任务同步数据到ElasticSearch报错“failed to parse field [XXX] of type [date] in document with id 'XXX'. Preview of field's value: '1900-01-01 08:05:43”

更新时间:

问题描述

用户集成任务同步数据到ElasticSearch报错“failed to parse field [XXX] of type [date] in document with id 'XXX'. Preview of field's value: '1900-01-01 08:05:43”。

问题原因

这个错误原因是ElasticSearch的这个index下之前有数据,且XXX字段是date类型,使用追加模式写入数据,ElasticSearch会继续使用之前的date类型的时间格式去解析要写入的数据,而ElasticSearch默认的时间格式是:1900-01-01T08:05:43.000+08:05:43这种样子。本次管道配置XXX字段的类型是不再是date类型,而写进去的数据内容1900-01-01 08:05:43,格式不一致,所以出错。

解决方案

1. ElasticSearch组件的加载策略选择覆盖模式,那ElasticSearch便不会再使用之前的数据类型。

2. 在ElasticSearch组件中,把XXX的字段类型修改回date类型。

适用于

  • Dataphin
  • ElasticSearch