Dataphin集成任务向ES数据源写数据为什么会重建索引

问题描述

Dataphin集成任务向ES数据源写数据为什么会重建索引?

2022-11-24 17:31:02.989 [job-8771352] INFO  ESClient - delete index XXX
2022-11-24 17:31:03.875 [job-8771352] INFO  ESClient - create index XXX
2022-11-24 17:31:04.014 [job-8771352] INFO  ESClient - create [XXX] index success

解决方案

当选择覆盖模式进行数据写入的时候,插件会进行索引的删除重建动作。

如果选择覆盖,则一定先删除索引再重建;如果选择追加,则只能按照ES的主键进行覆盖。如果没有主键,则全部追加;如果有配置主键,则按照主键覆盖数据。但是已存在的数据如果没有被新增的主键覆盖,仍然还是存在的。

适用于

  • Dataphin-ElasticSearch输出
阿里云首页 相关技术圈