Dataphin管道任务失败,报错“error occurred where call hadoop api”

更新时间:

问题描述

Dataphin管道任务失败,报错“error occurred where call hadoop api”。

问题原因

  • Hive表字段改动导致。
  • Hive表字段改动是要更新管道任务配置的,Hive输出组件的配置要求Hive表字段全部映射,否则就不允许提交,如果是TEXTFILE格式的表,可以追加字段,只要不读取新加的字段就行,而ORC和Parquet格式是具有Schema的,一定要保证写入的数据文件的Schema和表的实际Schema一致。

解决方案

将管道任务更新配置重试。

适用于

  • Dataphin