Dataphin中管道任务报错"child_process.returncode:-9, Dlink command exit with code:247"

问题描述

Dataphin中管道任务报错"child_process.returncode:-9, Dlink command exit with code:247"。

2021-10-26 14:11:23.316 [trans metric report timer] INFO  KettleMetricCollector - Total 999037 records, 60874277 bytes | Speed 6.44MB/s, 110833 records/s | Error 0 records, 0 bytes |  All Task WaitWriterTime 29.442s |  All Task WaitReaderTime 156.653s | Percentage 20.00%
child_process.returncode: -9
2021-10-26 14:11:25 No outputData produced.
2021-10-26 14:11:25 Dlink command exit with code: 247
2021-10-26 14:11:25 =================================================================
2021-10-26 14:11:25 Current task status: FAILED
2021-10-26 14:11:25 Elapsed time: 17.75 s( Estimated: 10m )
2021-10-26 14:11:25 ---------------- voldemort task ends ----------------

问题原因

该问题是因为并发数设置的太大导致的。并发可以逐渐调大，看看调到多少会报错，然后再加内存，再调并发。
Hive的parquet文件比较大，占用内存较多，如果线程设置较大内存就不够用。
该问题是Hive的内存不够，进程直接被杀掉了，没有机会OOM。

解决方案

需要将最大任务并发数由12修改为3。

适用于

• Dataphin