附录：数据探查典型场景说明

计算引擎

类别

异常原因

解决方法

Cloudera Data Platform 7.x

任务报错

引擎的优化器功能异常。

set hive.optimize.shared.work = false;

亚信DP5.3

内存溢出

Map端和Reduce端的内存溢出。

set mapreduce.map.memory.mb=10150;

set mapreduce.map.java.opts=-Xmx6144m;

set mapreduce.reduce.memory.mb=10150;

set mapreduce.reduce.java.opts=-Xmx8120m;

E-MapReduce3.x、E-MapReduce5.x 、CDH5.x、CDH6.x、FusionInsight 8.x、Cloudera Data Platform 7.x、亚信DP5.3

运行速度慢

设置的Job并发执行数量不足。

set hive.exec.parallel=true;

set hive.exec.parallel.thread.number=16;