Dataphin提交至hive中的任务执行时间过长

问题描述

Dataphin提交至hive中的任务执行时间过长。具体情况如下：Dataphin日志显示2023-04-23 13:47:02.509 至 2023-04-23 13:51:34.297这4分32秒任务是在hive中执行；查看yarn日志 ，hive执行的时间只有28秒；还有4分4秒耗费在哪里呢？

 

解决方案

hive队列资源设置的不合理，hive任务等待时间过长，可以加大最大工作线程数。

Hiveserver2允许在配置文件hive-site.xml中进行配置管理，常用参数有：
hive.server2.thrift.min.worker.threads – 最小工作线程数，默认为5。
hive.server2.thrift.max.worker.threads – 最大工作线程数，默认为500。

适用于

• Dataphin