Hive内存参数调整

本文介绍如何调整Hive内存参数。

调整场景

随着业务量攀升,当元数据操作引发的作业执行延时增加,并伴有HiveMetaStore服务异常,且监控指标提示内存不足(例如HiveMetaStore内存指标(GC相关)超过阈值),可尝试将HiveMetaStore内存调大。如果HiveServer2也出现上述类似场景,可同时调整HiveServer2内存。

注意事项

如果集群创建时使用数据湖(DLF)统一元数据,则集群内部的HiveMetaStore服务处于未启用状态。关于不同元数据的更多信息,请参见Hive元数据说明

调整Hive内存参数

在集群Hive组件页面,单击配置,输入配置项名称进行修改。1

  • 调整HiveMetaStore内存。

    调整hive_metastore_heapsize(默认内存500 MiB),例如2048(代表2 GiB内存),可根据实际需要及机器内存,调整HiveMetastore内存大小。修改完成后,单击保存,然后在组件状态页面重启HiveMetaStore,观察HiveMetaStore状态。

  • 调整HiveServer2内存。

    调整hive_server2_heapsize,例如2048(代表2 GiB内存),可根据实际需要及机器内存,调整HiveServer2内存大小。修改完成后,单击保存,然后在组件状态页面重启HiveServer2,观察HiveServer2状态。