Hue进行SQL交互查询时,需要向YARN申请资源进行计算,如果需要对计算资源进行管理和隔离,则需要配置HiveSQL和SparkSQL的队列。本文为您介绍如何调整YARN队列。
前提条件
已创建E-MapReduce的Hadoop集群,详情请参见创建集群。
操作步骤
- 进入详情页面。
- 通过阿里云账号登录阿里云E-MapReduce控制台。
- 在顶部菜单栏处,根据实际情况选择地域和资源组。
- 单击上方的集群管理页签。
- 在集群管理页面,单击相应集群所在行的详情。
- 修改或添加自定义配置。说明 如果需要修改配置,您可以配置页面,搜索待修改的配置项,直接修改配置项的值。
- HiveSQL需要根据不同引擎设置HiveServer2:
- 在左侧导航栏中,选择集群服务 > Hive。
- 在Hive页面,单击上方的配置页签。
- 在服务配置区域,单击hiveserver2-site页签。
- 在hiveserver2-site页签,单击右上角的自定义配置,添加配置信息。
引擎 参数 描述 Hive on MR mapreduce.job.queuename 队列名称,您可以自定义。 本文示例参数值为QUEUENAME。
Hive on Tez tez.queue.name Hive on Spark spark.yarn.queue - 添加完配置信息后,单击确定。
- 保存配置。
- 单击右上角的保存。
- 在确认修改对话框中,输入执行原因,单击确定。
- SparkSQL使用SparkThriftServer,在Spark组件上修改spark-thriftServer配置或添加自定义配置:
- 在左侧导航栏中,选择集群服务 > Spark。
- 单击配置页签。
- 单击服务配置区域的spark-thriftServer页签。
- 在spark-thriftServer页签,单击右上角的自定义配置。
- 在新增配置项对话框中,添加参数为spark.yarn.queue,参数值为QUEUENAME的信息,单击确定。
- 保存配置。
- 单击右上角的保存。
- 在确认修改对话框中,输入执行原因,单击确定。
- HiveSQL需要根据不同引擎设置HiveServer2:
- 重启服务。
- 重启Hive的HiveServer2组件。
- 在左侧导航栏中,选择集群服务 > Hive。
- 在组件列表区域,单击HiveServer2所在行的重启。
- 在执行集群操作对话框,输入执行原因,单击确定。
- 在确认对话框中,单击确定。
- 重启Spark的ThriftServer组件。
- 在左侧导航栏中,选择集群服务 > Spark。
- 在组件列表区域,单击ThriftServer所在行的重启。
- 在执行集群操作对话框,输入执行原因,单击确定。
- 在确认对话框中,单击确定。
- 重启Hive的HiveServer2组件。