Hue进行SQL交互查询时,需要向YARN申请资源进行计算,如果需要对计算资源进行管理和隔离,则需要配置HiveSQL和SparkSQL的队列。本文为您介绍如何调整YARN队列。

前提条件

已创建E-MapReduce的Hadoop集群,详情请参见创建集群

操作步骤

  1. 进入详情页面。
    1. 通过阿里云账号登录阿里云E-MapReduce控制台
    2. 在顶部菜单栏处,根据实际情况选择地域和资源组
    3. 单击上方的集群管理页签。
    4. 集群管理页面,单击相应集群所在行的详情
  2. 修改或添加自定义配置。
    说明 如果需要修改配置,您可以配置页面,搜索待修改的配置项,直接修改配置项的值。
    • HiveSQL需要根据不同引擎设置HiveServer2:
      1. 在左侧导航栏中,选择集群服务 > Hive
      2. 在Hive页面,单击上方的配置页签。
      3. 服务配置区域,单击hiveserver2-site页签。
      4. hiveserver2-site页签,单击右上角的自定义配置,添加配置信息。
        引擎 参数 描述
        Hive on MR mapreduce.job.queuename 队列名称,您可以自定义。

        本文示例参数值为QUEUENAME。

        Hive on Tez tez.queue.name
        Hive on Spark spark.yarn.queue
      5. 添加完配置信息后,单击确定
      6. 保存配置。
        1. 单击右上角的保存
        2. 确认修改对话框中,输入执行原因,单击确定
    • SparkSQL使用SparkThriftServer,在Spark组件上修改spark-thriftServer配置或添加自定义配置:
      1. 在左侧导航栏中,选择集群服务 > Spark
      2. 单击配置页签。
      3. 单击服务配置区域的spark-thriftServer页签。
      4. spark-thriftServer页签,单击右上角的自定义配置
      5. 新增配置项对话框中,添加参数为spark.yarn.queue,参数值为QUEUENAME的信息,单击确定
      6. 保存配置。
        1. 单击右上角的保存
        2. 确认修改对话框中,输入执行原因,单击确定
  3. 重启服务。
    • 重启Hive的HiveServer2组件。
      1. 在左侧导航栏中,选择集群服务 > Hive
      2. 组件列表区域,单击HiveServer2所在行的重启
      3. 执行集群操作对话框,输入执行原因,单击确定
      4. 确认对话框中,单击确定
    • 重启Spark的ThriftServer组件。
      1. 在左侧导航栏中,选择集群服务 > Spark
      2. 组件列表区域,单击ThriftServer所在行的重启
      3. 执行集群操作对话框,输入执行原因,单击确定
      4. 确认对话框中,单击确定