本文将介绍如何在E-MapReduce上使用Hue。

准备工作

在集群安全组中设置安全组访问,打开8888端口,详情请参见访问链接与端口

注意 设置安全组规则时要针对有限的IP范围。禁止在配置的时候对0.0.0.0/0开放规则。

查看初始密码

Hue服务默认在第一次运行时,如果未设置管理员则将第一个登录用户设置为管理员。因此出于安全考虑,E-MapReduce将默认为Hue服务创建一个名为admin的管理员账号,并为其设置一个随机的初始密码。您可以通过以下方式查看该管理员账号的初始密码:

  1. 通过主账号登录阿里云E-MapReduce控制台
  2. 单击上方的集群管理
  3. 集群管理页面,单击集群右侧的详情
  4. 单击左侧导航栏中的集群服务,在集群服务列表中,选择Hue
  5. 单击配置页签,找到 admin_pwd参数,该参数对应的值就是随机密码。
注意 admin_pwd仅为admin账号的初始密码,在E-MapReduce控制台上改变该密码不会同步到HUE中。如果需要改变admin账号在Hue中的登录密码,请使用该初始密码登录Hue,然后在Hue的用户管理模块中进行修改。

访问Hue

在E-MapReduce控制台中提供了快速访问集群中Hue服务的链接入口,您可通过以下方式访问Hue服务:

  1. 通过主账号登录阿里云E-MapReduce控制台
  2. 单击上方的集群管理
  3. 集群管理页面,单击集群右侧的详情
  4. 在页面左侧导航栏中,单击访问链接与端口
  5. 单击Hue服务所在行的链接。
  6. 输入Hue账号和对应的密码。

创建Hue用户账号

如果您忘记了自己的Hue账号所对应的密码,可以通过以下方式重新创建一个账号:

  1. 通过主账号登录阿里云E-MapReduce控制台
  2. 单击上方的集群管理
  3. 集群管理页面,单击集群右侧的详情
  4. 在页面左侧导航栏中,单击集群基础信息
  5. 主实例组部分获取Master节点的公网IP。
  6. 通过SSH 登录集群的方式登录Master节点。
  7. 执行以下命令,创建新账号。
    /opt/apps/hue/build/env/bin/hue createsuperuser
  8. 输入新用户名、电子邮件,然后输入密码,再次输入密码后,按Enter键。

    如果提示Superuser created successfully,则说明新账号创建成功,稍后用新账号登录Hue即可。

添加/修改配置

您可以通过自定义配置添加相关配置:

  1. 通过主账号登录阿里云E-MapReduce控制台
  2. 单击上方的集群管理
  3. 集群管理页面,单击集群右侧的详情
  4. 在页面左侧导航栏中,单击集群服务
  5. 在集群服务列表中,选择Hue,然后单击配置页签。
  6. 单击右上角的自定义配置,添加配置的key/value值,其中key需要遵循下面规范。
    $section_path.$real_key
    说明
    • $real_key 即为需要添加的实际的key,如 hive_server_host
    • $real_key 前面的 $section_path 可以通过 hue.ini 文件进行查看,例如:

      hive_server_host,通过hue.ini文件可以看出它属于[beeswax]这个section下,则 $section_pathbeeswax

    • 综上,添加的 key 为 beeswax.hive_server_host
    • 同理,如需修改 hue.ini文件中的多级 section [desktop] -> [[ldap]] -> [[[ldap_servers]]] -> [[[[users]]]] ->user_name_attr 的值,则需要配置的 key 为desktop.ldap.ldap_servers.users.user_name_attr

调整YARN队列

HUE进行SQL交互查询时,需要向YARN申请资源进行计算,如果需要对计算资源进行管理和隔离,则需要配置HiveSQL和SparkSQL的对应队列。

  1. 通过主账号登录阿里云E-MapReduce控制台
  2. 单击上方的集群管理
  3. 集群管理页面,单击集群右侧的详情
  4. 单击左侧导航栏中的集群服务
  5. 修改或添加自定义配置。
    • HiveSQL需要根据不同引擎设置HiveServer2:
      注意 本文的QUEUENAME为需要配置对队列名称。
      1. 在集群服务列表中,选择Hive,然后单击配置页签。
      2. 单击服务配置hiveserver2-site页签。
      3. 单击右上角的自定义配置添加相应如下配置:
        引擎 配置项 说明
        Hive on MR mapreduce.job.queuename QUEUENAME
        Hive on Tez tez.queue.name
        Hive on Spark spark.yarn.queue
        说明 若需修改配置,可直接在服务配置页面修改配置项的值。
    • SparkSQL使用SparkThriftServer,在Spark组件上修改spark-thriftServer配置或添加自定义配置:
      1. 在集群服务列表中,选择Spark,然后单击配置页签。
      2. 单击服务配置spark-thriftServer页签。
      3. 单击右上角的自定义配置添加相应如下配置:

        spark.yarn.queue:QUEUENAME

  6. 重启Hue所在集群的HiveServer2和SparkThriftServer。