Hue(Hadoop User Experience)是开源Hadoop官方提供的图形化用户界面(UI)系统,方便您通过Web UI来访问文件和管理数据。本文主要介绍基于Lindorm Hue半托管组件的功能实践,帮助您快速管理SQL、浏览LDFS文件。

背景信息

Lindorm Hue半托管组件主要提供了SQL编辑器文件浏览器功能:

  • SQL编辑器能够快速编辑SQL语句。基于SQL编辑器,您可以更便捷地创建、管理和执行SQL,并且能够以Excel的形式下载和保存SQL执行结果。

  • 文件浏览器提供可视化LDFS文件浏览功能。

关于Hue的更多说明,请参见Hue官方文档

前提条件

已开通Lindorm计算引擎。如何开通,请参见开通与变配

注意事项

Lindorm Hue组件目前处于内测阶段,如需使用请联系Lindorm技术支持(钉钉号:s0s3eg3)为您添加相关权限。

步骤一:开通Hue

  1. 登录Lindorm管理控制台

  2. 在页面左上角,选择实例所属的地域。

  3. 实例列表页,单击目标实例ID或者目标实例所在行操作列的管理

  4. 在左侧导航栏,单击数据库连接

  5. 单击计算引擎页签,然后单击开通HUE地址

步骤二:登录Hue

  1. 计算引擎页签,获取HUE地址,并单击该地址打开Hue服务页面。

    image

  2. 使用Lindorm宽表引擎账号和密码登录Hue服务,获取方法请参见用户管理

步骤三:使用Hue

配置Session参数

登录Hue后,系统会默认创建Session配置。若您需要新增Session参数,可以通过以下方法进行配置。支持的配置项请参考作业配置说明

  1. 进入SQL编辑器,具体方法请参见使用SQL编辑器。选择Add a property... > Settings,单击右侧+进入Session参数配置页面。

    image

  2. 单击+添加新配置行,待全部参数配置完成后,单击下方+保存当前配置。

    image

  3. 单击Recreate上传Session配置参数。

    image

  4. 新配置参数会在计算节点释放后通过Hue查询时自动生效。主动释放计算节点的方法如下:

    1. 在SQL编辑器,执行SELECT webui()语句获取WebUI地址,通过宽表引擎用户名和密码登录该地址。

      说明

      宽表引擎默认用户名和密码的获取方式:在数据库连接页面,单击宽表引擎页签,复制默认用户名及密码。

    2. 进入WebUI页面,在上方导航栏单击Kyuubi Query Engine

    3. 单击kill,释放当前计算节点。

使用SQL编辑器

在左侧导航栏,单击image进入SQL编辑器。SQL编辑器页面如下:image

区域

说明

SQL编辑器,提供了快速编辑SQL的能力。

SQL运行日志。

Results页签显示当前SQL运行结果。

运行结果显示方式。支持导出当前运行结果、基于当前运行结果生成图表。

SQL会运行在当前用户的Session上,您可以通过右上角的Session入口重建和关闭当前Session。image

重要

如果您重启了Spark Driver,请在Session入口关闭当前Session(如有),并刷新页面。

使用Documents管理SQL

在左侧导航栏,单击image进入Documents页面。image

Hue提供了SQL保存和管理的能力,SQL会以Query的形式保存在Documents中。在Query的基础上能够创建Notebook用于统一管理和运行多个Query。

Documents页面会展示当前保存的所有Query和Notebook,您可以在Documents页面中对Query和Notebook进行管理。

image

使用Files查看LDFS文件

在左侧导航栏,单击image进入Files页面。

image

文件浏览器提供浏览LDFS文件的能力,在Files页面您可以快速查看当前实例的LDFS文件。

重要
  • 所有Hue用户拥有全部目录的读权限,拥有/user目录的写权限。

  • /user目录下创建的目录和上传的文件,创建者/上传者同时具备该目录/文件的读和写权限,其他用户仅具备权限。

管理Hue用户

在左侧导航栏的下方,选择image > Administer Users可进入用户管理页面。Lindorm控制台提供的初始用户具备管理员权限,管理员可以在Administer Users页面管理所有Hue用户。

说明

登录Hue服务的用户将作为您使用计算引擎以及操作LDFS文件系统的用户。