本文档主要介绍如何在lindorm文件引擎上开启透明压缩功能。

前提条件

您购买实例时,存储类型必须选择容量型云存储
说明 开启透明压缩功能之后创建的文件才会进行数据压缩,之前创建的文件则不会进行数据压缩。

开启透明压缩

  1. 使用开源HDFS客户端访问文件引擎
  2. 执行以下命令开启某个数据目录的透明压缩功能。
    hdfs dfs -setfattr -n user.lhdfs_compress_enabled /<数据目录的路径> 
    如果您要关闭某个数据目录的透明压缩功能,可以执行以下命令。
    hdfs dfs -setfattr -x user.lhdfs_compress_enabled /<数据目录的路径>
  3. 执行以下命令查看某个数据目录是否已经成功开启透明压缩功能。
    hdfs dfs -getfattr -d /<数据目录的路径>
    如果查询结果如下,表示透明压缩功能开启成功。
    $ hdfs dfs -getfattr -d hdfs://ld-xxxx/tmp
    # file: hdfs://ld-xxxx/tmp
    user.lhdfs_compress_enabled

查看透明压缩的效果

  1. 登录Lindorm控制台
  2. 实例列表页面,定位到已开启透明压缩功能的实例ID,单击实例ID链接。
  3. 在左侧导航栏,单击文件引擎 > 集群管理
  4. UI访问页面,单击ClusterManager
    UI访问
    说明 第一次访问集群管理系统,需要重置UI访问密码。
  5. 在集群管理系统的菜单栏,选择Utilities > Browse the file system
  6. Browse Directory页面,您可以通过以下方式查看某个数据目录或者文件压缩前后的大小。
    • 查看某个数据目录压缩前后的大小。
      Directory Usage区域的输入框中输入数据目录的路径,然后单击GO!进行查询。查询结果如下图所示,您可以看到/tmp压缩前的数据大小为960.89 GB,压缩之后的数据大小为857.37 GB。Directory Usage
    • 查看某个文件压缩前后的大小。
      Directory Usage区域的输入框中输入文件路径,然后单击GO!进行查询。查询结果如下图所示,您可以看到/tmp/terasort/data/1000g_1/part-r-01216压缩前的数据大小为476.84 MB,压缩之后的数据大小为175.77 MB。Directory Usage