通过设置目录配额限制目录容量以及目录下的子目录和文件数量

更新时间:2025-04-09 01:24:26

如果需要限制OSS-HDFS服务的目录容量以及目录下的文件或者子目录的数量,避免因单个目录容量或者目录下的子目录和文件数量过大,出现超额计费的问题,您可以使用目录配额功能。

配额说明

  • 容量配额:目录下(包括子目录和文件)使用空间总和的上限。如果超过容量配额,则在该目录下创建文件或者子目录会失败。

  • 数量配额:目录下(包括子目录和文件)数量总和的上限。如果超过数量配额,则在该目录下创建文件或者子目录会失败。

使用限制

当前仅支持对目录的容量和数量(即目录下的子目录和文件)设置配额,不支持对该目录基于不同存储类型分别设置配额。

注意事项

目录配额的容量和数量统计并非实时更新,可能存在一定的延迟。当设置配额的目录数量较多或目录容量较大时,统计结果可能会出现小时级别的误差,存在实际使用量超出配额限制的情况。

操作步骤

  1. 下载Jindofs SDK

  2. 配置访问密钥和环境变量。

    1. 进入已安装的Jindofs JAR包下的bin目录。

      以下以jindofs-sdk-x.x.x-linux为例,如使用其他版本的JindoSDK,请替换为对应的JAR包名称。

      cd jindofs-sdk-x.x.x-linux/bin/
    2. bin目录下新建配置文件jindofs.cfg,并配置阿里云账号的访问密钥(包括Accesskey IDAccesskey Secret),或者满足权限要求的RAM用户的访问密钥。

      [client]
      fs.oss.accessKeyId = yourAccessKeyID              
      fs.oss.accessKeySecret = yourAccessKeySecret
    3. 设置环境变量。

      说明

      <JINDOSDK_CONF_DIR>填写jindofs.cfg配置文件所在的绝对路径。

      export JINDOSDK_CONF_DIR=<JINDOSDK_CONF_DIR>
  3. 开启目录配额功能。

    ./jindofs admin -putConfig -dlsUri oss://<bucket>.<oss-hdfs-endpoint>/ -conf namespace.directory.quota.enable=true
    说明

    <bucket>填写已开通OSS-HDFS服务的Bucket名称。<oss-hdfs-endpoint>填写OSS-HDFS服务的Endpoint,示例值为cn-shanghai.oss-dls.aliyuncs.com。

    查看是否已成功开启目录配额功能。

    ./jindofs admin -getConfig -dlsUri oss://<bucket>.<oss-hdfs-endpoint>/ -name namespace.directory.quota.enable
  4. 设置目录配额。

    • 设置目录数量配额为1000,即该目录下的子目录和文件数量不能超出1000。

      ./jindofs admin -setQuota -dlsUri oss://<bucket>.<oss-hdfs-endpoint>/<path> -q 1000
    • 设置指定目录容量配额为1000,单位为字节。

      ./jindofs admin -setSpaceQuota -dlsUri oss://<bucket>.<oss-hdfs-endpoint>/<path> -q 1000

      设置目录配额后,您可以查看目录配额。

      ./jindofs fs -count -q -v -dlsUri oss://<bucket>.<oss-hdfs-endpoint>/<path>
  5. (可选)清除目录配额。

    如果业务需求发生变化,或者某个目录的存储容量已超出初始规划,不再需要限制该目录的容量或数量(即该目录下的子目录和文件),可以清除目录配额以解除限制。

    • 清除目录数量((即该目录下的子目录和文件))配额。

      ./jindofs admin -clearQuota -dlsUri oss://<bucket>.<oss-hdfs-endpoint>/<path>
    • 清除目录容量配额。

      ./jindofs admin -clearSpaceQuota -dlsUri oss://<bucket>.<oss-hdfs-endpoint>/<path>
  • 本页导读 (1)
  • 配额说明
  • 使用限制
  • 注意事项
  • 操作步骤