使用限制

本文介绍文件存储 HDFS 版的一些使用限制及性能指标。

性能指标

指标项

说明

数据设计持久性

99.999999999%(11个9)

4K平均读延迟

小于1 ms

4K平均写延迟

小于1 ms

最大吞吐

150 GB/s

读+写最大吞吐密度

150 MB/s/TB

最大IOPS

1万 / TB

文件系统限制

限制项

限制说明

每个账号在单个地域内可创建的文件系统数量

3个

单个文件系统可创建的挂载点数量

2个

单个文件系统同一时刻可挂载计算节点的数量

无限制

单个文件系统的最大目录层级

1000层

单个文件系统最大文件数量或目录数量

10亿

单个文件系统最大容量

1 PiB

每个账号在单个地域内可以创建的权限组数量

10个

单个权限组最多可以包含权限规则数量

100个

单个挂载点同一时刻的活跃进程数

支持10000个SDK进程运行

协议功能限制

  • 不支持符号链接(Symbolic Links)。

  • 不支持文件拼接(concat)。

  • 不支持快照(Snapshot)相关操作。

  • 不支持代理令牌(Delegation Token)、checksum(setWriteChecksum、setVerifyChecksum)相关操作。

  • 不支持ACL相关操作。

  • 不支持文件块位置信息(FileBlockLocations)。

  • 路径、文件和目录命名说明

    • 路径

      • 仅支持以Unicode编码的字符或字符串。

      • 路径的元素不能包含0~31的ASCII码。

    • 文件名和目录:

      • 不能为空字符串、单个点(.)和两个点(..)。

      • 不能包含冒号(:)、正斜线(/)和波浪线(~)。

Hadoop fs命令限制

  • 不支持快照(snapshot)相关命令(createSnapshot、deleteSnapshot、renameSnapshot)。

  • 不支持ACL相关命令(setfacl、getfacl)。

更多有关开源Hadoop的信息,请参见Hadoop文档

API限制

不支持Web HDFS REST API。