本文介绍文件存储 HDFS 版的一些使用限制及性能指标。
性能指标
指标项 | 说明 |
数据设计持久性 | 99.999999999%(11个9) |
4K平均读延迟 | 小于1 ms |
4K平均写延迟 | 小于1 ms |
最大吞吐 | 150 GB/s |
读+写最大吞吐密度 | 150 MB/s/TB |
最大IOPS | 1万 / TB |
文件系统限制
限制项 | 限制说明 |
每个账号在单个地域内可创建的文件系统数量 | 3个 |
单个文件系统可创建的挂载点数量 | 2个 |
单个文件系统同一时刻可挂载计算节点的数量 | 无限制 |
单个文件系统的最大目录层级 | 1000层 |
单个文件系统最大文件数量或目录数量 | 10亿 |
单个文件系统最大容量 | 1 PiB |
每个账号在单个地域内可以创建的权限组数量 | 10个 |
单个权限组最多可以包含权限规则数量 | 100个 |
单个挂载点同一时刻的活跃进程数 | 支持10000个SDK进程运行 |
协议功能限制
不支持符号链接(Symbolic Links)。
不支持文件拼接(concat)。
不支持快照(Snapshot)相关操作。
不支持代理令牌(Delegation Token)、checksum(setWriteChecksum、setVerifyChecksum)相关操作。
不支持ACL相关操作。
不支持文件块位置信息(FileBlockLocations)。
路径、文件和目录命名说明
路径
仅支持以Unicode编码的字符或字符串。
路径的元素不能包含0~31的ASCII码。
文件名和目录:
不能为空字符串、单个点(.)和两个点(..)。
不能包含冒号(:)、正斜线(/)和波浪线(~)。
Hadoop fs命令限制
不支持快照(snapshot)相关命令(createSnapshot、deleteSnapshot、renameSnapshot)。
不支持ACL相关命令(setfacl、getfacl)。
更多有关开源Hadoop的信息,请参见Hadoop文档。
API限制
不支持Web HDFS REST API。