本文介绍CPFS智算版文件系统的使用限制。
文件系统
限制项 | 阈值 | 说明 |
限制项 | 阈值 | 说明 |
单个文件系统可创建的挂载点数量 | 1个 | 单个CPFS智算版文件系统最多支持创建一个VPC挂载点。 |
是否支持子目录挂载 | 不支持 | 不支持通过子目录挂载CPFS智算版文件系统。 |
单个文件系统的最大容量 | 1 PiB | 单个文件系统最大容量1 PiB。 如需创建5 PiB的文件系统,请提交工单申请创建 。 |
单个文件系统最大文件或目录数量 | 100亿个 | 文件/目录数量随文件系统容量增长而增加。 |
访问路径最大长度 | 4096字节 | Linux VFS的访问路径(例如:/a/b/c)最大长度为4096字节。 |
文件名长度 | 255字节 | 文件名最大支持255字节。 |
VPC挂载点支持的ECS数量 | 6000 | ECS通过VPC挂载点访问CPFS智算版时,每300 TiB容量支持500个ECS,单个文件系统最大支持挂载6000个ECS,如需挂载更多ECS,请提交工单申请。 |
挂载
仅支持在阿里云人工智能平台 PAI(Platform for AI)(灵骏智算资源、PAI通用计算资源、PAI灵骏智算资源(单租户版))和容器计算服务 ACS(Container Compute Service)(高性能网络GPU型工作负载)中挂载访问,不支持ECS实例访问。
协议
仅支持POSIX协议。
扩容缩容
仅支持扩容CPFS智算版文件系统实例,不支持缩容。扩容步长为10240 GiB,支持扩容到1 PiB。如需创建5 PiB的文件系统,请提交工单申请创建 。
数据流动
数据流动
CPFS智算版2.4.0及以上版本支持同账号数据流动,CPFS智算版2.6.0及以上版本支持跨账号数据流动。
单个CPFS智算版文件系统最多支持创建10个数据流动。
CPFS智算版文件系统的一个文件路径只能与一个OSS Bucket链接。
CPFS智算版文件系统不支持与其他区域的OSS Bucket创建数据流动。
数据流动对路径、文件名和目录名的限制
在数据流动关联的文件系统路径中,不可对非空目录执行重命名操作,否则报错
Permission Denied
或者目录非空。目录、文件名中的特殊字符需要谨慎使用。
支持大小写字母、数字、感叹号(!)、短划线(-)、下划线(_)、半角句号(.)、星号(*)和半角圆括号(())特殊字符。
不支持出现以下特殊字符,否则可能会导致您的任务产生非预期的结果或运行失败。
不支持子目录或文件名为双半角句号(..)的文件。
不支持路径包含反斜线(\)、连续反斜线(\\)的文件。
不支持子目录和文件名包含正斜线(/)的文件。
不支持超长路径,数据流动支持的路径最大长度是1023个字符。
数据流动任务限制
仅CPFS智算版2.6.0及以上版本支持流式任务,且仅支持通过OpenAPI使用。
单个数据流动下最多支持同时运行4个批式任务,流式任务无限制。
导入限制
Symlink类型的文件导入到CPFS智算版后,会转变为包含数据的普通文件,并丢失Symlink信息。
如果OSS Bucket存在多个版本,则只复制最新的版本。
不支持长度大于255字节的文件名或子目录名。
导出限制
Symlink类型的文件在同步到OSS后,不会同步Symlink所指向的文件,而是会变成一个普通的无数据空白对象。
Hardlink类型的文件仅作为普通文件同步到OSS。
Socket、Device、Pipe类型的文件导出到OSS Bucket时,会变成一个普通的无数据空白对象。
不支持长度大于1023字符的目录路径。
Fileset
当前Fileset功能仅供白名单用户受限申请使用,如果您希望使用Fileset功能,您可先提交工单,申请添加Fileset使用白名单。
Fileset
限制项
说明
限制项
说明
文件系统
仅CPFS智算版2.7.0及以上版本支持Fileset。
单文件系统可创建的Fileset数量
500个
Fileset内可创建的文件或目录数量
100亿
Fileset
不支持在 Fileset中嵌套Fileset,即当父目录已指定为 Fileset,其子目录不支持指定为Fileset。
不支持跨Fileset创建硬链接、rename操作。
Fileset路径
路径必须以正斜线(/)开头和结尾。
必须为新路径,不能为已存在路径,Fileset路径不支持修改。
Fileset路径为多层目录时,父目录必须是已存在的目录。
路径深度最多为8层,根目录(/)为0层。例如,Fileset路径为/workspace/dir1/则表示路径深度为2层,依此类推。
路径总长度最多为990个字符。
单层目录名称长度最多为255个字符,支持大小写英文字母,可包含数字、下划线(_)、半角句号(.)和短划线(-)。
Fileset删除
Fileset只能通过控制台或API删除,直接删除Fileset不会立即释放空间,会有24小时回收。
如果您需要立即释放空间,可先清空Fileset下的数据,再删除Fileset。数据被删除后无法恢复,请谨慎删除。
Fileset配额
限制项
说明
限制项
说明
文件系统
仅CPFS智算版2.7.0及以上版本支持Fileset配额。
配额
一个Fileset路径只支持一个配额。
配额容量
最小起步10 GiB,扩容步长为1 GiB。
配额文件数
最小起步10,000,扩容步长为1,上限为100亿。
配额写入
如果Fileset的写入数据达到容量配额或写入文件数达到文件数配额,都将无法写入新数据。
配额统计
配额的统计大约有15分钟的延迟,当前的实际使用量大约15分钟之后才会生效。
修改配额
修改目录配额时,设置的配额容量或文件数必须高于已使用容量或文件数,否则会报错。
- 本页导读 (1)
- 文件系统
- 挂载
- 协议
- 扩容缩容
- 数据流动
- Fileset