使用限制

更新时间:2025-01-23 06:03:12

本文介绍CPFS智算版文件系统的使用限制。

文件系统

限制项

阈值

说明

限制项

阈值

说明

单个文件系统可创建的挂载点数量

1

单个CPFS智算版文件系统最多支持创建一个VPC挂载点。

是否支持子目录挂载

不支持

不支持通过子目录挂载CPFS智算版文件系统。

单个文件系统的最大容量

1 PiB

单个文件系统最大容量1 PiB。

如需创建5 PiB的文件系统,请提交工单申请创建 。

单个文件系统最大文件或目录数量

100亿个

文件/目录数量随文件系统容量增长而增加。

访问路径最大长度

4096字节

Linux VFS的访问路径(例如:/a/b/c)最大长度为4096字节。

文件名长度

255字节

文件名最大支持255字节。

VPC挂载点支持的ECS数量

6000

ECS通过VPC挂载点访问CPFS智算版时,每300 TiB容量支持500ECS,单个文件系统最大支持挂载6000ECS,如需挂载更多ECS,请提交工单申请。

挂载

仅支持在阿里云人工智能平台 PAI(Platform for AI)(灵骏智算资源、PAI通用计算资源、PAI灵骏智算资源(单租户版))和容器计算服务 ACS(Container Compute Service)(高性能网络GPU型工作负载)中挂载访问,不支持ECS实例访问。

协议

仅支持POSIX协议。

扩容缩容

仅支持扩容CPFS智算版文件系统实例,不支持缩容。扩容步长为10240 GiB,支持扩容到1 PiB。如需创建5 PiB的文件系统,请提交工单申请创建 。

数据流动

  • 数据流动

    • CPFS智算版2.4.0及以上版本支持同账号数据流动,CPFS智算版2.6.0及以上版本支持跨账号数据流动。

    • 单个CPFS智算版文件系统最多支持创建10个数据流动。

    • CPFS智算版文件系统的一个文件路径只能与一个OSS Bucket链接。

    • CPFS智算版文件系统不支持与其他区域的OSS Bucket创建数据流动。

  • 数据流动对路径、文件名和目录名的限制

    • 在数据流动关联的文件系统路径中,不可对非空目录执行重命名操作,否则报错Permission Denied或者目录非空。

    • 目录、文件名中的特殊字符需要谨慎使用。

      • 支持大小写字母、数字、感叹号(!)、短划线(-)、下划线(_)、半角句号(.)、星号(*)和半角圆括号(())特殊字符。

      • 不支持出现以下特殊字符,否则可能会导致您的任务产生非预期的结果或运行失败。

        • 不支持子目录或文件名为双半角句号(..)的文件。

        • 不支持路径包含反斜线(\)、连续反斜线(\\)的文件。

        • 不支持子目录和文件名包含正斜线(/)的文件。

    • 不支持超长路径,数据流动支持的路径最大长度是1023个字符。

  • 数据流动任务限制

    • CPFS智算版2.6.0及以上版本支持流式任务,且仅支持通过OpenAPI使用。

    • 单个数据流动下最多支持同时运行4个批式任务,流式任务无限制。

    • 导入限制

      • Symlink类型的文件导入到CPFS智算版后,会转变为包含数据的普通文件,并丢失Symlink信息。

      • 如果OSS Bucket存在多个版本,则只复制最新的版本。

      • 不支持长度大于255字节的文件名或子目录名。

    • 导出限制

      • Symlink类型的文件在同步到OSS后,不会同步Symlink所指向的文件,而是会变成一个普通的无数据空白对象。

      • Hardlink类型的文件仅作为普通文件同步到OSS。

      • Socket、Device、Pipe类型的文件导出到OSS Bucket时,会变成一个普通的无数据空白对象。

      • 不支持长度大于1023字符的目录路径。

Fileset

重要

当前Fileset功能仅供白名单用户受限申请使用,如果您希望使用Fileset功能,您可先提交工单,申请添加Fileset使用白名单。

  • Fileset

    限制项

    说明

    限制项

    说明

    文件系统

    CPFS智算版2.7.0及以上版本支持Fileset。

    单文件系统可创建的Fileset数量

    500

    Fileset内可创建的文件或目录数量

    100亿

    Fileset

    • 不支持在 Fileset中嵌套Fileset,即当父目录已指定为 Fileset,其子目录不支持指定为Fileset。

    • 不支持跨Fileset创建硬链接、rename操作。

    Fileset路径

    • 路径必须以正斜线(/)开头和结尾。

    • 必须为新路径,不能为已存在路径,Fileset路径不支持修改。

    • Fileset路径为多层目录时,父目录必须是已存在的目录。

    • 路径深度最多为8层,根目录(/)为0层。例如,Fileset路径为/workspace/dir1/则表示路径深度为2层,依此类推。

    • 路径总长度最多为990个字符。

    • 单层目录名称长度最多为255个字符,支持大小写英文字母,可包含数字、下划线(_)、半角句号(.)和短划线(-)。

    Fileset删除

    Fileset只能通过控制台或API删除,直接删除Fileset不会立即释放空间,会有24小时回收。

    如果您需要立即释放空间,可先清空Fileset下的数据,再删除Fileset。数据被删除后无法恢复,请谨慎删除。

  • Fileset配额

    限制项

    说明

    限制项

    说明

    文件系统

    CPFS智算版2.7.0及以上版本支持Fileset配额。

    配额

    一个Fileset路径只支持一个配额。

    配额容量

    最小起步10 GiB,扩容步长为1 GiB。

    配额文件数

    最小起步10,000,扩容步长为1,上限为100亿。

    配额写入

    如果Fileset的写入数据达到容量配额或写入文件数达到文件数配额,都将无法写入新数据。

    配额统计

    配额的统计大约有15分钟的延迟,当前的实际使用量大约15分钟之后才会生效。

    修改配额

    修改目录配额时,设置的配额容量或文件数必须高于已使用容量或文件数,否则会报错。

  • 本页导读 (1)
  • 文件系统
  • 挂载
  • 协议
  • 扩容缩容
  • 数据流动
  • Fileset
AI助理

点击开启售前

在线咨询服务

你好,我是AI助理

可以解答问题、推荐解决方案等