数据流动概述

功能介绍

CPFS智算版支持以下数据流动功能：

• 账号级别的数据流动

  支持与同账号或跨账号OSS Bucket之间的数据进行数据流动。

• 目录级别的数据流动

  您可以通过创建数据流动，建立从CPFS智算版文件系统任意子目录到OSS Bucket下任意prefix的映射，实现更细粒度的权限控制与更灵活的数据传输。

• 数据的导入与导出

  支持通过创建批式任务或流式任务实现CPFS智算版文件系统与OSS之间的数据导入和导出。批式任务适用于计算任务开始前数据集的预加载；流式任务适用于计算任务训练中模型多个Checkpoint文件持续性的写回与预加载场景。如果任务执行失败，您可以通过任务报告检查失败原因。

  警告

  CPFS智算版会将File Modification timestamps属性导出到OSS Bucket的自定义元数据中，其命名为x-oss-meta-alihbr-sync-mtime，不能删除或修改，否则文件系统中的File Modification timestamps属性会错误。

使用限制

• 数据流动

  • CPFS智算版2.4.0及以上版本支持同账号数据流动，CPFS智算版2.6.0及以上版本支持跨账号数据流动。

  • 单个CPFS智算版文件系统最多支持创建10个数据流动。

  • CPFS智算版文件系统的一个文件路径只能与一个OSS Bucket链接。

  • CPFS智算版文件系统不支持与其他区域的OSS Bucket创建数据流动。

• 数据流动对文件系统的限制

  • 在数据流动关联的文件系统路径中，不可对非空目录执行重命名操作，否则报错Permission Denied或者目录非空。

  • 目录、文件名中的特殊字符需要谨慎使用，支持大小写字母、数字、感叹号（！）、短划线（-）、下划线（_）、半角句号（.）、星号（*）和半角圆括号（()）。

  • 不支持超长路径，数据流动支持的路径最大长度是1023个字符。

• 数据流动任务限制

  • 仅CPFS智算版2.6.0及以上版本支持流式任务，且仅支持通过OpenAPI使用。

  • 导入限制

    • Symlink类型的文件导入到CPFS智算版后，会转变为包含数据的普通文件，并丢失Symlink信息。

    • 如果OSS Bucket存在多个版本，则只复制最新的版本。

    • 不支持长度大于255字节的文件名或子目录名。

  • 导出限制

    • Symlink类型的文件在同步到OSS后，不会同步Symlink所指向的文件，而是会变成一个普通的无数据空白对象。

    • Hardlink类型的文件仅作为普通文件同步到OSS。

    • Socket、Device、Pipe类型的文件导出到OSS Bucket时，会变成一个普通的无数据空白对象。

    • 不支持长度大于1023字符的目录路径。

使用流程

1. 创建数据流动。

   具体操作，请参见创建同账号数据流动或创建跨账号数据流动。

2. 创建批式任务或流式任务。

   具体操作，请参见管理数据流动任务或数据流动流式任务最佳实践。

性能指标

费用说明

CPFS智算版数据流动功能当前公测中，免费使用。