CreateDataFlow - 创建数据流动

基础操作

• CPFS 2.2.0 及以上版本、CPFS 智算版 2.4.0 及以上版本支持数据流动。
• CPFS、CPFS 智算版状态为运行中，才能创建数据流动。
• 一个文件存储 CPFS 或者 CPFS 智算版文件系统最大允许创建 10 个数据流动。
• 创建数据流动一般耗时 2～5 分钟，您可通过 DescribeDataFlows 检查数据流动创建是否完成。

权限

创建数据流动时，文件存储 CPFS 会获取AliyunServiceRoleForNasOssDataflow和AliyunServiceRoleForNasEventNotification两个服务关联角色。更多信息，请参见 CPFS 服务关联角色。

CPFS 使用说明

• 计费

  • 创建数据流动将按照数据流动带宽计费。更多信息，请参见 CPFS 计费说明。
  • 使用自动更新（AutoRefresh）时，需要通过 EventBridge 收集源端 OSS 存储的对象修改事件，事件将产生费用。更多信息，请参见 EventBridge 计费说明。

• 数据流动规格

  • 数据流动带宽（Throughput）支持 600 MB/s、1200 MB/s 和 1500 MB/s 三种规格。数据流动带宽是指该数据流动进行导入或导出数据时能达到的最大传输带宽。
  • 创建一个数据流动，会消耗 1 个文件存储 CPFS 挂载点使用的 vSwitch IP 地址，请您确保该 vSwitch IP 资源充足。
  • 库存查询：当设置 DryRun 为 true 时，可校验创建该规格的数据流动的资源是否满足。

• Fileset

  • 数据流动的目的端是 CPFS 文件系统中的 Fileset。Fileset 是 CPFS 文件系统中一种新的目录树结构，是在父文件系统中的一个小型文件系统，拥有独立的 inode 空间和管理能力。
  • 当文件系统类型为 CPFS 时，创建数据流动时该 Fileset 必须已存在，且不能与其他 Fileset 嵌套。一个 Fileset 上只能创建一个数据流动，对应一个源端存储。
  • Fileset 内的文件数量上限是 100 万，如果从 OSS Bucket 导入的文件数量超过上限，创建新文件会报错no space。

• 自动更新

  • 配置自动更新（AutoRefresh）后，当源端存储数据发生变化时，变化的元数据会自动同步到 CPFS 文件系统，变化的数据会在用户访问文件时按需加载，或者启动数据流动任务加载数据。
  • 自动更新依赖 EventBridge 收集源端 OSS 存储的对象修改事件。需要先开通 EventBridge 服务。
  • 自动更新的作用范围是 prefix，由参数 RefreshPath 指定。一个数据流动最多可配置 5 个自动更新目录。
  • 自动更新间隔（AutoRefreshInterval）指 CPFS 设置的自动更新时间，检查源端 OSS Bucket 该 prefix 内是否存在数据更新，如果有数据更新则启动自动更新任务。当 OSS 源端的对象修改事件频率超过 CPFS 数据流动处理能力时，自动更新任务会堆积，元数据更新会延迟，数据流动的状态为Misconfigured，您可以提升数据流动规格，或者降低 OSS 修改频率来解决。
  • 在文件存储 CPFS 数据流动对 prefix 配置自动更新时，会在用户侧创建事件总线，并创建源端 OSS Bucket 的 prefix 的事件规则。当源端 OSS Bucket 的 prefix 内发生对象修改后，会在 EventBridge 中产生 OSS 事件，由 CPFS 数据流动处理。
  说明 文件存储 CPFS 在 EventBridge 创建的事件总线、事件规则带有Create for cpfs auto refresh的描述，事件总线、事件规则都不能修改或删除，否则自动更新无法正常工作。

• 源端存储

  • 源端存储仅支持 OSS。数据流动的源端存储（SourceStorage）必须是 OSS Bucket。
  • CPFS 数据流动支持加密和非加密两种方式访问 OSS。选择加密（SSL）方式访问 OSS 时，需确认 OSS Bucket 的传输加密支持加密访问方式。
  • 如果多个 CPFS 的数据流动、或者同一个文件存储 CPFS 的多个数据流动的源端存储是同一个 OSS Bucket，为了防止多个文件存储 CPFS 向同一个源导出数据产生数据冲突，需要该 OSS Bucket 开启版本控制。
  • 不支持跨地域的 OSS 数据流动，OSS Bucket 必须与 CPFS 文件系统在同一个地域。
  说明 创建数据流动前，您需要先给源端 OSS Bucket 设置标签（key: cpfs-dataflow, value: true），以便 CPFS 数据流动访问该 Bucket 的数据。在数据流动的使用过程中，不能删除和修改该标签，否则 CPFS 数据流动无法访问 Bucket 的数据。

CPFS 智算版使用说明

• 源端存储

  • 源端存储仅支持 OSS。数据流动的源端存储（SourceStorage）必须是 OSS Bucket。
  • CPFS 智算版数据流动支持加密和非加密两种方式访问 OSS。选择加密（SSL）方式访问 OSS 时，需确认 OSS Bucket 的传输加密支持加密访问方式。
  • 如果多个 CPFS 智算版的数据流动、或者同一个 CPFS 智算版的多个数据流动的源端存储是同一个 OSS Bucket，为了防止多个 CPFS 智算版向同一个源导出数据产生数据冲突，需要该 OSS Bucket 开启版本控制。
  • 不支持跨地域的 OSS 数据流动，OSS Bucket 必须与 CPFS 文件系统在同一个地域。
  • CPFS 智算版 2.6.0 及以上版本支持使用跨账号 OSS 进行数据流动的创建。
  • 只有在使用跨账号的 OSS 时，需要设置 account id 参数。
  • 使用跨账号的 OSS 时，需要先进行账号授权。具体授权请参考跨账号数据流动授权。
    说明 创建数据流动前，您需要先给源端 OSS Bucket 设置标签（key: cpfs-dataflow, value: true），以便 CPFS 智算版数据流动访问该 Bucket 的数据。在数据流动的使用过程中，不能删除和修改该标签，否则 CPFS 智算版数据流动无法访问 Bucket 的数据。

• 数据流动对文件系统的限制

  • 在数据流动关联的文件系统路径中，不可对非空目录执行重命名操作，否则报错 Permission Denied 或者目录非空。
  • 目录、文件名中的特殊字符需要谨慎使用，支持大小写字母、数字、感叹号（！）、短划线（-）、下划线（_）、半角句号（.）、星号（*）和半角圆括号（()）。
  • 不支持超长路径，数据流动支持的路径最大长度是 1023 字符。

• 数据流动导入限制

  • Symlink 类型的文件导入到 CPFS 智算版后，会转变为包含数据的普通文件，并丢失 Symlink 信息。
  • 如果 OSS Bucket 存在多个版本，则只复制最新的版本。
  • 不支持长度大于 255 字节的文件名或子目录名。

• 数据流动导出限制

  • Symlink 类型的文件在同步到 OSS 后，不会同步 Symlink 所指向的文件，而是会变成一个普通的无数据空白对象。
  • Hardlink 类型的文件仅作为普通文件同步到 OSS。
  • Socket、Device、Pipe 类型的文件导出到 OSS Bucket 时，会变成一个普通的无数据空白对象。
  • 不支持长度大于 1023 字符的目录路径。