管理数据流动

更新时间:2025-03-24 03:28:25

在实现CPFS智算版文件系统与OSS Bucket之间的数据流动之前,需要确保已经创建了对应的数据流动。本文介绍如何在文件存储控制台创建并管理CPFS智算版数据流动。

前提条件

  • 源端OSS Bucket已设置标签(key: cpfs-dataflow, value: true)。在数据流动的使用过程中,不能删除和修改该标签,否则CPFS智算版文件系统数据流动无法访问Bucket的数据。更多信息,请参见OSS Bucket设置标签

  • 为了防止多个数据流动向同一个OSS Bucket导出数据时产生数据冲突,需要该OSS Bucket开启版本控制。更多信息,请参见版本控制介绍

使用限制

  • CPFS智算版2.4.0及以上版本支持同账号数据流动,CPFS智算版2.6.0及以上版本支持跨账号数据流动。

  • 单个CPFS智算版文件系统最多支持创建10个数据流动。

  • CPFS智算版文件系统的一个文件路径只能与一个OSS Bucket链接。

  • CPFS智算版文件系统不支持与其他区域的OSS Bucket创建数据流动。

更多关于数据流动功能的限制,请参见使用限制

创建同账号数据流动

  1. 登录NAS控制台

  2. 在左侧导航栏,选择文件系统>文件系统列表

  3. 在顶部菜单栏,选择地域。

  4. 文件系统列表页面,单击目标文件系统名称。

  5. 在文件系统详情页面,单击数据流动

  6. 数据流动页签,单击创建数据流动

  7. 创建数据流动对话框中,配置如下参数。

    参数

    说明

    参数

    说明

    CPFS文件系统路径

    指定与OSS进行数据流动的路径。

    限制:

    • 长度为1~1023个英文字符。

    • 必须以正斜线(/)开头和结尾。

    OSS Bucket

    源端OSS BucketCPFS智算版文件系统路径进行关联。

    选择在当前账号选择一个Bucket,然后在下拉框中选择目标OSS Bucket的名称。

    OSS Object Prefix

    源端OSS Bucket的路径。

    限制:

    • 长度为1~1023个英文字符。

    • 必须以正斜线(/)开头和结尾。

    • 必须是OSS Bucket中已存在的prefix。

    OSS Bucket SSL

    选择是否使用HTTPS访问OSS。

    SLR授权

    首次创建数据流动时,必须同意授权CPFS访问对象存储OSS服务资源的权限关联角色。更多信息,请参见文件存储CPFS服务关联角色

  8. 单击确定

    单击确定后,系统会校验输入信息的正确性,一般花费1~2分钟,校验完成后会自动关闭窗口,请不要手动关闭窗口。

创建跨账号数据流动

当您需要将账号B下的源端OSS Bucket的数据流动至账号A下的CPFS智算版文件系统时,您需要先登录Bucket所在账号并进行AliyunNasCrossAccountDataFlowDefaultRole角色授权,并将CPFS智算版文件系统所在账号的UID加入该角色权限中。然后登录账号A创建跨账号数据流动和数据导入导出任务等。

本文以阿里云账号A下的CPFS智算版文件系统与账号B下的OSS Bucket之间的数据流动为例,为您进行介绍。

操作步骤

  1. 为源端OSS Bucket所在账号授权。

    1. 使用账号B登录NAS控制台

    2. 概览页面的常用入口区域,单击授权管理

      image

    3. 授权管理面板,单击跨账号数据流动授权区域的前往授权

    4. 单击同意授权

    5. 返回NAS控制台的授权管理面板,单击跨账号数据流动授权区域的查看详情,进入AliyunNasCrossAccountDataFlowDefaultRole角色的详情页面。

    6. 信任策略页签,单击编辑信任策略

    7. Service字段修改为阿里云账号@nas.aliyuncs.com的格式。

      例如,阿里云账号A178321033379****,则需要将Service中的nas.aliyuncs.com修改为178321033379****@nas.aliyuncs.com,表示该XX角色可以被阿里云账号A178321033379****@nas.aliyuncs.com下的数据流动服务扮演。

      {
        "Statement": [
          {
            "Action": "sts:AssumeRole",
            "Effect": "Allow",
            "Principal": {
              "Service": [
                "178321033379****@nas.aliyuncs.com" 
              ]
            }
          }
        ],
        "Version": "1"
      }
  2. 创建跨账号数据流动。

    1. 使用账号A登录NAS控制台

    2. 在左侧导航栏,选择文件系统>文件系统列表

    3. 在顶部菜单栏,选择地域。

    4. 文件系统列表页面,单击目标文件系统名称。

    5. 在文件系统详情页面,单击数据流动

    6. 数据流动页签,单击创建数据流动

    7. 创建数据流动对话框中,配置如下参数。

      参数

      说明

      参数

      说明

      CPFS文件系统路径

      指定与OSS进行数据流动的路径。

      限制:

      • 长度为1~1023个英文字符。

      • 必须以正斜线(/)开头和结尾。

      OSS Bucket

      源端OSS BucketCPFS智算版文件系统路径进行关联。

      选择在另一个账号中指定一个Bucket,然后在账号ID框中输入源端OSS Bucket所在账号的UID,在Bucket名称框中输入目标源端OSS BucketBucket名称。

      OSS Object Prefix

      源端OSS Bucket的路径。

      限制:

      • 长度为1~1023个英文字符。

      • 必须以正斜线(/)开头和结尾。

      • 必须是OSS Bucket中已存在的prefix。

      OSS Bucket SSL

      选择是否使用HTTPS访问OSS。

    8. 单击确定

      单击确定后,系统会校验输入信息的正确性,一般花费1~2分钟,校验完成后会自动关闭窗口,请不要手动关闭窗口。

相关操作

您可以通过控制台查看已创建的数据流动、修改数据流动配置、删除数据流动或停止数据流动。

操作

说明

步骤

操作

说明

步骤

查看数据流动

您可以查看已创建的数据流动,并在指定数据流动上创建数据流动任务。

数据流动页签,可以查询指定数据流动的配置信息。

修改数据流动

仅支持修改数据流动的描述。

  1. 数据流动页签,找到目标数据流动。

  2. 单击修改,修改指定数据流动描述信息。

  3. 单击确定

删除数据流动

删除数据流动后会清除指定数据流动的所有任务,且无法同步数据。

重要

如果有运行中的流式任务或者正在运行中的批式任务,则不能删除数据流动。

  1. 数据流动页签,找到目标数据流动。

  2. 单击删除,确认目标数据流动。

  3. 单击确定

后续操作

创建数据流动成功后,您还需要根据需求创建导出或导入任务,实现CFPFS智算版文件系统与OSS Bucket之间的数据流动。具体操作,请参见创建任务

  • 本页导读 (1)
  • 前提条件
  • 使用限制
  • 创建同账号数据流动
  • 创建跨账号数据流动
  • 操作步骤
  • 相关操作
  • 后续操作
AI助理

点击开启售前

在线咨询服务

你好,我是AI助理

可以解答问题、推荐解决方案等