管理数据流动

更新时间:

在实现CPFS智算版文件系统与OSS Bucket之间的数据流动之前,需要确保已经创建了对应的数据流动。本文介绍如何在文件存储控制台创建并管理CPFS智算版数据流动。

前提条件

  • 源端OSS Bucket已设置标签(key: cpfs-dataflow, value: true)。在数据流动的使用过程中,不能删除和修改该标签,否则CPFS智算版文件系统数据流动无法访问Bucket的数据。更多信息,请参见OSS Bucket设置标签

  • 为了防止多个数据流动向同一个OSS Bucket导出数据时产生数据冲突,需要该OSS Bucket开启版本控制。更多信息,请参见版本控制介绍

创建同账号数据流动

  1. 登录NAS控制台

  2. 在左侧导航栏,选择文件系统>文件系统列表

  3. 在顶部菜单栏,选择地域。

  4. 文件系统列表页面,单击目标文件系统名称。

  5. 在文件系统详情页面,单击数据流动

  6. 数据流动页签,单击创建数据流动

  7. 创建数据流动对话框中,配置如下参数。

    参数

    说明

    CPFS文件系统路径

    指定与OSS进行数据流动的路径。

    限制:

    • 长度为1~1023个英文字符。

    • 必须以正斜线(/)开头和结尾。

    OSS Bucket

    源端OSS BucketCPFS智算版文件系统路径进行关联。

    选择在当前账号选择一个Bucket,然后在下拉框中选择目标OSS Bucket的名称。

    OSS Object Prefix

    源端OSS Bucket的路径。

    限制:

    • 长度为1~1023个英文字符。

    • 必须以正斜线(/)开头和结尾。

    • 必须是OSS Bucket中已存在的prefix。

    OSS Bucket SSL

    选择是否使用HTTPS访问OSS。

    SLR授权

    首次创建数据流动时,必须同意授权CPFS访问对象存储OSS服务资源的权限关联角色。更多信息,请参见文件存储CPFS服务关联角色

  8. 单击确定

    单击确定后,系统会校验输入信息的正确性,一般花费1~2分钟,校验完成后会自动关闭窗口,请不要手动关闭窗口。

创建跨账号数据流动

当您需要将账号B下的源端OSS Bucket的数据流动至账号A下的CPFS智算版文件系统时,您需要先登录Bucket所在账号并进行AliyunNasCrossAccountDataFlowDefaultRole角色授权,并将CPFS智算版文件系统所在账号的UID加入该角色权限中。然后登录账号A创建跨账号数据流动和数据导入导出任务等。

本文以阿里云账号A下的CPFS智算版文件系统与账号B下的OSS Bucket之间的数据流动为例,为您进行介绍。

操作步骤

  1. 为源端OSS Bucket所在账号授权。

    1. 使用账号B登录NAS控制台

    2. 概览页面的常用入口区域,单击授权管理

      image

    3. 授权管理面板,单击跨账号数据流动授权区域的前往授权

    4. 单击同意授权

    5. 返回NAS控制台的授权管理面板,单击跨账号数据流动授权区域的查看详情,进入AliyunNasCrossAccountDataFlowDefaultRole角色的详情页面。

    6. 信任策略页签,单击编辑信任策略

    7. Service字段修改为阿里云账号@nas.aliyuncs.com的格式。

      例如,阿里云账号A178321033379****,则需要将Service中的nas.aliyuncs.com修改为178321033379****@nas.aliyuncs.com,表示该XX角色可以被阿里云账号A178321033379****@nas.aliyuncs.com下的数据流动服务扮演。

      {
        "Statement": [
          {
            "Action": "sts:AssumeRole",
            "Effect": "Allow",
            "Principal": {
              "Service": [
                "178321033379****@nas.aliyuncs.com" 
              ]
            }
          }
        ],
        "Version": "1"
      }
  2. 创建跨账号数据流动。

    1. 使用账号A登录NAS控制台

    2. 在左侧导航栏,选择文件系统>文件系统列表

    3. 在顶部菜单栏,选择地域。

    4. 文件系统列表页面,单击目标文件系统名称。

    5. 在文件系统详情页面,单击数据流动

    6. 数据流动页签,单击创建数据流动

    7. 创建数据流动对话框中,配置如下参数。

      参数

      说明

      CPFS文件系统路径

      指定与OSS进行数据流动的路径。

      限制:

      • 长度为1~1023个英文字符。

      • 必须以正斜线(/)开头和结尾。

      OSS Bucket

      源端OSS BucketCPFS智算版文件系统路径进行关联。

      选择在另一个账号中指定一个Bucket,然后在账号ID框中输入源端OSS Bucket所在账号的UID,在Bucket名称框中输入目标源端OSS BucketBucket名称。

      OSS Object Prefix

      源端OSS Bucket的路径。

      限制:

      • 长度为1~1023个英文字符。

      • 必须以正斜线(/)开头和结尾。

      • 必须是OSS Bucket中已存在的prefix。

      OSS Bucket SSL

      选择是否使用HTTPS访问OSS。

    8. 单击确定

      单击确定后,系统会校验输入信息的正确性,一般花费1~2分钟,校验完成后会自动关闭窗口,请不要手动关闭窗口。

相关操作

您可以通过控制台查看已创建的数据流动、修改数据流动配置、删除数据流动或停止数据流动。

操作

说明

步骤

查看数据流动

您可以查看已创建的数据流动,并在指定数据流动上创建数据流动任务。

数据流动页签,可以查询指定数据流动的配置信息。

修改数据流动

仅支持修改数据流动的描述。

  1. 数据流动页签,找到目标数据流动。

  2. 单击修改,修改指定数据流动描述信息。

  3. 单击确定

删除数据流动

删除数据流动后会清除指定数据流动的所有任务,且无法同步数据。

重要

如果有运行中的流式任务或者正在运行中的批式任务,则不能删除数据流动。

  1. 数据流动页签,找到目标数据流动。

  2. 单击删除,确认目标数据流动。

  3. 单击确定

后续操作

创建数据流动成功后,您还需要根据需求创建导出或导入任务,实现CFPFS智算版文件系统与OSS Bucket之间的数据流动。具体操作,请参见创建任务