管理数据流动
在实现CPFS智算版文件系统与OSS Bucket之间的数据流动之前,需要确保已经创建了对应的数据流动。本文介绍如何在文件存储控制台创建并管理CPFS智算版数据流动。
前提条件
源端OSS Bucket已设置标签(key: cpfs-dataflow, value: true)。在数据流动的使用过程中,不能删除和修改该标签,否则CPFS智算版文件系统数据流动无法访问Bucket的数据。更多信息,请参见OSS Bucket设置标签。
为了防止多个数据流动向同一个OSS Bucket导出数据时产生数据冲突,需要该OSS Bucket开启版本控制。更多信息,请参见版本控制介绍。
创建同账号数据流动
登录NAS控制台。
在左侧导航栏,选择文件系统>文件系统列表。
在顶部菜单栏,选择地域。
在文件系统列表页面,单击目标文件系统名称。
在文件系统详情页面,单击数据流动。
在数据流动页签,单击创建数据流动。
在创建数据流动对话框中,配置如下参数。
参数
说明
CPFS文件系统路径
指定与OSS进行数据流动的路径。
限制:
长度为1~1023个英文字符。
必须以正斜线(/)开头和结尾。
OSS Bucket
源端OSS Bucket与CPFS智算版文件系统路径进行关联。
选择在当前账号选择一个Bucket,然后在下拉框中选择目标OSS Bucket的名称。
OSS Object Prefix
源端OSS Bucket的路径。
限制:
长度为1~1023个英文字符。
必须以正斜线(/)开头和结尾。
必须是OSS Bucket中已存在的prefix。
OSS Bucket SSL
选择是否使用HTTPS访问OSS。
SLR授权
首次创建数据流动时,必须同意授权CPFS访问对象存储OSS服务资源的权限关联角色。更多信息,请参见文件存储CPFS服务关联角色。
单击确定。
单击确定后,系统会校验输入信息的正确性,一般花费1~2分钟,校验完成后会自动关闭窗口,请不要手动关闭窗口。
创建跨账号数据流动
当您需要将账号B下的源端OSS Bucket的数据流动至账号A下的CPFS智算版文件系统时,您需要先登录Bucket所在账号并进行AliyunNasCrossAccountDataFlowDefaultRole角色授权,并将CPFS智算版文件系统所在账号的UID加入该角色权限中。然后登录账号A创建跨账号数据流动和数据导入导出任务等。
本文以阿里云账号A下的CPFS智算版文件系统与账号B下的OSS Bucket之间的数据流动为例,为您进行介绍。
操作步骤
为源端OSS Bucket所在账号授权。
使用账号B登录NAS控制台。
在概览页面的常用入口区域,单击授权管理。
在授权管理面板,单击跨账号数据流动授权区域的前往授权。
单击同意授权。
返回NAS控制台的授权管理面板,单击跨账号数据流动授权区域的查看详情,进入AliyunNasCrossAccountDataFlowDefaultRole角色的详情页面。
在信任策略页签,单击编辑信任策略。
将
Service
字段修改为阿里云账号@nas.aliyuncs.com
的格式。例如,阿里云账号A是
178321033379****
,则需要将Service
中的nas.aliyuncs.com
修改为178321033379****@nas.aliyuncs.com
,表示该XX角色可以被阿里云账号A178321033379****@nas.aliyuncs.com
下的数据流动服务扮演。{ "Statement": [ { "Action": "sts:AssumeRole", "Effect": "Allow", "Principal": { "Service": [ "178321033379****@nas.aliyuncs.com" ] } } ], "Version": "1" }
创建跨账号数据流动。
使用账号A登录NAS控制台。
在左侧导航栏,选择文件系统>文件系统列表。
在顶部菜单栏,选择地域。
在文件系统列表页面,单击目标文件系统名称。
在文件系统详情页面,单击数据流动。
在数据流动页签,单击创建数据流动。
在创建数据流动对话框中,配置如下参数。
参数
说明
CPFS文件系统路径
指定与OSS进行数据流动的路径。
限制:
长度为1~1023个英文字符。
必须以正斜线(/)开头和结尾。
OSS Bucket
源端OSS Bucket与CPFS智算版文件系统路径进行关联。
选择在另一个账号中指定一个Bucket,然后在账号ID框中输入源端OSS Bucket所在账号的UID,在Bucket名称框中输入目标源端OSS Bucket的Bucket名称。
OSS Object Prefix
源端OSS Bucket的路径。
限制:
长度为1~1023个英文字符。
必须以正斜线(/)开头和结尾。
必须是OSS Bucket中已存在的prefix。
OSS Bucket SSL
选择是否使用HTTPS访问OSS。
单击确定。
单击确定后,系统会校验输入信息的正确性,一般花费1~2分钟,校验完成后会自动关闭窗口,请不要手动关闭窗口。
相关操作
您可以通过控制台查看已创建的数据流动、修改数据流动配置、删除数据流动或停止数据流动。
操作 | 说明 | 步骤 |
查看数据流动 | 您可以查看已创建的数据流动,并在指定数据流动上创建数据流动任务。 | 在数据流动页签,可以查询指定数据流动的配置信息。 |
修改数据流动 | 仅支持修改数据流动的描述。 |
|
删除数据流动 | 删除数据流动后会清除指定数据流动的所有任务,且无法同步数据。 重要 如果有运行中的流式任务或者正在运行中的批式任务,则不能删除数据流动。 |
|
后续操作
创建数据流动成功后,您还需要根据需求创建导出或导入任务,实现CFPFS智算版文件系统与OSS Bucket之间的数据流动。具体操作,请参见创建任务。