管理数据流动
在实现CPFS智算版文件系统与OSS Bucket之间的数据流动之前,需要确保已经创建了对应的数据流动。本文介绍如何在文件存储控制台创建并管理CPFS智算版数据流动。
前提条件
源端OSS Bucket已设置标签(key: cpfs-dataflow, value: true)。在数据流动的使用过程中,不能删除和修改该标签,否则CPFS智算版文件系统数据流动无法访问Bucket的数据。更多信息,请参见OSS Bucket设置标签。
如果多个CPFS智算版文件系统的数据流动,或者同一个CPFS智算版文件系统的多个数据流动的源端存储是同一个OSS Bucket,为了防止多个数据流动向同一个OSS Bucket导出数据时产生数据冲突,需要该OSS Bucket开启版本控制。更多信息,请参见版本控制介绍。
创建数据流动
登录NAS控制台。
在左侧导航栏,选择文件系统>文件系统列表。
在顶部菜单栏,选择地域。
在文件系统列表页面,单击目标文件系统名称。
在文件系统详情页面,单击数据流动。
在数据流动页签,单击创建数据流动。
在创建数据流动对话框中,配置如下参数。
参数
说明
文件系统路径
指定与OSS进行数据流动的路径。
限制:
长度为1~1023个英文字符。
必须以正斜线(/)开头和结尾。
必须是CPFS智算版文件系统内的目录。
OSS Bucket 名称
选择源端OSS Bucket,与CPFS智算版文件系统路径进行关联。
OSS Object Prefix
源端OSS Bucket的路径。
限制:
长度为1~1023个英文字符。
必须以正斜线(/)开头和结尾。
必须是OSS Bucket中已存在的prefix。
OSS Bucket SSL
选择是否启用传输加密(Https)。
SLR授权
首次创建数据流动时,必须同意授权CPFS访问对象存储OSS服务资源的权限关联角色。更多信息,请参见服务关联角色。
单击确定。
相关操作
您可以通过控制台查看已创建的数据流动、修改数据流动配置、删除数据流动或停止数据流动。
操作 | 说明 | 步骤 |
查看数据流动 | 您可以查看已创建的数据流动,并在指定数据流动上创建数据流动任务。 | 在数据流动页签,可以查询指定数据流动的配置信息。 |
修改数据流动 | 仅支持修改数据流动的描述。 |
|
删除数据流动 | 删除数据流动后会清除指定数据流动的所有任务,且无法同步数据。 |
|
后续操作
创建数据流动成功后,您还需要根据需求创建导出或导入任务,实现CFPFS智算版文件系统与OSS Bucket之间的数据流动。具体操作,请参见创建数据流动任务。