文档

管理数据流动

更新时间:

在实现CPFS智算版文件系统与OSS Bucket之间的数据流动之前,需要确保已经创建了对应的数据流动。本文介绍如何在文件存储控制台创建并管理CPFS智算版数据流动。

前提条件

  • 源端OSS Bucket已设置标签(key: cpfs-dataflow, value: true)。在数据流动的使用过程中,不能删除和修改该标签,否则CPFS智算版文件系统数据流动无法访问Bucket的数据。更多信息,请参见OSS Bucket设置标签

  • 如果多个CPFS智算版文件系统的数据流动,或者同一个CPFS智算版文件系统的多个数据流动的源端存储是同一个OSS Bucket,为了防止多个数据流动向同一个OSS Bucket导出数据时产生数据冲突,需要该OSS Bucket开启版本控制。更多信息,请参见版本控制介绍

创建数据流动

  1. 登录NAS控制台

  2. 在左侧导航栏,选择文件系统>文件系统列表

  3. 在顶部菜单栏,选择地域。

  4. 文件系统列表页面,单击目标文件系统名称。

  5. 在文件系统详情页面,单击数据流动

  6. 数据流动页签,单击创建数据流动

  7. 创建数据流动对话框中,配置如下参数。

    参数

    说明

    文件系统路径

    指定与OSS进行数据流动的路径。

    限制:

    • 长度为1~1023个英文字符。

    • 必须以正斜线(/)开头和结尾。

    • 必须是CPFS智算版文件系统内的目录。

    OSS Bucket 名称

    选择源端OSS Bucket,与CPFS智算版文件系统路径进行关联。

    OSS Object Prefix

    源端OSS Bucket的路径。

    限制:

    • 长度为1~1023个英文字符。

    • 必须以正斜线(/)开头和结尾。

    • 必须是OSS Bucket中已存在的prefix。

    OSS Bucket SSL

    选择是否启用传输加密(Https)。

    SLR授权

    首次创建数据流动时,必须同意授权CPFS访问对象存储OSS服务资源的权限关联角色。更多信息,请参见服务关联角色

  8. 单击确定

相关操作

您可以通过控制台查看已创建的数据流动、修改数据流动配置、删除数据流动或停止数据流动。

操作

说明

步骤

查看数据流动

您可以查看已创建的数据流动,并在指定数据流动上创建数据流动任务。

数据流动页签,可以查询指定数据流动的配置信息。

修改数据流动

仅支持修改数据流动的描述。

  1. 数据流动页签,找到目标数据流动。

  2. 单击修改,修改指定数据流动配置信息。

  3. 单击确定

删除数据流动

删除数据流动后会清除指定数据流动的所有任务,且无法同步数据。

  1. 数据流动页签,找到目标数据流动。

  2. 单击删除,确认目标数据流动。

  3. 单击确定

后续操作

创建数据流动成功后,您还需要根据需求创建导出或导入任务,实现CFPFS智算版文件系统与OSS Bucket之间的数据流动。具体操作,请参见创建数据流动任务

  • 本页导读 (1)
文档反馈