文档

管理数据流动

更新时间:
一键部署

在进行CPFS Fileset与OSS Bucket之间的数据流动之前,需要确保已经创建对应的数据流动。本文介绍如何在CPFS控制台创建并管理数据流动。

前提条件

  • 已创建CPFS Fileset,且Fileset状态为正常。更多信息,请参见创建Fileset

  • 源端OSS Bucket已设置标签(key: cpfs-dataflow, value: true)。在数据流动的使用过程中,不能删除和修改该标签,否则CPFS数据流动无法访问Bucket的数据。更多信息,请参见OSS Bucket设置标签

  • 如果多个CPFS的数据流动、或者同一个CPFS的多个数据流动的源端存储是同一个OSS Bucket,为了防止多个数据流动向同一个OSS Bucket导出数据时产生数据冲突,需要该OSS Bucket开启版本控制。更多信息,请参见版本控制介绍

  • 如果要配置自动更新,请确认已开通EventBridge服务。更多信息,请参见开通事件总线EventBridge并授权

使用说明

  • 计费

    • 创建数据流动后,会以数据流动带宽收取费用。更多信息,请参见计费项

    • 配置自动更新时,CPFS需要通过EventBridge收集源端OSS存储的对象修改事件,将产生事件费用。更多信息,请参见EventBridge计费说明

  • 权限

    创建数据流动时,CPFS会获取AliyunServiceRoleForNasOssDataflow和AliyunServiceRoleForNasEventNotification服务关联角色。更多信息,请参见服务关联角色

创建数据流动

  1. 登录NAS控制台

  2. 在左侧导航栏,选择文件系统>文件系统列表

  3. 在顶部菜单栏,选择地域。

  4. 文件系统列表页面,单击目标文件系统名称。

  5. 在文件系统详情页面,单击数据流动

  6. 数据流动页签,单击创建数据流动

  7. 创建数据流动对话框中,配置如下参数。

    参数

    说明

    Fileset ID/名称

    选择Fileset。

    重要

    创建数据流动会清空Fileset中的数据,请您确保Fileset中无数据。

    OSS Bucket 名称

    选择源端OSS Bucket,与CPFS Fileset进行关联。

    OSS Bucket SSL

    选择是否启用传输加密(Https)。

    元数据自动更新

    是否开启元数据自动更新功能。

    元数据刷新间隔(分钟)

    当开启元数据自动更新功能时,需要指定元数据刷新间隔时间,单位为分钟。

    OSS prefix

    当开启元数据自动更新功能时,需要指定自动更新目录。

    限制:

    • 长度为2~1024个英文字符。

    • 必须以正斜线(/)开头和结尾。

    • 必须是OSS Bucket中已存在的prefix。

    EventBridge开通状态

    EventBridge服务的状态。

    自动更新依赖EventBridge服务,请确保EventBridge服务为开通状态。

    带宽 MB/s

    数据流动的传输带宽上限,单位:MB/s。

    取值:

    • 600

    • 1200

    • 1500

    数据流动的传输带宽不能超过文件系统的IO带宽。

    SLR授权

    必须同意授权CPFS访问对象存储OSS和EventBridge服务资源的权限关联角色。更多信息,请参见服务关联角色

  8. 单击确定

相关操作

您可以通过控制台查看已创建的数据流动、修改数据流动配置、删除数据流动或停止数据流动。

操作

说明

步骤

查看数据流动

您可以查看已创建的数据流动,并在指定数据流动上创建数据流动任务。

数据流动页签,可以查询指定数据流动的配置信息。

修改数据流动

仅支持修改数据流动的元数据刷新间隔时间、新增OSS prefix自动更新目录、带宽及描述信息。

  1. 数据流动页签,找到目标数据流动。

  2. 单击修改,修改指定数据流动配置信息。

  3. 单击确定

停止数据流动

停止数据流动后,会在下一个计费周期停止计费。

重要

停止数据流动后无法导入和导出数据,当前正在执行的任务也会被取消。

  1. 数据流动页签,找到目标数据流动。

  2. 单击停止,确认目标数据流动。

  3. 单击确定

启用数据流动

支持启用停止状态的数据流动。

  1. 数据流动页签,找到目标数据流动。

  2. 单击启用,确认目标数据流动。

  3. 单击确定

删除数据流动

删除数据流动后会清除指定数据流动的所有任务,且无法同步数据。

  1. 数据流动页签,找到目标数据流动。

  2. 单击删除,确认目标数据流动。

  3. 单击确定