CreateDataFlow

接口说明

• 计费
  • 创建数据流动将按照数据流动带宽计费。更多信息，请参见CPFS计费说明。
  • 使用自动更新（AutoRefresh）时，需要通过EventBridge收集源端OSS存储的对象修改事件，事件将产生费用。更多信息，请参见OSS事件费用说明。
• 数据流动规格
  • 数据流动带宽（Throughput）支持600 MB/s、1200 MB/s和1500 MB/s三种规格。数据流动带宽是指该数据流动进行导入或导出数据时能达到的最大传输带宽。
  • 创建一个数据流动，会消耗1个CPFS挂载点使用的vSwitch IP地址，请您确保该vSwitch IP资源充足。
  • 库存查询：当设置DryRun为true时，可校验创建该规格的数据流动的资源是否满足。
• Fileset
  • 数据流动的目的端是CPFS文件系统中的Fileset。Fileset是CPFS文件系统中一种新的目录树结构，是在父文件系统中的一个小型文件系统，拥有独立的inode空间和管理能力。
  • 创建数据流动时该Fileset必须已存在，且不能与其他Fileset嵌套。一个Fileset上只能创建一个数据流动，对应一个源端存储。
  • Fileset内的文件数量上限是100万，如果从OSS Bucket导入的文件数量超过上限，创建新文件会报错no space。

    说明 如果Fileset中已存在数据，创建数据流动后，Fileset内的已有数据会被清空，替换为OSS端同步过来的数据。
• 源端存储
  • 源端存储仅支持OSS。数据流动的源端存储（SourceStorage）必须是OSS Bucket，暂时不支持OSS Bucket下的prefix。
  • CPFS数据流动支持加密和非加密两种方式访问OSS。选择加密（SSL）方式访问OSS时，需确认OSS Bucket的传输加密支持加密访问方式。
  • 如果多个CPFS的数据流动、或者同一个CPFS的多个数据流动的源端存储是同一个OSS Bucket，为了防止多个CPFS向同一个源导出数据产生数据冲突，需要该OSS Bucket开启版本控制。
  • 不支持跨地域的OSS数据流动，OSS Bucket必须与CPFS文件系统在同一个地域。

    说明 创建数据流动前，您需要先给源端OSS Bucket设置标签（key: cpfs-dataflow, value: true），以便CPFS数据流动访问该Bucket的数据。在数据流动的使用过程中，不能删除和修改该标签，否则CPFS数据流动无法访问Bucket的数据。
• 自动更新
  • 配置自动更新（AutoRefresh）后，当源端存储数据发生变化时，变化的元数据会自动同步到CPFS文件系统，变化的数据会在用户访问文件时按需加载，或者启动数据流动任务加载数据。
  • 自动更新依赖EventBridge收集源端OSS存储的对象修改事件。需要先开通EventBridge服务。
  • 自动更新的作用范围是prefix，由参数RefreshPath指定。一个数据流动最多可配置5个自动更新目录。
  • 自动更新间隔（AutoRefreshInterval）指CPFS每隔该时间间隔，检查源端OSS Bucket该prefix内是否存在数据更新，如果有数据更新则启动自动更新任务。当OSS源端的对象修改事件频率超过CPFS数据流动处理能力时，自动更新任务会堆积，元数据更新会延迟，数据流动的状态为Misconfigured，您可以提升数据流动规格，或者降低OSS修改频率来解决。
  • 在CPFS数据流动对prefix配置自动更新时，会在用户侧创建事件总线，并创建源端OSS Bucket的prefix的事件规则。当源端OSS Bucket的prefix内发生对象修改后，会在EventBridge中产生OSS事件，由CPFS数据流动处理。

    说明 CPFS在EventBridge创建的事件总线、事件规则带有Create for cpfs auto refresh的描述，事件总线、事件规则都不能修改或删除，否则自动更新无法正常工作。

• 权限

  创建数据流动时，CPFS会获取AliyunServiceRoleForNasOssDataflow和AliyunServiceRoleForNasEventNotification两个服务关联角色。更多信息，请参见CPFS服务关联角色。

• 基础操作
  • 仅CPFS 2.2.0及以上版本支持数据流动。
  • CPFS文件系统状态为运行中，才能创建数据流动。
  • 一个CPFS 文件系统最大允许创建10个数据流动。
  • 创建数据流动一般耗时2～5分钟，您可通过DescribeDataFlows检查数据流动创建是否完成。

请求参数

返回数据

示例

请求示例

http(s)://[Endpoint]/?Action=CreateDataFlow
&FileSystemId=cpfs-099394bd928c****
&FsetId=fset-1902718ea0ae****
&SourceStorage=oss://bucket1
&SourceSecurityType=SSL
&Throughput=600
&Description=Bucket01 DataFlow
&AutoRefreshs=[{"RefreshPath":"/prefix1/prefix2/"}]
&AutoRefreshPolicy=None
&AutoRefreshInterval=10
&DryRun=false
&ClientToken=123e4567-e89b-12d3-a456-42665544****
&公共请求参数

正常返回示例

XML格式

HTTP/1.1 200 OK
Content-Type:application/xml

<CreateDataFlowResponse>
    <RequestId>473469C7-AA6F-4DC5-B3DB-A3DC0D****3E</RequestId>
    <DataFlowId>dfid-194433a5be31****</DataFlowId>
</CreateDataFlowResponse>

JSON格式

HTTP/1.1 200 OK
Content-Type:application/json

{
  "RequestId" : "473469C7-AA6F-4DC5-B3DB-A3DC0D****3E",
  "DataFlowId" : "dfid-194433a5be31****"
}

错误码

访问错误中心查看更多错误码。