文档

DescribeDataFlows - 查询数据流动列表

更新时间:
一键部署

查询一个CPFS文件系统的数据流动信息。

接口说明

  • 仅 CPFS 2.2.0 及以上版本、智算 CPFS 2.4.0 及以上版本支持数据流动。您可以在控制台文件系统详情页面查看版本信息。
  • 筛选键(Filters)中,FsetIds、DataFlowlds、SourceStorage、ThroughputList、Status 需要做全字匹配,FileSystemPath、Description、SourceStoragePath 支持模糊匹配。
  • 支持组合查询。

调试

您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。

授权信息

当前API暂无授权信息透出。

请求参数

名称类型必填描述示例值
FileSystemIdstring

文件系统 ID。

  • CPFS:必须以cpfs-开头,例如 cpfs-125487****。

  • CPFS 智算版:必须以bmcpfs-开头,例如 bmcpfs-0015****。

说明 仅中国站支持 CPFS 文件系统。
cpfs-099394bd928c****
Filtersarray<object>

查询数据流动的筛选键。

object
Keystring

筛选键的名称。取值:

  • DataFlowIds: 根据 DataFlow ID 筛选。
  • FsetIds:根据 Fileset ID 筛选。
  • FileSystemPath:根据 Fileset 在 CPFS 文件系统中的路径筛选。
  • SourceStorage:根据源端存储的访问路径筛选。
  • ThroughputList:根据数据流动的传输带宽筛选。
  • Description:根据 Fileset 的描述筛选。
  • Status:根据数据流动状态筛选。
FsetIds
Valuestring

筛选键的值。该参数不支持通配符。

  • Key 取值为 DataFlowIds 时,Value 取值为数据流动 ID 或数据流动 ID 的一部分。可以是一个或一组 DataFlowId,数据流动 ID 最多可设置 10 个。例如,dfid-12345678dfid-12345678,dfid-12345679

  • 当 Key 取值为 FsetIds 时,Value 取值为 Fileset Id 或 Fileset ID 的部分。可以是一个或一组 Fileset ID,Fileset ID 最多可设置 10 个。例如,fset-12345678fset-12345678,fset-12345679

  • 当 Key 取值为 FileSystemPath 时,Value 取值为 CPFS 文件系统中的路径或路径的一部分。长度为 1~1024 个字符。

  • 当 Key 取值为 SourceStorage 时,Value 取值为源端存储的访问路径。最长为 1024 个字符。

  • 当 Key 取值为 ThroughputList 时,Value 取值为数据流动的传输带宽且支持组合查询。

  • 当 Key 取值为 Description 时,Value 取值为数据流动的描述或描述的一部分。

  • 当 Key 取值为 Status 时,Value 取值为数据流动状态。

  • 当 Key 取值为 SourceStoragePath 时,Value 取值为源端存储访问路径或访问路径的一部分。最长 1024 个字符。

FsetIds
NextTokenstring

当请求的返回结果被截断时,您可以使用 NextToken 再次发起请求,获取从当前截断位置之后的内容。

TGlzdFJlc291cmNlU****mVzJjE1MTI2NjY4NzY5MTAzOTEmMiZORnI4NDhVeEtrUT0=
MaxResultslong

每次查询结果的个数。

取值范围:10~100。默认值:20。

20

返回参数

名称类型描述示例值
object
RequestIdstring

请求 ID。

2D69A58F-345C-4FDE-88E4-BF518948****
NextTokenstring

当请求的返回结果被截断时,您可以使用 NextToken 再次发起请求,获取从当前截断位置之后的内容。

TGlzdFJlc291cmNlU****mVzJjE1MTI2NjY4NzY5MTAzOTEmMiZORnI4NDhVeEtrUT0=
DataFlowInfoarray<object>

数据流动信息合集。

object
FileSystemIdstring

文件系统 ID。

cpfs-099394bd928c****
DataFlowIdstring

数据流动 ID。

dfid-194433a5be31****
FsetIdstring

Fileset ID。

fset-1902718ea0ae****
Statusstring

数据流动状态。包括:

  • Starting:数据流动正在创建或启动中。
  • Running:数据流动已创建完成,正常运行中。
  • Updating:数据流动正在发生修改,例如提升传输带宽、修改自动更新间隔时间。
  • Deleting:数据流动删除中。
  • Stopping:数据流动停止中。
  • Stopped:数据流动已停止。
  • Misconfigured:数据流动配置异常,例如源端存储无法访问,传输带宽过低无法完成自动更新。
Running
ErrorMessagestring

错误信息。包括:

  • 无(默认值):表示该数据流动状态正常。
  • SourceStorageUnreachable:未查询到源端存储的访问路径。
  • ThroughputTooLow:数据流动带宽过低。
SourceStoragestring

源端存储的访问路径。格式:<storage type>://<path>

其中:

  • storage type:目前只支持 OSS。
  • path:OSS 的 bucket 名称。
    • 仅支持小写字母、数字和短划线(-)且必须以小写字母或者数字开头和结尾。
    • 长度为 8~128 个英文字符。
    • 使用 UTF-8 编码。
    • 不能以 http://和 https://开头。
说明 OSS Bucket 必须为在该地域已存在的 Bucket。
oss://bucket1
SourceSecurityTypestring

源端存储的安全保护类型,如果源端存储必须通过安全保护访问,请指定源端存储的安全保护类型。取值:

  • 无(默认值):表示源端存储不需要通过安全保护方式访问。
  • SSL:通过 SSL 证书保护访问。
SSL
Throughputlong

数据流动的传输带宽上限,单位:MB/s 。取值:

  • 600
  • 1200
  • 1500
说明 数据流动的传输带宽必须小于文件系统的 IO 带宽。
600
Descriptionstring

数据流动的描述。

限制:

  • 长度为 2~128 个英文或中文字符。
  • 必须以大小写字母或中文开头,不能以http://https://开头。
  • 可以包含数字、半角冒号(:)、下划线(_)或者短划线(-)。
Bucket01数据流动
CreateTimestring

Fileset 的创建时间。

执行 ISO8601 标准表示,返回格式:yyyy-MM-ddTHH:mm:ssZ

2021-09-30T10:08:08Z
UpdateTimestring

Fileset 的最近一次更新时间。

执行 ISO8601 标准表示,返回格式:yyyy-MM-ddTHH:mm:ssZ

2021-09-30T10:08:08Z
AutoRefresharray<object>

自动更新策略信息集合。

说明 目前仅 CPFS 支持。
object
RefreshPathstring

自动更新目录,CPFS 仅自动检查该目录下的源端数据是否发生更新并自动导入更新的数据。

限制:

  • 长度为 2~1024 个字符。
  • 使用 UTF-8 编码。
  • 必须以/开头和结尾。
说明 该目录必须是 CPFS 上的已有目录,且必须位于开启了数据流动的 Fileset 中。
/prefix1/prefix2/
FileSystemPathstring

Fileset 在 CPFS 文件系统中的路径。

限制:

  • 长度为 2~1024 个英文或中文字符。
  • 使用 UTF-8 编码。
  • 必须以/开头和结尾。
  • 该目录必须是 CPFS 上的 Fileset 目录。
说明 目前仅 CPFS 支持。
/a/b/c/
FsetDescriptionstring

自动更新的描述。

说明 目前仅 CPFS 支持。
自动更新01
AutoRefreshIntervallong

自动更新间隔时间。每隔该时间间隔,CPFS 会检查目录内是否存在数据更新,如果有数据更新,启动自动更新任务。单位:分钟。

取值范围:5~526600。默认值:10。

说明 目前仅 CPFS 支持。
10
AutoRefreshPolicystring

自动更新策略,源端数据更新以后,数据更新导入到 CPFS 的策略。包括:

  • None:源端的数据更新不自动导入 CPFS,用户可通过数据流动任务导入源端的数据更新。
  • ImportChanged:源端的数据更新自动导入 CPFS。
说明 目前仅 CPFS 支持。
None
SourceStoragePathstring

源端存储 Bucket 内的访问路径。

说明 仅支持 CPFS 智算版。
/prefix/

示例

正常返回示例

JSON格式

{
  "RequestId": "2D69A58F-345C-4FDE-88E4-BF518948****",
  "NextToken": "TGlzdFJlc291cmNlU****mVzJjE1MTI2NjY4NzY5MTAzOTEmMiZORnI4NDhVeEtrUT0=",
  "DataFlowInfo": {
    "DataFlow": [
      {
        "FileSystemId": "cpfs-099394bd928c****",
        "DataFlowId": "dfid-194433a5be31****",
        "FsetId": "fset-1902718ea0ae****",
        "Status": "Running",
        "ErrorMessage": "无",
        "SourceStorage": "oss://bucket1",
        "SourceSecurityType": "SSL",
        "Throughput": 600,
        "Description": "Bucket01数据流动",
        "CreateTime": "2021-09-30T10:08:08Z",
        "UpdateTime": "2021-09-30T10:08:08Z",
        "AutoRefresh": {
          "AutoRefresh": [
            {
              "RefreshPath": "/prefix1/prefix2/"
            }
          ]
        },
        "FileSystemPath": "/a/b/c/",
        "FsetDescription": "自动更新01",
        "AutoRefreshInterval": 10,
        "AutoRefreshPolicy": "None",
        "SourceStoragePath": "/prefix/\n"
      }
    ]
  }
}

错误码

HTTP status code错误码错误信息描述
400IllegalCharactersThe parameter contains illegal characters.参数非法。
400MissingFileSystemIdFileSystemId is mandatory for this action.未指定FileSystemId参数。
400InvalidFilesystemVersion.NotSupportThis Api does not support this fileSystem version.当前接口不支持该版本文件系统。
403OperationDenied.DataFlowNotSupportedThe operation is not supported.该文件系统不支持数据流动。
404InvalidFilterValueThe specified parameter Filter.1.Value is invalid.Filter.1.Value值非法。
404InvalidFileSystem.NotFoundThe specified file system does not exist.指定的文件系统不存在。
404InvalidParameter.InvalidNextTokenThe specified NextToken is invaild.-
404InvalidFilterParamThe specified Filter.N.Key is invalid.指定的Filter.N.Key参数非法。
404InvalidParameter.InvalidMaxResultsThe specified MaxResults is invalid.指定的MaxResults非法。

访问错误中心查看更多错误码。

变更历史

变更时间变更内容概要操作
2024-09-05OpenAPI 错误码发生变更查看变更详情
2024-02-29OpenAPI 错误码发生变更、OpenAPI 返回结构发生变更查看变更详情