AI 助理
文档备案控制台
官方文档
输入文档关键字查找
首页

DescribeDataFlowTasks - 查询数据流动任务列表

更新时间：
复制为 MD 格式
我的收藏

查询数据流动任务详细信息。

接口说明

仅 CPFS 2.2.0 及以上版本、CPFS 智算版 2.4.0 及以上版本支持查询数据流动任务。您可以在控制台文件系统详情页面查看版本信息。

调试

您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。

调试

授权信息

下表是API对应的授权信息，可以在RAM权限策略语句的Action元素中使用，用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下：

  • 操作：是指具体的权限点。

  • 访问级别：是指每个操作的访问级别，取值为写入（Write）、读取（Read）或列出（List）。

  • 资源类型：是指操作中支持授权的资源类型。具体说明如下：

    • 对于必选的资源类型，用前面加 * 表示。

    • 对于不支持资源级授权的操作，用全部资源表示。

  • 条件关键字：是指云产品自身定义的条件关键字。

  • 关联操作：是指成功执行操作所需要的其他权限。操作者必须同时具备关联操作的权限，操作才能成功。

操作

访问级别

资源类型

条件关键字

关联操作

nas:DescribeDataFlowTasks

get

*DataFlow

acs:nas:{#regionId}:{#accountId}:filesystem/{#filesystemId}

 无 无

请求参数

名称

类型

必填

描述

示例值
FileSystemId

string

是

文件系统 ID。

  • CPFS 通用版：必须以cpfs-开头，例如 cpfs-099394bd928c****。

  • CPFS 智算版：必须以bmcpfs-开头，例如 bmcpfs-290w65p03ok64ya**** 。

bmcpfs-290w65p03ok64ya****

Filters

array<object>

否

筛选键的信息合集。

object

否

Key

string

否

筛选键的名称。

取值：

  • DataFlowIds: 根据数据流动 ID 筛选。

  • TaskIds：根据数据流动任务的 ID 筛选。

  • Originator：根据数据流动任务的发起者筛选。

  • TaskActions：根据数据流动任务的类型筛选。

  • DataTypes：根据数据流动任务的数据类型筛选。

  • Status：根据数据流动状态筛选。

  • CreateTimeBegin：筛选指定时间后创建的数据流动任务。

  • CreateTimeEnd：筛选指定时间前创建的数据流动任务。

  • StartTimeBegin：筛选指定时间后启动的数据流动任务。

  • StartTimeEnd：筛选指定时间前启动的数据流动任务。

  • EndTimeBegin：筛选指定时间后结束的数据流动任务。

  • EndTimeEnd：筛选指定时间前结束的数据流动任务。

DataFlowIds
Value

string

否

筛选键的值。该参数不支持通配符。

  • Key 取值为 DataFlowIds 时，Value 取值为数据流动 ID 或数据流动 ID 的一部分。可以是一个或一组 DataFlowId，数据流动 ID 最多可设置 10 个。例如，df-194433a5be31****或df-194433a512a2****,df-234533a5be31****。

  • 当 Key 取值为 TaskId 时，Value 取值为数据流动任务 ID 或数据流动任务 ID 的部分。可以是一个或一组数据流动任务 ID，数据流动任务 ID 最多可设置 10 个。例如，task-38aa8e890f45****或task-38aa8e890f45****,task-29ae8e890f45****。

  • 当 Key 取值为 TaskActions 时，Value 取值为数据流动的任务类型，包括 Import，Export、Evict、Inventory、StreamImport 和 StreamExport。支持组合查询。目前 CPFS 智算版只支持 Import、Export、StreamImport 和 StreamExport。StreamImport 和 StreamExport 仅 CPFS 智算版 2.6.0 版本及以上版本支持。

  • 当 Key 取值为 DataTypes 时，Value 取值为数据流动任务的数据类型，包括 MetaAndData、Metadata 和 Data。支持组合查询。

  • 当 Key 取值为 Originator 时，Value 取值为数据流动任务的发起者，包括 User，System。

  • 当 Key 取值为 Status 时，Value 取值为数据流动任务的状态，包括 Pending、Executing、Failed、Completed、Canceling 和 Canceled。支持组合查询。

  • 当 Key 取值为 CreateTimeBegin 时，Value 取值为数据流动任务创建时间最小值。格式为yyyy-MM-ddThh:mmZ。

  • 当 Key 取值为 CreateTimeEnd 时，Value 取值为数据流动任务创建时间最大值。格式为yyyy-MM-ddThh:mmZ。

  • 当 Key 取值为 StartTimeBegin 时，Value 取值为数据流动任务启动时间最小值。格式为yyyy-MM-ddThh:mmZ。

  • 当 Key 取值为 StartTimeEnd 时，Value 取值为数据流动任务启动时间最大值。格式为yyyy-MM-ddThh:mmZ。

  • 当 Key 取值为 EndTimeBegin 时，Value 取值为数据流动任务结束时间最小值。格式为yyyy-MM-ddThh:mmZ。

  • 当 Key 取值为 EndTimeEnd 时，Value 取值为数据流动任务结束时间最大值。格式为yyyy-MM-ddThh:mmZ。

df-194433a5be31****
NextToken

string

否

当请求的返回结果被截断时，您可以使用 NextToken 再次发起请求，获取从当前截断位置之后的内容。

TGlzdFJlc291cmNlU****mVzJjE1MTI2NjY4NzY5MTAzOTEmMiZORnI4NDhVeEtrUT0=
MaxResults

integer

否

每次查询结果的个数。

取值范围：10~100。

默认值：20。

20
WithReports

boolean

否

是否查询报表信息。

  • True（默认值）：查询报表。

  • False：不查询报表。

说明

  • 设置为 False 可以加快查询速度。

  • 仅支持 CPFS 智算版。

True

返回参数

名称

类型

描述

示例值

object

RequestId

string

请求 ID。

2D69A58F-345C-4FDE-88E4-BF518948****
NextToken

string

当请求的返回结果被截断时，您可以使用 NextToken 再次发起请求，获取从当前截断位置之后的内容。

TGlzdFJlc291cmNlU****mVzJjE1MTI2NjY4NzY5MTAzOTEmMiZORnI4NDhVeEtrUT0=
TaskInfo

object

Task

array<object>

数据流动任务的信息集合。

array<object>

FilesystemId

string

文件系统 ID。

bmcpfs-290w65p03ok64ya****
DataFlowId

string

数据流动 ID。

df-194433a5be31****
TaskId

string

数据流动任务 ID。

task-38aa8e890f45****
SourceStorage

string

源端存储的访问地址。格式：<storage type>://[<account id>:]<path>。

其中：

  • storage type：目前只支持 oss。

  • account id：源端存储所属账号的 UID。

  • path：OSS 的 Bucket 名称。限制如下。

    • 仅支持小写字母、数字和短划线（-）且必须以小写字母或者数字开头和结尾。

    • 最长为 128 个字符。

    • 使用 UTF-8 编码。

说明

  • OSS Bucket 必须为在该地域已存在的 Bucket。

  • 仅 CPFS 智算版 2.6.0 及以上版本支持 account id 参数。

oss://178321033379****:bucket-01
FileSystemPath

string

Fileset 在 CPFS 文件系统中的路径。

限制：

  • 长度为 2~1024 个英文或中文字符。

  • 使用 UTF-8 编码。

  • 必须以/开头和结尾。

  • 该目录必须是 CPFS 上的 Fileset 目录。

说明

仅 CPFS 支持该参数。

/a/b/c/
Originator

string

数据流动任务的发起者。 包括：

  • User：用户是该任务的发起者。

  • System：该任务是自动更新任务，是 CPFS 根据自动更新间隔时间自动发起的任务。

说明

仅 CPFS 支持该参数。

User
TaskAction

string

数据流动任务类型。包括：

  • Import：从源端存储将指定的数据导入至 CPFS。

  • Export：将 CPFS 上指定的数据导出至源端存储。

  • StreamImport：从源端存储将指定的数据流式任务导入至 CPFS。

  • StreamExport：将 CPFS 上指定的数据流式任务导出至源端存储。

  • Evict：释放 CPFS 上文件的数据块，释放后文件在 CPFS 上只保留元数据，您仍能查询该文件，但文件数据块已清除，不占用 CPFS 上的存储容量。当访问该文件数据时，将再从源端存储按需加载。

  • Inventory：获取 CPFS 上数据流动管理的文件清单，可提供文件在数据流动中的缓存状态。

说明

StreamImport 和 StreamExport 仅 CPFS 智算版 2.6.0 版本及以上版本支持。

Import
DataType

string

数据流动任务操作的数据类型。包括：

  • Metadata：文件的元数据，包括文件的 timestamp, ownership, permission 等属性信息。选择 Metadata，只会导入文件的元数据，用户只能看到该文件，但访问该文件数据时，数据从源端存储按需加载。

  • Data：文件的数据块。

  • MetaAndData：文件的元数据和数据块。

说明

CPFS 智算版仅支持 MetaAndData 类型。

MetaAndData

Progress

integer

数据流动任务的进度。当前数据流动任务已经执行的操作数量。

50
Status

string

数据流动任务的状态。包括：

  • Pending: 数据流动任务已创建，在排队中未开始执行。

  • Executing：数据流动任务在执行中。

  • Failed：数据流动任务执行失败，可以通过查看数据流动任务报告，查看失败原因。

  • Completed：数据流动任务执行结束，可以通过查看数据流动任务报告，查看所有文件已正确传输。

  • Canceled：数据流动任务被取消并且没有完成。

  • Canceling：数据流动任务正在被取消。

Failed
ReportPath deprecated

string

数据流动任务报告在 CPFS 文件系统中保存的路径。

  • CPFS 的任务报告会生成在该 CPFS 的.dataflow_report目录中。

  • CPFS 智算版会返回一个 oss 下载链接，可以通过链接下载任务报告。

/path_in_cpfs/reportfile.cvs
CreateTime

string

任务创建时间。

2021-08-04 18:27:35
StartTime

string

任务开始执行时间。

2021-08-04 18:27:35
EndTime

string

任务结束时间。

2021-08-04 18:27:35
FsPath

string

智能目录路径。

/aa/
ConflictPolicy

string

同名文件冲突策略。

  • SKIP_THE_FILE：跳过同名文件。

  • KEEP_LATEST：比较更新时间，保留最新版本。

  • OVERWRITE_EXISTING：强制覆盖同名文件。

KEEP_LATEST
Directory

string

数据流动任务执行的目录。

/path_in_cpfs/
DstDirectory

string

数据流动任务映射目标目录。

/path_in_cpfs/

ErrorMsg

string

任务异常原因。

说明

当该字段未返回或者返回为空时，表示没有错误信息。

{"ErrorKey":"PATH_NOT_ACCESSIBLE","ErrorDetail":"lstat /cpfs/370lx1ev9ss27o****/test/abcdfnotfound: no such file or directory"}
ProgressStats

object

数据流动任务进度信息。

FilesTotal

integer

源端扫描到文件数。

3
FilesDone

integer

已完成数据流动文件数（包括跳过）。

3
ActualFiles

integer

实际流动文件数。

3
BytesTotal

integer

源端扫描到数据量。单位：字节。

131092971520
BytesDone

integer

已完成数据流动数据量（包括跳过数据）。单位：字节。

131092971520
ActualBytes

integer

实际流动数据量。单位：字节。

131092971520
RemainTime

integer

预计剩余完成时间。单位：秒。

437
AverageSpeed

integer

平均流动速度。单位：Byte/s。

342279299
Reports

object

Report

array<object>

报告列表。

说明

  • 流式任务不支持报告。

  • 当 WithReport=True 时，该参数会返回 CPFS 智算版报告数据。

  • 仅 CPFS 智算版支持 WithReport 参数。

object

Name

string

报告名称。

  • CPFS：

    TotalFilesReport：任务报告。

  • CPFS 智算版：

    • FailedFilesReport：失败的文件报告。

    • SkippedFilesReport：跳过的文件报告。

    • SuccessFilesReport：成功文件报告。

TotalFilesReport
Path

string

报告链接。

https://a-hbr-temp-cn-hangzhou-staging.oss-cn-hangzhou.aliyuncs.com/temp/report/162319438359****/job-000bb6fwqficjbxk****/job-000bb6fwqficjbxk****_failed.zip?Expires=1721201422&OSSAccessKeyId=LTA****************&Signature=Fp%2BvauORTIVxooXY2tec6z0T%2Bp4%3D
Includes

string

过滤 directory 下目录，传输过滤目录内包含的文件夹内容。

说明

仅 CPFS 智算版支持该功能。

["/test/","/test1/"]

TransferFileListPath

string

指定 oss 目录，根据 oss 目录中的 csv 文件的内容同步数据。

说明

仅 CPFS 智算版支持该功能。

/path_in_cpfs/

示例

正常返回示例

JSON格式

{
  "RequestId": "2D69A58F-345C-4FDE-88E4-BF518948****",
  "NextToken": "TGlzdFJlc291cmNlU****mVzJjE1MTI2NjY4NzY5MTAzOTEmMiZORnI4NDhVeEtrUT0=",
  "TaskInfo": {
    "Task": [
      {
        "FilesystemId": "bmcpfs-290w65p03ok64ya****",
        "DataFlowId": "df-194433a5be31****",
        "TaskId": "task-38aa8e890f45****",
        "SourceStorage": "oss://178321033379****:bucket-01",
        "FileSystemPath": "/a/b/c/",
        "Originator": "User",
        "TaskAction": "Import",
        "DataType": "MetaAndData ",
        "Progress": 50,
        "Status": "Failed",
        "ReportPath": "/path_in_cpfs/reportfile.cvs",
        "CreateTime": "2021-08-04 18:27:35",
        "StartTime": "2021-08-04 18:27:35",
        "EndTime": "2021-08-04 18:27:35",
        "FsPath": "/aa/",
        "ConflictPolicy": "KEEP_LATEST",
        "Directory": "/path_in_cpfs/",
        "DstDirectory": "/path_in_cpfs/\n",
        "ErrorMsg": "{\"ErrorKey\":\"PATH_NOT_ACCESSIBLE\",\"ErrorDetail\":\"lstat /cpfs/370lx1ev9ss27o****/test/abcdfnotfound: no such file or directory\"}",
        "ProgressStats": {
          "FilesTotal": 3,
          "FilesDone": 3,
          "ActualFiles": 3,
          "BytesTotal": 131092971520,
          "BytesDone": 131092971520,
          "ActualBytes": 131092971520,
          "RemainTime": 437,
          "AverageSpeed": 342279299
        },
        "Reports": {
          "Report": [
            {
              "Name": "TotalFilesReport",
              "Path": "https://a-hbr-temp-cn-hangzhou-staging.oss-cn-hangzhou.aliyuncs.com/temp/report/162319438359****/job-000bb6fwqficjbxk****/job-000bb6fwqficjbxk****_failed.zip?Expires=1721201422&OSSAccessKeyId=LTA****************&Signature=Fp%2BvauORTIVxooXY2tec6z0T%2Bp4%3D"
            }
          ]
        },
        "Includes": "[\"/test/\",\"/test1/\"]\n",
        "TransferFileListPath": "/path_in_cpfs/\n"
      }
    ]
  }
}

错误码

HTTP status code

错误码

错误信息

描述
400 IllegalCharacters The parameter contains illegal characters. 参数非法。
400 MissingFileSystemId FileSystemId is mandatory for this action. 未指定FileSystemId参数。
400 InvalidFilesystemVersion.NotSupport This Api does not support this fileSystem version. 当前接口不支持该版本文件系统。
403 OperationDenied.DataFlowNotSupported The operation is not supported. 该文件系统不支持数据流动。
404 InvalidParameter.InvalidNextToken The specified NextToken is invaild.
404 InvalidFileSystem.NotFound The specified file system does not exist. 指定的文件系统不存在。
404 InvalidDataFlow.NotFound The specified data flow does not exist. 指定的数据流动不存在。
404 InvalidParameter.InvalidMaxResults The specified MaxResults is invalid. 指定的MaxResults非法。
404 InvalidFilterParam The specified Filter.N.Key is invalid. 指定的Filter.N.Key参数非法。

访问错误中心查看更多错误码。

变更历史

更多信息，参考变更详情。

上一篇：CancelDataFlowTask - 取消数据流动任务下一篇：ApplyDataFlowAutoRefresh - 添加数据流动自动更新配置