调用DescribeDataFlowTasks查询数据流动任务列表_文件存储 CPFS(CPFS)-阿里云帮助中心

查询数据流动流式任务。

接口说明

仅 CPFS 2.2.0 及以上版本、智算 CPFS 2.4.0 及以上版本支持查询数据流动任务。您可以在控制台文件系统详情页面查看版本信息。

调试

您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。

调试

授权信息

当前API暂无授权信息透出。

请求参数

名称	类型	必填	描述	示例值
FileSystemId	string	是	文件系统 ID。 CPFS：必须以`cpfs-`开头，例如 cpfs-125487**。 CPFS 智算版：必须以`bmcpfs-`开头，例如 bmcpfs-0015**。说明仅中国站支持 CPFS 文件系统。	cpfs-099394bd928c****
Filters	array<object>	否	筛选键的信息合集。
	object	否
Key	string	否	筛选键的名称。取值： DataFlowIds: 根据 DataFlow ID 筛选。 TaskIds：根据数据流动任务的 ID 筛选。 Originator：根据数据流动任务的发起者筛选。 TaskActions：根据数据流动任务的类型筛选。 DataTypes：根据数据流动任务的数据类型筛选。 Status：根据数据流动状态筛选。 CreateTimeBegin：筛选指定时间后创建的数据流动任务。 CreateTimeEnd：筛选指定时间前创建的数据流动任务。 StartTimeBegin：筛选指定时间后启动的数据流动任务。 StartTimeEnd：筛选指定时间前启动的数据流动任务。 EndTimeBegin：筛选指定时间后结束的数据流动任务。 EndTimeEnd：筛选指定时间前结束的数据流动任务。	DataFlowIds
Value	string	否	筛选键的值。该参数不支持通配符。 Key 取值为 DataFlowIds 时，Value 取值为数据流动 ID 或数据流动 ID 的一部分。可以是一个或一组 DataFlowId，数据流动 ID 最多可设置 10 个。例如，`dfid-12345678`或`dfid-12345678,dfid-12345679`。当 Key 取值为 TaskId 时，Value 取值为数据流动任务 ID 或数据流动任务 ID 的部分。可以是一个或一组数据流动任务 ID，数据流动任务 ID 最多可设置 10 个。例如，`task-12345678`或`task-12345678,task-12345679`。当 Key 取值为 TaskActions 时，Value 取值为数据流动的任务类型，包括 Import，Export、Evict 和 Inventory。支持组合查询。当 Key 取值为 DataTypes 时，Value 取值为数据流动任务的数据类型，包括 MetaAndData、Metadata 和 Data。支持组合查询。当 Key 取值为 Originator 时，Value 取值为数据流动任务的发起者，包括 User，System。当 Key 取值为 Status 时，Value 取值为数据流动任务的状态，包括 Pending、Executing、Failed、Completed、Canceling 和 Canceled。支持组合查询。当 Key 取值为 CreateTimeBegin 时，Value 取值为数据流动任务创建时间最小值。格式为`yyyy-MM-ddThh:mmZ`。当 Key 取值为 CreateTimeEnd 时，Value 取值为数据流动任务创建时间最大值。格式为`yyyy-MM-ddThh:mmZ`。当 Key 取值为 StartTimeBegin 时，Value 取值为数据流动任务启动时间最小值。格式为`yyyy-MM-ddThh:mmZ`。当 Key 取值为 StartTimeEnd 时，Value 取值为数据流动任务启动时间最大值。格式为`yyyy-MM-ddThh:mmZ`。当 Key 取值为 EndTimeBegin 时，Value 取值为数据流动任务结束时间最小值。格式为`yyyy-MM-ddThh:mmZ`。当 Key 取值为 EndTimeEnd 时，Value 取值为数据流动任务结束时间最大值。格式为`yyyy-MM-ddThh:mmZ`。	dfid-12345678
NextToken	string	否	当请求的返回结果被截断时，您可以使用 NextToken 再次发起请求，获取从当前截断位置之后的内容。	TGlzdFJlc291cmNlU****mVzJjE1MTI2NjY4NzY5MTAzOTEmMiZORnI4NDhVeEtrUT0=
MaxResults	long	否	每次查询结果的个数。取值范围：10~100。默认值：20。	20

返回参数

名称	类型	描述	示例值
	object
RequestId	string	请求 ID。	2D69A58F-345C-4FDE-88E4-BF518948****
NextToken	string	当请求的返回结果被截断时，您可以使用 NextToken 再次发起请求，获取从当前截断位置之后的内容。	TGlzdFJlc291cmNlU****mVzJjE1MTI2NjY4NzY5MTAzOTEmMiZORnI4NDhVeEtrUT0=
TaskInfo	array<object>	数据流动任务的信息集合。
	object
FilesystemId	string	文件系统 ID。	cpfs-099394bd928c****
DataFlowId	string	数据流动 ID。	dfid-194433a5be3****
TaskId	string	数据流动任务 ID。	taskId-12345678
SourceStorage	string	源端存储的访问路径。格式：`<storage type>://<path>`。其中： storage type：目前只支持 OSS。 path：OSS 的 bucket 名称。仅支持小写字母、数字和短划线（-）且必须以小写字母或者数字开头和结尾。长度为 8~128 个英文字符。使用 UTF-8 编码。不能以 http://和 https://开头。说明 OSS Bucket 必须为在该地域已存在的 Bucket。	oss://bucket1
FileSystemPath	string	Fileset 在 CPFS 文件系统中的路径。限制：长度为 2~1024 个英文或中文字符。使用 UTF-8 编码。必须以/开头和结尾。该目录必须是 CPFS 上的 Fileset 目录。	/a/b/c/
Originator	string	数据流动任务的发起者。包括： User：用户是该任务的发起者。 System：该任务是自动更新任务，是 CPFS 根据自动更新间隔时间自动发起的任务。	User
TaskAction	string	数据流动任务类型。包括： Import：从源端存储将指定的数据导入至 CPFS。 Export：将 CPFS 上指定的数据导出至源端存储。 Evict：释放 CPFS 上文件的数据块，释放后文件在 CPFS 上只保留元数据，您仍能查询该文件，但文件数据块已清除，不占用 CPFS 上的存储容量。当访问该文件数据时，将再从源端存储按需加载。 Inventory：获取 CPFS 上数据流动管理的文件清单，可提供文件在数据流动中的缓存状态。	Import
DataType	string	数据流动任务操作的数据类型。包括： Metadata：文件的元数据，包括文件的 timestamp, ownership, permission 等属性信息。选择 Metadata，只会导入文件的元数据，用户只能看到该文件，但访问该文件数据时，数据从源端存储按需加载。 Data：文件的数据块。 MetaAndData：文件的元数据和数据块。说明 CPFS 智算版仅支持 MetaAndData 类型。	MetaAndData
Progress	long	数据流动任务的进度。当前数据流动任务已经执行的操作数量。	240
Status	string	数据流动任务的状态。包括： Pending: 数据流动任务已创建，在排队中未开始执行。 Executing：数据流动任务在执行中。 Failed：数据流动任务执行失败，可以通过查看数据流动任务报告，查看失败原因。 Completed：数据流动任务执行结束，可以通过查看数据流动任务报告，查看所有文件已正确传输。 Canceled：数据流动任务被取消并且没有完成。 Canceling：数据流动任务正在被取消。	Executing
ReportPath`deprecated`	string	数据流动任务报告在 CPFS 文件系统中保存的路径。 CPFS 的任务报告会生成在该 CPFS 的`.dataflow_report`目录中。 CPFS 智算版会返回一个 oss 下载链接，可以通过链接下载任务报告。	/path_in_cpfs/reportfile.cvs
CreateTime	string	任务创建时间。	2021-08-04 18:27:35
StartTime	string	任务开始执行时间。	2021-08-04 18:27:35
EndTime	string	任务结束时间。	2021-08-04 18:27:35
FsPath	string	智能目录路径。	/aa/
ConflictPolicy	string	同名文件冲突策略。	KEEP_LATEST
Directory	string	数据流动任务执行的目录。	/path_in_cpfs/

示例

正常返回示例

JSON格式

{
  "RequestId": "2D69A58F-345C-4FDE-88E4-BF518948****",
  "NextToken": "TGlzdFJlc291cmNlU****mVzJjE1MTI2NjY4NzY5MTAzOTEmMiZORnI4NDhVeEtrUT0=",
  "TaskInfo": {
    "Task": [
      {
        "FilesystemId": "cpfs-099394bd928c****",
        "DataFlowId": "dfid-194433a5be3****",
        "TaskId": "taskId-12345678",
        "SourceStorage": "oss://bucket1",
        "FileSystemPath": "/a/b/c/",
        "Originator": "User",
        "TaskAction": "Import",
        "DataType": "MetaAndData ",
        "Progress": 240,
        "Status": "Executing",
        "ReportPath": "/path_in_cpfs/reportfile.cvs",
        "CreateTime": "2021-08-04 18:27:35",
        "StartTime": "2021-08-04 18:27:35",
        "EndTime": "2021-08-04 18:27:35",
        "FsPath": "/aa/",
        "ConflictPolicy": "KEEP_LATEST",
        "Directory": "/path_in_cpfs/",
        "DstDirectory": "",
        "ErrorMsg": "",
        "ProgressStats": {
          "FilesTotal": 0,
          "FilesDone": 0,
          "ActualFiles": 0,
          "BytesTotal": 0,
          "BytesDone": 0,
          "ActualBytes": 0,
          "RemainTime": 0,
          "AverageSpeed": 0
        },
        "Reports": {
          "Report": [
            {
              "Name": "",
              "Path": ""
            }
          ]
        }
      }
    ]
  }
}

错误码

HTTP status code	错误码	错误信息	描述
400	IllegalCharacters	The parameter contains illegal characters.	参数非法。
400	MissingFileSystemId	FileSystemId is mandatory for this action.	未指定FileSystemId参数。
400	InvalidFilesystemVersion.NotSupport	This Api does not support this fileSystem version.	当前接口不支持该版本文件系统。
403	OperationDenied.DataFlowNotSupported	The operation is not supported.	该文件系统不支持数据流动。
404	InvalidParameter.InvalidNextToken	The specified NextToken is invaild.	-
404	InvalidFileSystem.NotFound	The specified file system does not exist.	指定的文件系统不存在。
404	InvalidDataFlow.NotFound	The specified data flow does not exist.	指定的数据流动不存在。
404	InvalidParameter.InvalidMaxResults	The specified MaxResults is invalid.	指定的MaxResults非法。
404	InvalidFilterParam	The specified Filter.N.Key is invalid.	指定的Filter.N.Key参数非法。

访问错误中心查看更多错误码。

变更历史

变更时间	变更内容概要	操作
2024-09-09	OpenAPI 错误码发生变更、OpenAPI 返回结构发生变更	查看变更详情
2024-02-29	OpenAPI 错误码发生变更、OpenAPI 返回结构发生变更	查看变更详情