调用CreateDataFlowTask接口创建数据流动任务-文件存储 CPFS-阿里云-文件存储 CPFS(CPFS)-阿里云帮助中心

创建一个数据流动任务。

接口说明

CPFS 使用说明
- 仅 CPFS 2.2.0 及以上版本支持数据流动。您可以在控制台文件系统详情页面查看版本信息。
- 数据流动任务是异步执行的，您可通过 DescribeDataFlowTasks 查询任务执行状态。任务的耗时取决于需要导入、导出的数据量。如果是大量数据，建议拆分成多个任务执行。
- 仅支持在 Running（正常）状态的数据流动上创建数据流动任务。
- 手动执行数据流动任务时，该数据流动的自动数据更新任务会被中断并等待。
- 当创建导出任务时，需要确保 CPFS 待导出的文件绝对路径总长度不能超过 1023 个字符。
CPFS 智算版使用说明
- 仅 CPFS 智算版 2.4.0 及以上版本支持数据流动。您可以在控制台文件系统详情页面查看版本信息。
- 数据流动任务是异步执行的，您可通过 DescribeDataFlowTasks 查询任务执行状态。任务的耗时取决于需要导入、导出的数据量。如果是大量数据，建议拆分成多个任务执行。
- 仅支持在 Running（正常）状态的数据流动上创建数据流动任务。
- 当创建导出任务时，需要确保智算 CPFS 待导出的文件绝对路径总长度不能超过 1023 个字符。
- CPFS 智算版支持批式任务和流式任务两种任务类型。更多信息，请参见任务类型介绍。

调试

您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。

调试

授权信息

下表是API对应的授权信息，可以在RAM权限策略语句的Action元素中使用，用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下：

操作：是指具体的权限点。
访问级别：是指每个操作的访问级别，取值为写入（Write）、读取（Read）或列出（List）。
资源类型：是指操作中支持授权的资源类型。具体说明如下：
- 对于必选的资源类型，用前面加 * 表示。
- 对于不支持资源级授权的操作，用全部资源表示。
条件关键字：是指云产品自身定义的条件关键字。
关联操作：是指成功执行操作所需要的其他权限。操作者必须同时具备关联操作的权限，操作才能成功。

操作

访问级别

资源类型

条件关键字

关联操作

nas:CreateDataFlowTask

create

*DataFlow

acs:nas:{#regionId}:{#accountId}:filesystem/{#filesystemId}

无

请求参数

名称	类型	必填	描述	示例值
FileSystemId	string	是	文件系统 ID。 CPFS 通用版：必须以`cpfs-`开头，例如 cpfs-125487**。 CPFS 智算版：必须以`bmcpfs-`开头，例如 bmcpfs-0015**。	cpfs-099394bd928c****
DataFlowId	string	是	数据流动 ID。	df-194433a5be31****
SrcTaskId	string	否	当指定 SrcTaskId 时，需填写数据流动任务 ID。系统将从目标数据流动任务中复制 TaskAction、DataType 和 EntryList 参数信息，您无需单独指定这些内容。说明不支持数据流动流式任务。	task-29ee8e890f45****
TaskAction	string	否	数据流动任务类型。取值： Import：从源端存储将指定的数据导入至 CPFS。 Export：将 CPFS 上指定的数据导出至源端存储。 StreamImport：从源端存储将指定的数据批量导入至 CPFS。 StreamExport：将 CPFS 上指定的数据批量导出至源端存储。 Evict：释放 CPFS 上文件的数据块，释放后文件在 CPFS 上只保留元数据，您仍能查询该文件，但文件数据块已清除，不占用 CPFS 上的存储容量。当访问该文件数据时，将再从源端存储按需加载。 Inventory：获取 CPFS 上数据流动管理的文件清单，可提供文件在数据流动中的缓存状态。说明 CPFS 智算版仅支持 Import、Export、StreamImport 和 StreamExport。StreamImport 和 StreamExport 仅 CPFS 智算版 2.6.0 版本及以上版本支持。	Import
DataType	string	否	数据流动任务操作的数据类型。取值： Metadata：文件的元数据，包括文件的 timestamp、 ownership、permission 等属性信息。选择 Metadata，只会导入文件的元数据，用户只能看到该文件，但访问该文件数据时，数据从源端存储按需加载。 Data：文件的数据块。 MetaAndData：文件的元数据和数据块。	Metadata
Directory	string	否	数据的源目录。限制：长度为 1~1023 个字符。使用 UTF-8 编码。必须以正斜线（/）开头和结尾。一次只能列举一个目录。当 TaskAction 为 Export 时，该目录必须是 FileSystemPath 内的相对路径。当 TaskAction 为 Import 时，该目录必须是 SourceStoragePath 内的相对路径。当 TaskAction 为 StreamExport 时，该目录必须是 FileSystemPath 内的相对路径。当 TaskAction 为 StreamImport 时，该目录必须是 SourceStoragePath 内的相对路径。说明 StreamImport 和 StreamExport 仅 CPFS 智算版 2.6.0 版本及以上版本支持。	/path_in_cpfs/
EntryList	string	否	数据流动任务执行的文件列表。限制：使用 UTF-8 编码。文件列表总长度小于 64KB。文件列表采用 JSON 格式。单个文件路径长度为 1~1023 个字符，且必须以正斜线（/）开头。当 TaskAction 为 Import 时，列表中每个元素代表一个 OSS Object 名称。当 TaskAction 为 Export 时，列表中每个元素代表一个 CPFS 文件路径。	["/path_in_cpfs/file1", "/path_in_cpfs/file2"]
DryRun	boolean	否	是否对此次创建请求执行预检。预检操作会帮助您检查参数有效性、校验库存等，并不会实际创建实例，也不会产生费用。取值： true：发送检查请求，不会创建实例。检查项包括是否填写了必需参数、请求格式、业务限制和 NAS 库存。如果检查不通过，则返回对应错误。如果检查通过，则返回 200 HttpCode，但 TaskId 为空。 false（默认值）：发送正常请求，通过检查后直接创建实例。	false
ClientToken	string	否	保证请求幂等性，从您的客户端生成一个参数值，确保不同请求间该参数值唯一。 ClientToken 只支持 ASCII 字符，且不能超过 64 个字符。更多信息，请参见如何保证幂等性。说明若您未指定，则系统自动使用 API 请求的 RequestId 作为 ClientToken 标识。每次 API 请求的 RequestId 可能不一样。	123e4567-e89b-12d3-a456-42665544****
ConflictPolicy	string	否	同名文件冲突策略。取值： SKIP_THE_FILE：跳过同名文件。 KEEP_LATEST：比较更新时间，保留最新版本。 OVERWRITE_EXISTING：强制覆盖同名文件。说明当文件系统类型为 cpfs 智算版时，该参数必填。	SKIP_THE_FILE
DstDirectory	string	否	数据流动任务映射目标目录。限制：必须以正斜线（/）开头和结尾，不支持/../。长度为 1~1023 个字符。使用 UTF-8 编码。一次只能列举一个目录。当 TaskAction 为 Export 时，该目录必须是 SourceStoragePath 内的相对路径。当 TaskAction 为 Import 时，该目录必须是 FileSystemPath 内的相对路径。当 TaskAction 为 StreamExport 时，该目录必须是 SourceStoragePath 内的相对路径。当 TaskAction 为 StreamImport 时，该目录必须是 FileSystemPath 内的相对路径。说明 StreamImport 和 StreamExport 仅 CPFS 智算版 2.6.0 版本及以上版本支持。	/path_in_cpfs/
CreateDirIfNotExist	boolean	否	目录不存在时，自动创建目录。取值： true：自动创建目录。 false（默认值）：不自动创建目录。说明 TaskAction = Import 时，该参数生效。仅 CPFS 智算版 2.6.0 版本及以上版本支持。	false
Includes	string	否	过滤 directory 下目录，传输过滤目录内包含的文件夹内容。说明仅在指定了 Directory 参数时，该参数生效。单个文件夹路径长度为 1~1023 个字符，且必须以正斜线（/）开头与结尾，总长度限制不超过 3000 字符。仅 CPFS 智算版支持该功能。	["/test/","/test1/"]
TransferFileListPath	string	否	指定 oss 目录，根据 oss 目录中的 csv 文件的内容同步数据。限制如下。必须以/开头和结尾。区分大小写。长度为 1~1023 个字符之间。使用 UTF-8 编码。说明 TransferFileListPath，Directory 和 EntryList 为互斥参数，只能三者选一。该参数为 oss 下真实存在路径。路径下*.csv 文件存储在 oss 中。 TransferFileListPath 仅支持 Import、Export 功能。 Import 的场景，会将 csv 文件中指定的文件或者目录，从 oss 导入到 cpfs。 Export 的场景，会将 csv 文件中指定的文件或者目录，从 cpfs 导出到 oss csv 文件格式中应该包含 Name、Type 列，Name 为相对路径，Type 支持 dir 和 file 两种值；如果 type 为 dir，name 后缀必须以/结尾。仅 CPFS 智算版支持该功能。	/test_oss_path/

返回参数

名称	类型	描述	示例值
	object
RequestId	string	请求 ID。	2D69A58F-345C-4FDE-88E4-BF518948****
TaskId	string	数据流动任务 ID。	task-38aa8e890f45****

示例

正常返回示例

JSON格式

{
  "RequestId": "2D69A58F-345C-4FDE-88E4-BF518948****",
  "TaskId": "task-38aa8e890f45****"
}

错误码

HTTP status code	错误码	错误信息	描述
400	IllegalCharacters	The parameter contains illegal characters.	参数非法。
400	MissingFileSystemId	FileSystemId is mandatory for this action.	未指定FileSystemId参数。
400	MissingDataFlowId	DataFlowId is mandatory for this action.	未指定DataFlowId参数。
400	InvalidFilesystemVersion.NotSupport	This Api does not support this fileSystem version.	当前接口不支持该版本文件系统。
403	OperationDenied.InvalidState	The operation is not permitted when the status is processing.	状态处理中不允许此操作。
403	OperationDenied.DependencyViolation	The operation is denied due to dependancy violation.	进行该操作的条件不满足。
403	OperationDenied.DataFlowNotSupported	The operation is not supported.	该文件系统不支持数据流动。
404	InvalidParameter.InvalidFormat	The EntryList format is invalid.	指定的EntryList的格式不符合要求。
404	InvalidParameter.SizeTooLarge	The specified EntryList size exceeds 64 KB.	指定的EntryList的大小超过64 KB。
404	InvalidDataFlow.NotFound	The specified data flow does not exist.	指定的数据流动不存在。
404	InvalidTaskAction.NotSupported	The task action is not supported.	指定的任务类型不支持。
404	InvalidTaskAction.PermissionDenied	The task action is not allowed.	指定的任务类型不允许，例如复制系统。
404	InvalidSrcTaskId.NotFound	The SrcTaskId is not found.	指定的 SrcTaskId 不存在。
404	InvalidDataType.NotSupported	The data type is not supported.	指定的数据类型不支持。
404	InvalidSrcTaskId.TaskIdInvalid	Source task ID is invalid.	指定的需要复制的任务 ID 非法
404	InvalidSrcTaskId.TaskIdNotFound	Source task ID is not found.	指定的需要复制的任务 ID 不存在。

访问错误中心查看更多错误码。

变更历史

更多信息，参考变更详情。