Dataset数据结构参考-人工智能平台 PAI-阿里云

名称	类型	描述	示例值
	object	数据集属性
DatasetId	string	数据集 ID。	d-c0h44g3****j8o4348
UserId	string	用户 ID。	2485765****023475
OwnerId	string	主账户 ID。	1631044****3440
Name	string	数据集名称。	myName
Labels	array	标签列表。
	Label	标签。	{"Key": "env", "Value": "test"}
DataSourceType	string	数据源类型。	NAS
Uri	string	Uri 样例：数据源类型为 OSS： `oss://bucket.endpoint/object` 数据源类型为通用型 NAS： `nas://<nasfisid>.region/subpath/to/dir/` 数据源类型为 CPFS1.0： `nas://<cpfs-fsid>.region/subpath/to/dir/` 数据源类型为 CPFS2.0： `nas://<cpfs-fsid>.region/<protocolserviceid>/` 说明 CPFS1.0 和 CPFS2.0 根据 fsid 的格式来区分：CPFS1.0 格式为 cpfs-<8 位 ascii 字符>，CPFS2.0 格式为 cpfs-<16 为 ascii 字符>。	nas://09f****f2.cn-hangzhou/
GmtCreateTime	string	创建时间。	2021-01-21T17:12:35.232Z
GmtModifiedTime	string	更新时间。	2021-01-21T17:12:35.232Z
DataType	string	数据集的数据类型。取值： COMMON（默认值）：普通。 PIC：图片。 TEXT：文本。 VIDEO：视频。 AUDIO：音频。	COMMON
Property	string	数据集属性。取值： FILE：文件。 DIRECTORY：文件夹。	DIRECTORY
SourceType	string	来源类型。	USER
SourceId	string	来源 ID。	jdnhf***fnrimv
Description	string	数据集的描述。	This is a description of a dataset.
WorkspaceId	string	数据集所在工作空间 ID。	478**
Options	string	扩展字段（选项），JsonString 类型。当 DLC 使用数据集时，可通过配置 mountPath 字段指定数据集默认挂载路径。	{ "mountPath": "/mnt/data/" }
Accessibility	string	工作空间可见度。取值： PRIVATE（默认值）：表示工作空间内自己以及管理员可见。 PUBLIC：工作空间所有用户可见。	PRIVATE
ProviderType	string	数据集的数据源来源类型。取值： Ecs（默认值） Lingjun	Ecs
SourceDatasetId	string	标注数据集的来源数据集 ID。	d-bvfasdfxxxxj8o411
SourceDatasetVersion	string	标注数据集的来源数据集版本。	v2
TagTemplateType	string	iTAG 标注数据集的标注模板。	text-classification
LatestVersion	DatasetVersion	数据集的最新版本信息。
MountAccess	string	MountAccess	RO RW
MountAccessReadWriteRoleIdList	array	具有该数据集读写权限的工作空间角色名列表，PAI 开头的为基础角色 ID，role-开头的为自定义角色 ID。如果列表中包含了"*"，则表示对所有角色都有读写权限。
	string	工作空间角色 ID。	PAI.AlgoOperator
ImportInfo	string	数据集的存储导入配置信息，支持 OSS/NAS/CPFS 等。 OSS { "region": "${region}",//地域 ID "bucket": "${bucket}",//bucket 名称 "path": "${path}" //文件路径 } NAS CPFS 区块内容智算 CPFS 区块内容	{ "region": "cn-wulanchabu", "fileSystemId": "bmcpfs-xxxxxxxxxxx", "path": "/mnt", "mountTarget": "cpfs-xxxxxxxxxxxx-vpc-gacs9f.cn-wulanchabu.cpfs.aliyuncs.com", "isVpcMount": true }
Edition	string	数据集类型。枚举值： BASIC：基础型。不支持数据集文件元数据管理。 ADVANCED：高级型。仅 OSS 类型支持，每个版本支持最多 100 万个文件元数据管理。	BASIC

object

数据集属性

DatasetId

string

数据集 ID。

d-c0h44g3****j8o4348

UserId

string

用户 ID。

2485765****023475

OwnerId

string

主账户 ID。

1631044****3440

Name

string

数据集名称。

myName

Labels

array

标签列表。

Label

标签。

{"Key": "env", "Value": "test"}

DataSourceType

string

数据源类型。

NAS

Uri

string

Uri 样例：

数据源类型为 OSS： oss://bucket.endpoint/object
数据源类型为通用型 NAS： nas://<nasfisid>.region/subpath/to/dir/
数据源类型为 CPFS1.0： nas://<cpfs-fsid>.region/subpath/to/dir/
数据源类型为 CPFS2.0： nas://<cpfs-fsid>.region/<protocolserviceid>/

说明

CPFS1.0 和 CPFS2.0 根据 fsid 的格式来区分：CPFS1.0 格式为 cpfs-<8 位 ascii 字符>，CPFS2.0 格式为 cpfs-<16 为 ascii 字符>。

nas://09f****f2.cn-hangzhou/

GmtCreateTime

string

创建时间。

2021-01-21T17:12:35.232Z

GmtModifiedTime

string

更新时间。

2021-01-21T17:12:35.232Z

DataType

string

数据集的数据类型。取值：

COMMON（默认值）：普通。
PIC：图片。
TEXT：文本。
VIDEO：视频。
AUDIO：音频。

COMMON

Property

string

数据集属性。取值：

FILE：文件。
DIRECTORY：文件夹。

DIRECTORY

SourceType

string

来源类型。

USER

SourceId

string

来源 ID。

jdnhf***fnrimv

Description

string

数据集的描述。

This is a description of a dataset.

WorkspaceId

string

数据集所在工作空间 ID。

478**

Options

string

扩展字段（选项），JsonString 类型。当 DLC 使用数据集时，可通过配置 mountPath 字段指定数据集默认挂载路径。

{ "mountPath": "/mnt/data/" }

Accessibility

string

工作空间可见度。取值：

PRIVATE（默认值）：表示工作空间内自己以及管理员可见。
PUBLIC：工作空间所有用户可见。

PRIVATE

ProviderType

string

数据集的数据源来源类型。取值：

Ecs（默认值）
Lingjun

Ecs

SourceDatasetId

string

标注数据集的来源数据集 ID。

d-bvfasdfxxxxj8o411

SourceDatasetVersion

string

标注数据集的来源数据集版本。

v2

TagTemplateType

string

iTAG 标注数据集的标注模板。

text-classification

LatestVersion

DatasetVersion

数据集的最新版本信息。

MountAccess

string

MountAccess

RO RW

MountAccessReadWriteRoleIdList

array

具有该数据集读写权限的工作空间角色名列表，PAI 开头的为基础角色 ID，role-开头的为自定义角色 ID。如果列表中包含了"*"，则表示对所有角色都有读写权限。

string

工作空间角色 ID。

PAI.AlgoOperator

ImportInfo

string

数据集的存储导入配置信息，支持 OSS/NAS/CPFS 等。

OSS

{ "region": "${region}",//地域 ID "bucket": "${bucket}",//bucket 名称 "path": "${path}" //文件路径 }

NAS

CPFS

区块内容

智算 CPFS

区块内容

{ "region": "cn-wulanchabu", "fileSystemId": "bmcpfs-xxxxxxxxxxx", "path": "/mnt", "mountTarget": "cpfs-xxxxxxxxxxxx-vpc-gacs9f.cn-wulanchabu.cpfs.aliyuncs.com", "isVpcMount": true }

Edition

string

数据集类型。枚举值：

BASIC：基础型。不支持数据集文件元数据管理。 ADVANCED：高级型。仅 OSS 类型支持，每个版本支持最多 100 万个文件元数据管理。

BASIC