数据结构_数据湖构建(DLF)-阿里云帮助中心

本文为您介绍元数据API相关的数据结构。

GetViewResponse

名称	类型	描述	示例值
-	object	视图详情。
id	string	视图ID。	1
name	string	视图名称。	view_demo
schema	ViewSchema	视图结构。

GetTableResponse

名称	类型	描述	示例值
-	object	表详情信息。
id	string	表UUID。	1
name	string	表名称。	table_test
path	string	表路径。	oss://clg-paimon-xxx/db-xxx/tbl-xxxx
isExternal	string	是否外表。	true
schemaId	string	表结构信息ID。	1
schema	Schema	表结构信息。
owner	string	表所有者。	ALIYUN$1234567
createdAt	long	创建时间。	1741266704867
createdBy	string	创建者。	acs:ram:1234567:root
updatedAt	long	更新时间。	1741266704867
updatedBy	string	更新者。	acs:ram:1045689747920334:root

Partition

名称	类型	描述	示例值
-	object	分区详情。
spec	map	分区值键值对。	{"year":"2025"}
recordCount	long	记录数。	1
fileSizeInBytes	long	文件大小。	1024
fileCount	long	文件数。	1
lastFileCreationTime	long	最新文件创建时间。	1741762385537

TableSnapshot

名称	类型	描述	示例值
-	object	表快照信息。
snapshot	Snapshot	快照信息。
recordCount	long	记录数。	table_test
fileSizeInBytes	long	文件大小。	1024
fileCount	long	文件数。	24
lastFileCreationTime	long	最新文件创建时间。	1741701564261

Identifier

名称	类型	描述	示例值
-	object	表标识符。
databaseName	string	数据库名称。	db_test
tableName	string	表名称。	table_test

Schema

名称	类型	描述	示例值
-	object	表结构信息。
fields	array	表字段列表。
dataField	DataField	表字段。
partitionKeys	array	分区键列表。	["partition_key1", "partition_key2"]
partitionKey	string	分区键。	partition_key1
primaryKeys	array	主键列表。	["pk1", "pk2"]
primaryKey	string	主键。	pk1
options	map	表配置。	{"manifest.merge-min-count": "10"}
comment	string	表描述。	test_comment

DataField

名称	类型	描述	示例值
-	object	表字段。
id	integer	字段ID。	1
name	string	表名称。	table_test
type	DataType	数据类型。

DataType

名称	类型	描述	示例值
-	object	数据类型，以下具体数据类型中的其中一种。	ArrayType
primitiveType	string	基础数据类型，包括BIGINT、BINARY、BOOLEAN、CHAR、DATE、DECIMAL、DOUBLE、FLOAT、INT、TIMESTAMP、SMALLINT、TINYINT、VARBINARY、VARCHAR、VARIANT。	BIGINT
arrayType	ArrayType	数组类型。
multisetType	MultisetType	集合类型。
mapType	MapType	键值对类型。
rowType	RowType	行复合类型。

SchemaChange

名称	类型	描述	示例值
-	object	表结构变更信息，以下数据结构中的一种。
setOption	SetOption	更新表option。
RemoveOption	RemoveOption	删除表option。
UpdateComment	UpdateComment	更新表描述。
AddColumn	AddColumn	新增列。
RenameColumn	RenameColumn	重命名列。
DropColumn	DropColumn	删除列。
UpdateColumnComment	UpdateColumnComment	更新列描述。
UpdateColumnType	UpdateColumnType	更新列类型。
UpdateColumnPosition	UpdateColumnPosition	更新列位置。
UpdateColumnNullability	UpdateColumnNullability	更新列是否可空。

ViewSchema

名称	类型	描述	示例值
-	object	视图结构信息。
fields	array	视图字段列表。
dataField	DataField	视图字段。
query	string	视图查询语句。
dialects	map<string, string>	方言。	{ "flink": "xxxx", "spark": "xxxx" }
comment	string	注释。
options	map	属性。

Snapshot

名称	类型	是否可空	描述	示例值
-	object		快照信息。
version	integer	是	快照文件版本，当前是3。	3
id	long	否	快照id。	6
schemaId	long	否	表结构信息id。	0
baseManifestList	string	否	基础清单列表。	manifest-list-0c6fcaa1-b6bc-413d-9634-6471cce4f37e-2
baseManifestListSize	long	是	基础清单列表大小。	845
deltaManifestList	string	否	记录此快照中发生的所有新变更的清单列表。	manifest-list-0c6fcaa1-b6bc-413d-9634-6471cce4f37e-3
deltaManifestListSize	long	是	记录此快照中发生的所有新变更的清单列表大小。	759
changelogManifestList	string	是	记录此快照中生成的所有变更日志的清单列表。	manifest-list-0c6fcaa1-b6bc-413d-9634-6471cce4f37e-4
changelogManifestListSize	long	是	记录此快照中生成的所有变更日志的清单列表大小。	759
indexManifest	string	是	记录此表所有索引文件的清单。	index-manifest-7cbdaa47-9578-43ac-ae6e-a7ec0486bba8-0
commitUser	string	否	通常为UUID，用于恢复流式写入。	446aac61-bd5c-4fa0-8b14-846fa8810651
commitIdentifier	long	否	流写的事务id。	9223372036854775807
commitKind	string	否	流写类型，包括APPEND、COMPACT、OVERWRITE、ANALYZE。	COMPACT
timeMillis	long	否	提交时间（毫秒）。	1741701564261
logOffsets	Map<Integer, Long>	是	提交日志位点。	{0: 1L, 1: 3L}
totalRecordCount	long	是	此快照中发生的所有更改记录计数。	1024
deltaRecordCount	long	是	此快照中发生的所有新更改记录计数。	10
changelogRecordCount	long	是	此快照中生成的所有变更日志的记录计数。	100
watermark	long	是	水印。	-9223372036854775808
statistics	string	是	此表统计信息的stats文件名。

Instant

名称	类型	描述	示例值
-	object	以下数据结构中的一种。
snapshotInstant	SnapshotInstant	快照常量。	1
tagInstant	TagInstant	标签常量。	test_tag

SnapshotInstant

名称	类型	描述	示例值
-	object	快照信息常量。
snapshotId	long	快照信息id。	1

TagInstant

名称	类型	描述	示例值
-	object	快照信息常量。
tagName	string	标签名字。	1

ArrayType

名称	类型	描述	示例值
-	object	数组数据类型。
type	string	模式：^ARRAY.*	ARRAY
element	DataType	数据类型。	INT

MultisetType

名称	类型	描述	示例值
-	object	集合数据类型。
type	string	模式：^MULTISET.*	MULTISET
element	DataType	数据类型。	BIGINT

MapType

名称	类型	描述	示例值
-	object	数据类型。
type	string	模式：^MAP.*	MAP
key	DataType	数据类型。	STRING
value	DataType	数据类型。	BOOLEAN

RowType

名称	类型	描述	示例值
-	object	行数据类型。
type	string	模式：^ROW.*	ROW
fields	array	字段数组。
field	DataField	字段。

SetOption

名称	类型	描述	示例值
-	object	设置表option。
type	string	常量：setOption。	setOption
key	string	table option键值对中的键。	'manifest.delete-file-drop-stats'
value	sring	table option键值对中的值。	'true'

RemoveOption

名称	类型	描述	示例值
-	object	删除表option。
type	string	常量：removeOption。	removeOption
key	string	table option键值对中的键。	'manifest.delete-file-drop-stats'

UpdateComment

名称	类型	描述	示例值
-	object	更新表描述。
type	string	常量：updateComment。	updateComment
comment	string	表描述。	comment_test

AddColumn

名称	类型	描述	示例值
-	object	增加列。
type	string	常量：addColumn。	addColumn
fieldNames	array	表字段名称。
dataType	DataType	数据类型。
comment	string	描述。	comment_test
move	Move	移动信息。

RenameColumn

名称	类型	描述	示例值
-	object	增加列。
type	string	常量：renameColumn。	renameColumn
fieldNames	array	表字段名称数组。
newName	string	新字段名称。	new_col_test

DropColumn

名称	类型	描述	示例值
-	object	增加列。
type	string	常量：dropColumn。	dropColumn
fieldNames	array	表字段名称数组。

UpdateColumnComment

名称	类型	描述	示例值
-	object	增加列。
type	string	常量：updateColumnComment。	updateColumnComment
fieldNames	array	表字段名称数组。
newComment	string	新字段描述。	col_comment_test

UpdateColumnType

名称	类型	描述	示例值
-	object	增加列。
type	string	常量：updateColumnType。	updateColumnType
fieldNames	array	表字段名称数组。
newDataType	DataType	新字段数据类型。
keepNullability	boolean	是否可空。	true

UpdateColumnPosition

名称	类型	描述	示例值
-	object	更新表位置。
type	string	常量：updateColumnPosition。	updateColumnPosition
fieldNames	array	表字段名称数组。
move	Move	移动信息。

UpdateColumnNullability

名称	类型	描述	示例值
-	object	更新表位置。
type	string	常量：updateColumnNullability。	updateColumnNullability
newNullability	boolean	是否可空。	true

Move

名称	类型	描述	示例值
-	object	增加列。
fieldName	string	字段名。	col_test
referenceFieldName	string	引用字段名称。	other_col_test
type	string	移动类型，FIRST、AFTER、BEFORE、LAST。	FIRST