MaxCompute的Information Schema包含了项目内关键对象的元数据信息,在元数据之外,也提供了包括作业运行、数据上下传使用历史的行为数据。

包含的视图如下表所示。
系统表分类 视图 时效性/保留周期
元数据系统表 TABLES 准实时视图
PARTITIONS 准实时视图
COLUMNS 准实时视图
UDFS 准实时视图
RESOURCES 准实时视图
UDF_RESOURCES 准实时视图
USERS 准实时视图
ROLES 准实时视图
USER_ROLES 准实时视图
PACKAGE_OBJECTS 准实时视图
INSTALLED_PACKAGES 准实时视图
SCHEMA_PRIVILEGES 准实时视图
TABLE_PRIVILEGES 准实时视图
COLUMN_PRIVILEGES 准实时视图
UDF_PRIVILEGES 准实时视图
RESOURCE_PRIVILEGES 准实时视图
TABLE_LABELS 准实时视图
COLUMN_LABELS 准实时视图
TABLE_LABEL_GRANTS 准实时视图
COLUMN_LABEL_GRANTS 准实时视图
使用历史表 TASKS_History 准实时视图,分区表,保留最近14天明细
TUNNELS_History 准实时视图,分区表,保留最近14天明细

其中准实时视图与在线数据存在一定延迟,目前延迟在1小时左右。

Tables

描述:项目空间下表信息。
字段 类型
table_catalog STRING 默认取值odps
table_schema STRING 项目名称。
table_name STRING 表名。
table_type STRING 表类型。取值范围:
  • MANAGED_TABLE
  • VIRTUAL_VIEW
  • EXTERNAL_TABLE
is_partitioned BOOLEAN 是否是分区表 。
owner_id STRING 表owner 的ID。
owner_name STRING 可选。表owner的云账号名称 。
create_time DATETIME 表的创建时间。
last_modified_time DATETIME 表的最后更新时间。
data_length BIGINT 不涉及。
table_comment STRING 表的注释 。
life_cycle BIGINT 可选。生命周期。
is_archived BOOLEAN 是否归档 。
table_exstore_type STRING 可选。标识当前表是极限存储表的逻辑表还是物理表。取值为EXSTORE_TABLE_VIRTUAL和EXSTORE_TABLE_PHYSICAL 。
cluster_type STRING 表的odps.cluster.type。取值为HASH和RANGE 。
number_buckets BIGINT 可选。cluster表的bucket数目, 0表示作业执行时动态决定。
view_original_text STRING VIRTUAL_VIEW类型表的view text 。

PARTITIONS

描述:项目空间下表分区信息。
字段 类型
table_catalog STRING 固定值odps
table_schema STRING 项目名称。
table_name STRING 表名 。
partition_name STRING 分区名。示例, ds=‘20190130’
create_time DATETIME 分区的创建时间。
last_modified_time DATETIME 表的最后更新时间 。
data_length BIGINT 不涉及。
is_archived BOOLEAN 是否归档(archive)。
is_exstore BOOLEAN 是否极限存储。如果是极限存储分区,实际数据在物理分区中。
cluster_type STRING 可选。表的odps.cluster.type。取值为HASH或RANGE 。
number_buckets BIGINT 可选。cluster表的bucket数目, 0表示作业执行时动态决定。

COLUMNS

描述:项目空间下表字段信息。
字段 类型
table_catalog STRING 固定值odps
table_schema STRING 项目名称。
table_name STRING 表名。
column_name STRING 列名。
ordinal_position BIGINT 列序号。
column_default STRING 字段默认值。
is_nullable STRING 可选。始终为YES。
data_type STRING 数据类型。
column_comment STRING 列注释。
is_partition_key BOOLEAN 是否是分区键(partition key )。

UDFS

描述:项目空间下UDF信息。
字段 类型
udf_catalog STRING 固定值odps
udf_schema STRING 项目名称。
udf_name STRING UDF名称。
owner_id STRING UDF owner的id。
owner_name STRING UDF owner的云账号名称(optional)。
create_time DATETIME UDF的创建时间 。
last_modified_time DATETIME UDF的最后修改时间 。

RESOURCES

描述:项目空间下资源信息。
字段 类型
resource_catalog STRING 固定值odps
resource_schema STRING 项目的名称。
resource_name STRING 资源名。
resource_type STRING 资源类型。取值为py/jar 。
owner_id STRING 资源owner的ID。
owner_name STRING 可选。资源owner的云账号名称。
create_time DATETIME 资源的创建时间。
last_modified_time DATETIME 资源的最后修改时间。
size BIGINT 资源占用的存储空间 。
comment STRING 资源的注释。
is_temp_resource BOOLEAN 是否是临时资源。

UDF_RESOURCES

描述:项目空间下UDF的资源依赖。
字段 类型
udf_catalog STRING 固定值odps
udf_schema STRING 项目名称。
udf_name STRING UDF 名称。
resource_schema STRING 资源所在的项目。
resource_name STRING 资源名。

USERS

描述:项目空间下的用户列表。
字段 类型
user_catalog STRING 取值为ALIYUN和RAM 。
user_schema STRING 项目名称。
user_name STRING 可选。用户名,非ots值,离线aas查询产出。
user_id STRING 用户ID 。
user_label STRING 用户标签 。

ROLES

描述:项目空间下的角色列表。
字段 类型
role_catalog STRING 固定值odps
role_schema STRING 项目名称。
role_name STRING 角色名。
role_label STRING 角色标签。
comment STRING 角色的注释。

USER_ROLES

描述:项目空间下用户拥有角色信息。
字段 类型
user_role_catalog STRING 固定值odps
user_role_schema STRING 项目名称。
role_name STRING 角色名。
user_name STRING 用户名。
user_id STRING 用户的ID。

PACKAGE_OBJECTS

描述:项目空间下PACKAGE中的对象信息。
字段 类型
package_catalog STRING 固定值odps
package_schema STRING 项目名称。
package_name STRING package名。
object_type STRING package内成员的类型。
object_name STRING package内成员的名字。
column_name STRING 表的列名。
allowed_privileges VECTOR<STRING> 共享的权限 。
allowed_label STRING 共享的标签。

INSTALLED_PACKAGE

描述:项目空间下已安装PACKAGE信息。
字段 类型
installed_package_catalog STRING 固定值odps
installed_package_schema STRING 项目名称。
package_project STRING 创建package的项目名称。
package_name STRING package名称。
installed_time DATETIME 安装时间(预留,扩展元仓表后填入)。
allowed_label STRING 共享的最大label 。

SCHEMA_PRIVILEGES

描述:项目空间下SCHEMA的权限信息。
字段 类型
user_catalog STRING 固定值odps
user_schema STRING 项目名称。
grantee STRING 用户名。
user_id STRING 账户id。
grantor STRING 授权者账号,当前值为NULL。
privilege_type STRING 权限类型。

TABLE_PREVILEGES

描述:项目空间下表的权限信息。
字段 类型
table_catalog STRING 固定值odps
table_schema STRING 表所在的项目名称。
table_name STRING 表名。
grantee STRING 用户名。
user_id STRING 账户id。
grantor STRING 授权者账号,当前值为NULL 。
privilege_type STRING 权限类型。
user_schema STRING 用户所在的项目名称。

COLUMN_PRIVILEGES

描述:项目空间下表字段级的权限信息。
字段 类型
table_catalog STRING 固定值odps
table_schema STRING 表所在的项目名称。
table_name STRING 表名。
column_name STRING 列名。
grantee STRING 用户名。
user_id STRING 账户id。
grantor STRING 可选。目前为NULL 。
privilege_type STRING 权限类型。
user_schema STRING 用户所在的项目名称。

UDF_PRIVILEGE

描述:项目空间下UDF的权限信息。
字段 类型
udf_catalog STRING 固定值odps
udf_schema STRING 项目名称。
udf_name STRING UDF名称。
user_schema STRING 用户所在的项目名称。
grantee STRING 用户名。
user_id STRING 账户ID。
grantor STRING 授权者账号,当前值为NULL 。
privilege_type STRING 权限类型。

RESOURCE_PRIVILEGES

描述:项目空间下资源的权限信息。
字段 类型
resource_catalog STRING 固定值odps
resource_schema STRING 项目名称。
resource_name STRING 资源名称。
user_schema STRING 用户所在项目空间。
grantee STRING 用户名。
user_id STRING 账户ID。
grantor STRING 授权者账号,当前值为NULL 。
privilege_type STRING 权限类型。

TABLE_LABELS

描述:项目空间下表LABEL信息。
table_catalog STRING 固定值odps
table_schema STRING 项目名称。
table_name STRING 表名。
label_type STRING 标签类型(始终为NULL)。
label_level STRING 标签等级。

COLUMN_LABELS

描述:项目空间下表字段级LABEL信息。
table_catalog STRING 固定值odps
table_schema STRING 项目名称。
table_name STRING 表名。
column_name STRING 字段名。
label_type STRING 标签类型(始终为NULL)。
label_level STRING 标签等级。

TABLE_LABEL_GRANTS

描述:项目空间下表LABEL授权信息。
字段 类型
table_label_grant_catalog STRING 固定值odps
table_label_grant_schema STRING principal 所在的项目名称。
user STRING 用户名称。
user_id STRING 用户的ID。
table_schema STRING 表所在的项目名称。
table_name STRING 表名。
grantor STRING 授权者账号,当前值为NULL 。
label_level STRING 授予的label 等级。
expired DATETIME 过期时间。

COLUMN_LABEL_GRANTS

描述:项目空间下表字段LABEL授权信息。
字段 类型
column_label_grant_catalog STRING 固定值odps
column_label_grant_schema STRING principal 所在项目名称。
principal_type STRING principal类型。取值范围: user/role 。
principal_id STRING 对应role_name或者用户的id。
table_schema STRING 表所在的项目名称。
table_name STRING 表名。
column_name STRING 字段名。
grantor STRING 授权者账号,当前值为NULL 。
label_level STRING 授予的label 等级。
expired DATETIME 过期时间。

TASKS_HISTORY

描述:MaxCompute项目内运行的作业历史,保留近14天数据。
task_catalog STRING 固定值odps
task_schema STRING 项目名称。
task_name STRING 作业名称。
task_type STRING 作业类型,取值范围:SQL、MAPREDUCE和GRAPH等。
inst_id STRING 实例ID。
status STRING 数据采集瞬间的运行状态(非实时状态。
owner_id STRING 账户ID。
owner_name STRING 云账户名称。
result STRING SQL只提供出错时候信息,其他作业后期提供。
start_time DATETIME 作业启动时间。
end_time DATETIME 作业结束时间(当天未结束为NULL) 。
input_records BIGINT 作业读取的records数目。
output_records BIGINT 作业输出的records数目 。
input_bytes BIGINT 实际扫描的数据量,与logview相同。
output_bytes BIGINT 输出字节数。
input_tables STRING [project.table1,project.table2]作业输入表 。
output_tables STRING [project.table1,project.table2]作业输出表 。
operation_text STRING 查询语句source_xml(99.9%在100kb以下,超过256KB置为NULL)。
signature STRING 可选。作业签名。
complexity DOUBLE 可选,仅SQL。作业复杂度 。
cost_cpu DOUBLE 作业CPU消耗(100表示1core*s,例如10core运行5秒,cost_cpu为10*100*5=5000)。
cost_mem DOUBLE 作业memory消耗(MB*s) 。
settings STRING JsonMap:useragent,bizid,skynet_id, skynet_nodename 上层调度/用户传入的信息。
ds STRING 数据采集日期。例如,20190101。

TUNNELS_HISTORY

描述:数据通道批量上下传历史数据,保留近14天数据。
字段 类型
tunnel_catalog STRING odps
tunnel_schema STRING 项目名称。
session_id STRING TIMESTAMP(YYYYMMDDHHmmss,14字符) + ip (8字符) + numHex (8字符),如2013060414484474e5e60a00000002。
operate_type STRING 操作类型,取值范围:
  • UPLOADLOG
  • DOWNLOADLOG
  • FILEDOWNLOADLOG
  • FILEUPLOADLOGDLOG
  • FILEUPLOADLOG
tunnel_type STRING 通道类型,取值为TUNNEL LOG和TUNNEL FILE LOG。
request_id STRING 请求ID。
table_name STRING 操作表名称。
partition_spec STRING 例如,time=20130222,loc=beijing。
data_size BIGINT 对于operate_type=UPLOADLOG/DOWNLOADLOG/FILEDOWNLOADLOG有效,否则为空。 数据的字节数,单位Byte。
block_id BIGINT block 编号,如0,1,……(only for update)。
offset BIGINT 下载的起始偏移位置 (只适用于下载。), 表示从第几条记录开始(起始是0)。
length BIGINT 即record_count,本次下载/上传的记录数(下载的记录数为用户rowrange指定的length值)。
owner_id STRING 不涉及。
owner_name STRING 可选。
start_time DATETIME 不涉及。
end_time DATETIME 不涉及。
client_ip STRING 不涉及。
user_agent STRING 可选。
ds STRING 数据采集日期,例如,20190101。