元数据(又称字典)是属于数据库本身的一些数据,包含数据库名、数据库字符集、表名、表的大小、表的记录行数、表的字符集、表的字段、表的索引、表的描述、字段的类型、字段的精度、字段的描述等。所有信息均来源于information_schema等数据库内部数据,如表的大小、表的行数可能不是非常精准,仅做数量级的参考。

背景信息

元数据用于产品内的展示、检索使用,同时也是敏感数据规则自动化识别的基础信息,也是库、表、字段、数据行、可编程对象等细粒度的权限管控的基础信息。数据管理DMS会根据数据库实例的管控模式提供不同的采集范围与采集方式。

采集范围与采集方式

范围与采集方式 安全协同管控模式 稳定变更与自由操作的管控模式
元数据采集范围 采集并存储数据库实例的所有元数据,元数据详情信息请参见采集的元数据列表 仅会采集并存储库级别信息,其余元数据将在登录后进行实时加载。
首次录入时是否触发全量的元数据采集 支持。 支持。
定时全量采集 系统将默认在每天的6个时段自动触发租户内全部安全协同实例的采集。
说明 每天2点、6点、10点、14点、18点、22点同步一次,即隔4个小时,一天同步6次。
不支持。
按需增量采集
  • 在顶部菜单栏中选择数据资产 > 实例管理,在实例列表页签选择更多 > 刷新/同步字典,触发增量采集,详情请参见同步元数据
    说明 如果您使用的是旧版数据管理DMS,DBA和管理员可以在系统管理 > 实例管理触发增量采集。
  • 在数据库实例列表中,右键选择刷新/同步字典,触发增量采集。
  • 通过SQL窗口的刷新按钮触发增量采集。
  • 通过DMS完成DDL变更,会触发对应表元数据的增量采集。
  • 在顶部菜单栏中选择数据资产 > 实例管理,在实例列表页签选择更多 > 刷新/同步字典,触发增量采集,详情请参见同步元数据
    说明 如果您使用的是旧版数据管理DMS,DBA和管理员可以在系统管理 > 实例管理触发增量采集。
  • 在数据库实例列表中,右键选择刷新/同步字典,触发增量采集。
  • 通过SQL窗口的刷新按钮触发增量采集。
  • 通过DMS完成DDL变更,会触发对应表元数据的增量采集。
其他 无。 登录时会按数据库账号权限范围采集对应数据库信息。

使用元数据

元数据除了作用在产品内的检索使用、权限相关管理之外,还可以通过OpenAPI实现导出,快速支持保障合规审计等工作。

该功能仅限管控模式为安全协同的实例。

元数据相关的OpenAPI文档请参见下表。

API 描述
GetDatabase 调用GetDatabase获取具体库详情信息。
GetPhysicalDatabase 调用GetPhysicalDatabase获取物理库的详情。
ListColumns 调用ListColumns返回表的列信息。
ListIndexes 调用ListIndexes返回表索引信息。
GetLogicDatabase 调用GetLogicDatabase获取逻辑库详情信息。
ListDatabases 调用ListDatabases获取一个实例下的数据库列表详情信息。
ListLogicDatabases 调用ListLogicDatabases返回逻辑库详情列表。
ListLogicTables 调用ListLogicTables获取指定逻辑库下面的逻辑表详情列表。
SearchDatabase 调用SearchDatabase搜索库详情信息。
SearchTable 调用SearchTable搜索表详情列表。
ListTables 调用ListTables获取一个库下面的表详情列表。
GetMetaTableDetailInfo 调用GetMetaTableDetailInfo接口获取表的字段、索引等信息。
GetTableDBTopology 调用GetTableDBTopology接口获取数据表的拓扑图。
GetTableTopology 调用GetTableTopology获取数据表的拓扑信息。
GetDBTopology 调用GetDBTopology获取逻辑库与其对应物理分库的拓扑信息。
GetMetaTableColumn 调用GetMetaTableColumn接口获取表的字段信息。
SyncDatabaseMeta 调用SyncDatabaseMeta同步数据库字典元数据。
SyncInstanceMeta 调用SyncInstanceMeta同步实例下所有数据库字典元数据。

采集的元数据列表

对象 MySQL协议系列① PostgreSQL协议系列② SQL Server Oracle MongoDB Redis
  • 名称
  • 字符集
名称 名称 名称 名称
  • 名称
  • 描述
  • 字符集
  • 行数
  • 容量
  • 名称
  • 描述
  • 行数
  • 容量
  • 名称
  • 描述
  • 行数
  • 容量
  • 名称
  • 描述
  • 行数
  • 容量
字段
  • 名字
  • 类型
  • 是否可空
  • 长度
  • 精度
  • 描述
  • 名字
  • 类型
  • 是否可空
  • 长度
  • 精度
  • 描述
  • 名字
  • 类型
  • 是否可空
  • 长度
  • 精度
  • 描述
  • 名字
  • 类型
  • 是否可空
  • 长度
  • 精度
  • 描述
索引
  • 名字
  • 类型
  • 索引字段
  • 名字
  • 类型
  • 索引字段
  • 名字
  • 类型
  • 索引字段
  • 名字
  • 类型
  • 索引字段
  • 名字
  • 索引字段
可编程对象
  • 名称
  • 类型
  • 名称
  • 类型
  • 名称
  • 类型
模式 名称
集合 名称
Key
  • 名称
  • 类型
说明

①:MySQL、PolarDB MySQL引擎、PolarDB-X、ADB-MySQL、DLA、ClickHouse、OceanBase-MySQL、MariaDB。

②:PostgreSQL、PolarDB O引擎、PolarDB PostgreSQL、ADB-PG、OceanBase-O、PPAS。