本文为您介绍不同数据源的元数据执行不同操作是否会生成新版本以及不同元数据类型的对象获取的信息。
元数据版本
通用说明
修改如下信息,元数据不会生成新版本。
分区定义变更:分区个数变更、分区字段的分区类型和分区表达式发生变更。
属性定义变更:自定义属性变更。
采集策略配置:采集任务的采集策略配置为保留已删除的元数据,且连续2次采集变更仅有删除字段变更时,元数据不会生成新版本。
修改如下信息,元数据会生成新版本。
表信息变更:包括表描述、元数据类型变更。
表结构变更:包括修改分区字段、从非分区表变更为分区表(即是否分区表)、视图DDL变更。
字段结构变更:包括新增/更新/删除字段、字段顺序改变、字段类型、字段键类型变更。
字段详情变更:包括字段默认值、是否可为空、字段描述变更。
此外,部分数据源的特有属性变更也会影响是否生成新版本,见下方表格。
数据源类型 | 变更方式 |
Hologres | 分区表类型(如分区父表和分区子表互为转变)、所属分区父表的名称、分区子表条件变更。 |
StarRocks | 表类型、物化视图刷新类型、是否失效、分桶键修改、排序键修改、分桶方式变更、分桶字段变更;但是分桶数个数变更不会生成新版本。 |
OceanBase、Greenplum | 分区字段类型变更。 |
Amazon Redshift | 表存储类型变更、分布键字段变更、排序键的排序方式变更或排序字段变更。 |
SelectDB、Doris | 表存储类型变更、分桶方式变更、分桶字段变更、排序字段变更、排序方式变更、分桶键修改、排序键修改、分布键修改。 |
DM(达梦) | 表存储类型变更。 |
元数据属性
不同数据源所展示的相同信息如下:
表技术属性:包括描述、表行数、存储类型、存储量信息。
字段列表:包括指定版本的字段的名称(主键字段用钥匙符号标识)、数据类型、描述、字段是否可为空及默认值信息。
分区信息:包括分区字段及分区详情,分区字段包括字段名称、数据类型及描述信息;分区详情包括记录数、存储量、创建时间信息。
当数据源类型为关系型数据库且元数据类型为视图时,技术属性仅支持查看描述信息。
Amazon Redshift采集到的系统表,针对超级管理员账号默认可获取所有行数据(即所有元数据);针对普通用户仅能查看自己的数据。如果您不希望在数据源上配置超级管理员账号,但又希望能采集所有数据,可使用授权语句为指定账号授权pg_catalog的使用权限,授权语句参见:
GRANT USAGE ON SCHEMA ${schema,如pg_catalog} TO ${username}
。DM(达梦)、Oracle数据源中配置的用户需具有相关表的select权限,才能采集到相关表的元数据,如需为用户授权,语句参见
grant SOI to your_username;
。SelectDB、Doris数据源可采集异步物化视图元数据类型,系统将识别为表;暂无法采集同步物化视图元数据类型。
其中,针对部分数据源展示的差异信息,详见下方表格:
数据源类型 | 表技术属性 | 字段列表 | 分区信息 |
MySQL、Amazon RDS for MySQL | 无法采集存储类型。 | 视图字段的默认值展示为来源表字段的默认值。 |
|
Microsoft SQL Server、Amazon RDS for SQL Server | 无法采集存储类型。 | / |
|
AnalyticDB for MySQL 3.0 | / | 视图字段的默认值展示为来源表字段的默认值。 |
|
OceanBase | 展示是否分区表、创建时间、最近更新时间(仅MySQL租户展示该信息)、最近DDL更新时间(仅Oracle租户展示该信息),针对不同的表类型所展示的信息差异如下:
| 普通字段展示唯一键、外键、检查约束信息,唯一键用UNI标识(仅Oracle租户展示);外键用FOR标识;检查约束用CHK标识(仅Oracle租户展示)。 |
说明 仅OceanBase的Oracle租户模式支持展示分区信息。 |
PolarDB-X(原DRDS) | / | 视图字段的默认值展示为来源表字段的默认值。 |
|
IBM DB2、Amazon RDS for DB2 | / | 无法采集默认值信息 |
|
ClickHouse | 展示是否分区表、表引擎及最近DDL更新时间,针对不同的表类型所展示的信息差异如下:
| 展示采样键和排序键信息,采样键用SMP标识;排序键用SOR标识。 |
|
Hive(MySQL元数据库) | 展示是否分区表、是否湖表、湖表格式、表存储模式、存储格式、创建时间、最近DDL更新时间,针对不同的表类型所展示的信息差异如下:
| 无法采集是否可为空和默认值信息。 |
|
Hologres | 展示是否分区表、分区父表名称(仅分区子表展示该信息)、分区条件(仅分区子表展示该信息)、分区子表数量(仅分区父表展示该信息)、存储格式、创建时间、最近更新时间、最近DDL更新时间、生命周期,针对不同的表类型所展示的信息差异如下:
| / |
|
StarRocks | 展示表类型(仅内部表展示该信息)、物化视图类型(仅物化视图展示该信息)、是否失效(仅物化视图展示该信息)、是否分区表、是否湖表、湖表格式、存储格式、创建时间、最近更新时间,针对不同的表类型所展示的信息差异如下:
| 展示分桶键和排序键信息。 |
|
Greenplum | 展示是否分区表、Location(仅外部表展示该信息),针对不同的表类型所展示的信息差异如下:
| 普通字段展示唯一键、外键、检查约束信息,唯一键用UNI标识(仅Oracle租户展示);外键用FOR标识;检查约束用CHK标识(仅Oracle租户展示)。 |
|
Amazon Redshift | 展示是否分区表、Location(仅外部表展示该信息);无法采集表行数、存储量。针对不同的表类型所展示的信息差异如下:
| 展示分桶键和排序键信息,若排序键返回的值全为正数,则为普通排序;若为正数和负数,则为交错排序。 | 仅外部表展示分区信息。
|
SelectDB、Doris | 展示是否分区表、是否湖表(仅存储格式为Hudi、Iceberg且为是时展示)、湖表格式(是否湖表为是时展示)、存储格式、表类型、创建时间、最近数据更新时间。 针对不同的表类型所展示的信息差异如下:
|
|
|
DM(达梦) | 展示是否分区表、存储类型、存储格式、Location(仅外部表展示该信息)、创建时间、最近DDL更新时间。 针对不同的表类型所展示的信息差异如下:
| 普通字段展示唯一键、引用键、检查约束信息,唯一键用UNI标识;引用键用REF标识;检查约束用CHK标识。 |
|
Elasticsearch | 仅表对象(即索引)支持采集文档数和存储量信息。 | 仅表对象(即索引)支持采集字段名称和数据类型信息。 |
|