元数据实体相关概念说明

更新时间:2025-04-10 06:43:23

DataWorks OpenAPI(2024-05-18)支持多种元数据实体查询,本文提供了相关元数据实体的概念说明。

元数据实体对象

数据地图通过元数据采集器采集并纳管了不同类型和不同层级(子类型)的元数据实体对象。完整的采集器类型支持列表请参见采集器类型(CrawlerType)支持列表

按照元数据层级结构,数据地图支持的完整元数据实体层级分为:

  • Catalog (数据目录)

  • Database(数据库)

  • Schema(数据库模式)

  • Table(数据表)

  • Column(字段)

其中,不同采集器类型对于实体层级的支持情况不同。

采集器类型(CrawlerType)支持列表

标识

展示名称

支持的元数据实体层级

备注

Catalog

DataBase

Schema

Table

Column

标识

展示名称

支持的元数据实体层级

备注

Catalog

DataBase

Schema

Table

Column

maxcompute

MaxCompute

  • 提供默认采集器,标识主账号下所有元数据实体。

  • MaxCompute中,对应Database层级的是Project层级,在API中暂不支持查询Project。

  • Schema层级可选(是否开启三层模型)。

dlf

Data Lake Formation

  • 提供默认采集器,标识主账号下所有元数据实体。

  • 当前仅支持DLF 1.0。

hms

HMS

  • 使用HMS管理元数据的类型。

  • 当前对应EMRCDH_HIVE集群两种类型。

holo

Hologres

mysql

MySQL

oracle

Oracle

postgresql

PostgreSQL

sqlserver

SQL Server

analyticdb_for_mysql

AnalyticDB MySQL

对应analyticdb_for_mysqlanalyticdb_for_spark两种数据源类型。

ads

AnalytidDB MySQL 2.0

hybriddb_for_postgresql

AnalyticDB PostgreSQL

ots

OTS

clickhouse

ClickHouse

starrocks

StarRocks

支持Catalog,目前仅支持查询Internal Catalog下的元数据实体。

实体类型(EntityType)

EntityType是元数据实体的类型标识,其格式为${CrawlerType}-${SubType}

  • CrawlerType为采集器类型标识,如mysqlmaxcomputedlfholo等。

  • SubType为元数据实体子类型的标识,如catalogdatabaseschematablecolumn

MaxCompute表为例,其EntityTypemaxcompute-table

元数据实体ID(MetaEntityId)

元数据实体ID:具有可读性,唯一性,可扩展性的元数据实体对象标识。

支持采集器元数据实例、以及 Catalog -> Database -> Schema -> Table -> Column实体对象。

通过:分隔符拼接各层级的标识符(对于不支持的层级使用空字符占位),形成元数据实体ID作为实体唯一标识。

采集器元数据实例

采集器元数据实体ID:元数据采集来源的唯一标识。

  • 对于MaxComputeDLF类型,提供默认采集器,对应租户/主账号下所有元数据实体,其采集器元数据实体ID格式省略为${CrawlerType}

  • 对于其他需要手动创建采集器的类型,其采集器元数据实体ID格式为${CrawlerType}:${MetaSourceId}

    • CrawlerType: 采集器类型标识,如holomysql等。

    • MetaSourceId:元数据来源标识。

      • 实例模式:对应实例ID/集群ID。

      • URL模式:对应转义后的URL(Jdbc Url 或 Endpoint)。

示例:

  • 对于MaxCompute类型,采集器元数据实体IDmaxcompute

  • 对于Hologres类型,实例模式下,假设实例IDi-z6j3kxxx7,采集器元数据实体IDholo:i-z6j3kxxx7

  • 对于MySQL类型,URL模式下,假设URLjdbc:mysql://47.0.X.X:3306/test_db,采集器元数据实体IDmysql:jdbc%3Amysql%3A%2F%2F47.0.X.X%3A3306%2Ftest_db

数据表相关元数据实体

元数据实体ID格式为${EntityType}:${MetaSourceId}:${Catalog}:${Database}:${Schema}:${Table}:${Column}

包含以下元素:

层级

属性

说明

层级

属性

说明

-

EntityType

实体类型标识。

-

MetaSourceId

  • 实例模式下,对应实例ID/集群ID 。

  • URL模式下,对应转义后的URL(Jdbc Url 或 Endpoint)。

对于maxcomputedlf类型,对应主账号ID。

Catalog

Catalog

数据目录名称。

Database

Database

数据库名称。

Schema

Schema

数据库模式名称。

Table

Table

数据表名称。

Column

Column

字段名称。

元数据实体示例

以下为MaxComputeDLFHMSHologres四种常用类型的各层级元数据实体ID示例。

说明

在如下ID示例中,通过:分隔符拼接各层级的标识符,对于不支持的层级使用空字符占位

MaxCompute

以用户主账号123456XXX为例,对于test_project项目,默认scheme default,数据表test_tbl,字段test_col各层级的实体ID如下:

层级

ID

层级

ID

采集器元数据实例

maxcompute

项目

maxcompute-project:123456XXX::test_project

模式

maxcompute-schema:123456XXX::test_project:default

数据表

maxcompute-table:123456XXX::test_project:default:test_tbl

字段

maxcompute-column:123456XXX::test_project:default:test_tbl:test_col

DLF

以用户主账号123456XXX为例,对于test_catalog数据目录,数据库test_db,数据表test_tbl,字段test_col各层级的实体ID如下:

层级

ID

层级

ID

采集器元数据实例

dlf

数据目录

dlf-catalog:123456XXX:test_catalog

数据库

dlf-database:123456XXX:test_catalog:test_db

数据表

dlf-table:123456XXX:test_catalog:test_db::test_tbl

字段

dlf-column:123456XXX:test_catalog:test_db::test_tbl:test_col

HMS

EMR集群实例c-a1b2c3xxx为例,对于数据库test_db,数据表test_tbl,字段test_col,各层级的实体ID如下:

层级

ID

层级

ID

采集器元数据实例

hms:c-a1b2c3xxx

数据库

hms-database:c-a1b2c3xxx::test_db

数据表

hms-table:c-a1b2c3xxx::test_db::test_tbl

字段

hms-column:c-a1b2c3xxx::test_db::test_tbl:test_col

Hologres

Hologres实例hgpostcn-cn-a1b2c3xxx为例,对于数据库test_db,模式test_schema,数据表test_tbl,字段test_col,各层级的实体ID如下:

层级

ID

层级

ID

采集器元数据实例

holo:hgpostcn-cn-a1b2c3xxx

数据库

holo-database:hgpostcn-cn-a1b2c3xxx::test_db

模式

holo-schema:hgpostcn-cn-a1b2c3xxx::test_db:test_schema

数据表

holo-table:hgpostcn-cn-a1b2c3xxx::test_db:test_schema:test_tbl

字段

holo-column:hgpostcn-cn-a1b2c3xxx::test_db:test_schema:test_tbl:test_col

  • 本页导读 (1)
  • 元数据实体对象
  • 采集器类型(CrawlerType)支持列表
  • 实体类型(EntityType)
  • 元数据实体ID(MetaEntityId)
  • 采集器元数据实例
  • 数据表相关元数据实体
  • 元数据实体示例
AI助理

点击开启售前

在线咨询服务

你好,我是AI助理

可以解答问题、推荐解决方案等