支持的资产列表

本文为您介绍数据地图目前支持查看和管理的各类资产。

数据表

数据地图支持查看数据表的元数据,具体如下:

数据源类型

元数据采集方式

采集器是否可见

元数据更新时效性

数据表/字段

分区

数据血缘

AnalyticDB for PostgreSQL

  • 管理中心 - 创建数据源

  • 手动启动采集

取决于自定义采集计划

不支持

实时

AnalyticDB for MySQL

  • 管理中心 - 创建数据源

  • 手动启动采集

    说明

    当元数据来源为AnalyticDB for Spark类型时,支持自动采集。

取决于自定义采集计划

不支持

实时

说明
  • 需要提交工单AnalyticDB for MySQL实例开启数据血缘功能。

  • 当元数据来源为AnalyticDB for Spark类型时,配置spark参数spark.sql.queryExecutionListeners = com.aliyun.dataworks.meta.lineage.LineageListener后,可支持实时血缘。

ClickHouse

  • 管理中心 - 创建数据源

  • 手动启动采集

取决于自定义采集计划

不支持

不支持

CDH Hive

  • 管理中心 - 注册开源集群

  • 自动采集

取决于自定义采集计划

实时

实时

Data Lake Formation(DLF)

说明

阿里云统一元数据管理服务,支持多种数据湖格式表。

自动启动采集

实时

实时

实时

EMR Hive

说明

来自EMR集群中Hive自有元数据。

  • 管理中心 - 注册开源集群

  • 自动采集

实时

实时

实时

Hologres

  • 管理中心 - 创建数据源

  • 手动启动采集

取决于自定义采集计划

不支持

实时

Lindorm

  • 管理中心 - 创建数据源

  • 手动启动采集

取决于自定义采集计划

不支持

实时

MaxCompute

  • 管理中心 - 创建数据源

  • 自动采集

普通项目:实时

外部项目:T+1

国内地域:实时

海外地域:T+1

T+1

MySQL

  • 管理中心 - 创建数据源

  • 手动启动采集

取决于自定义采集计划

不支持

不支持

Oracle

  • 管理中心 - 创建数据源

  • 手动启动采集

取决于自定义采集计划

不支持

不支持

PostgreSQL

  • 管理中心 - 创建数据源

  • 手动启动采集

取决于自定义采集计划

不支持

不支持

SQL Server

  • 管理中心 - 创建数据源

  • 手动启动采集

取决于自定义采集计划

不支持

不支持

StarRocks

  • 管理中心 - 创建数据源

  • 手动启动采集

  • 实例模式:实时。

  • 连接串模式:取决于自定义采集计划。

不支持

实时

说明

实例模式支持血缘信息采集,连接串模式无法采集血缘信息。

Table Store(OTS)

  • 管理中心 - 创建数据源

  • 手动启动采集

取决于自定义采集计划

不支持

不支持

任务代码

数据地图支持任务代码搜索与快速定位,以下为支持搜索的代码范围说明。

代码来源

采集口径

触发采集方式

数据开发

数据开发 - 创建节点并编辑代码

自动采集

数据分析

数据分析 - 新建SQL查询并编辑代码

自动采集

数据服务

数据服务 - 新建API数据推送服务

自动采集

API资产

数据地图支持查看数据服务API的元数据,具体如下:

API类型

采集口径

触发采集方式

生成API(向导模式)

数据服务 - 通过向导模式创建API

自动采集

生成API(脚本模式)

数据服务 - 通过脚本模式创建API

自动采集

注册API

数据服务 - 注册API

自动采集

服务编排

数据服务 - 新建服务编排

自动采集

AI资产

数据地图支持查看与管理AI资产,并提供AI资产血缘功能用于追踪数据和模型的来源、使用及演变过程,以下为各AI资产的支持情况。

资产类型

采集口径

触发采集方式

数据集

  • PAI - 创建数据集/注册数据集

  • DataWorks-创建数据集

自动采集

AI模型

PAI - 模型训练任务/注册模型/部署模型服务

自动采集

算法任务

PAI - 训练任务/工作流任务/分布式训练任务

自动采集

模型服务

PAI - 部署模型服务(EAS部署)

自动采集

工作空间

数据地图支持查看工作空间元数据,具体如下:

项目

采集方式

触发采集方式

工作空间

DataWorks - 创建工作空间

自动采集