数据地图

数据地图是在元数据基础上提供的企业数据目录管理模块,涵盖全局数据检索、元数据详情查看、数据预览、数据血缘和数据类目管理等功能。数据地图可以帮助您更好地查找、理解和使用数据。

版本限制

  • DataWorks标准版及以上版本支持代码搜索、数据血缘分析。

  • DataWorks专业版及以上版本支持数据专辑。

元数据采集

  • MaxCompute元数据 & DLF元数据:系统默认内置MaxCompute元数据采集器和DLF元数据采集器,数据地图将自动获取元数据。

  • 其他类型元数据:通过自定义元数据采集功能将不同数据源中的元数据导入数据地图进行统一管理。目前数据地图支持的数据源类型有:Hologres、EMR Hive、CDH Hive、StarRocks、AnalyticDB for MySQL、AnalyticDB for PostgreSQL、MySQL、PostgreSQL、Oracle、SQL Server、ClickHouse、ElasticSearch、OTS (Tablestore)、Lindorm、OSS。元数据采集操作,请参见元数据采集

网络连通

将数据源中的元数据导入数据地图进行统一的元数据管理,需要先确保数据地图元数据采集器能正常访问您的数据库。如果您需要进行元数据采集的数据库已开启白名单访问控制,请在数据库白名单列表中,添加您使用的DataWorks所在地域对应的IP网段。需要配置的白名单请参见元数据采集的数据源有白名单访问控制时需要配置的白名单

数据总览

  • 在数据总览页面查看当前地域(Region)下的MaxCompute总项目数,总表数、存储量、总API数、存储趋势图、项目占有存储Top、表占有存储Top和热门表

  • 查看元数据采集完成后的AnalyticDB for MySQL 3.0MySQLHologresAnalyticDB for PostgreSQLOTS等的数据库总数,总表数、总API数等信息。

更多详情,请参见数据总览

元数据检索

数据地图汇集表、代码、索引、API、数据集、Al模型、算法任务、模型服务、工作空间等对象的元数据,支持在当前region内按类型、工作空间、负责人、环境、标签、类目等筛选条件组合搜索。更多详情,请参加通用数据查询与管理

image

同时,数据地图支持以数据目录方式查看数据源的表和数据集。

元数据详情

在数据地图检索到目标对象之后,单击目标对象名称跳转至详情页面。

  • 对于表,查看表的基础信息产出信息血缘信息等信息。请参见查看表详情血缘信息

    说明

    血缘信息页面中查看引擎节点内部血缘关系,具体引擎节点血缘支持情况以产品实际页面展示为准。此外,MaxCompute还支持基于离线同步的完整链路血缘查看。您可以查看MaxCompute表的上下游血缘,通过展开表血缘层级查看MaxCompute表的原始数据来源相关信息和MaxCompute表数据最终流向的数据库相关信息。

  • 对于API,查看API参数信息返回示例血缘信息使用说明等信息。详情请参见查看API详情

    image

  • 对于数据集,查看数据集的属性信息血缘信息使用说明等信息。

    image

同时,也支持检索查看代码,单击详情可跳转至源头处(例如、节点、资源等)。更多元数据详情,请参见数据查找与处理

表组织和管理

类目管理功能方便您通过类别有效地组织和管理表,表的类目管理配置完成后,您可以在查找表时,通过类目来过滤目标表。详情请参见配置管理,同时支持您管理表。

说明

阿里云主账号及拥有AliyunDataWorksFullAccess权限的RAM用户可以编辑类目树。

  • 数据专辑:DataWorks支持将相关主题的数据组织成一个业务视角管理下的数据专辑,方便您查看和管理数据。

  • 类目管理

    1. 通过配置管理 > 类目导航配置批量将表添加到指定类目。

      类目导航配置完成后,您可以选中最后一级类目,并通过界面的快速添加入口,快速将某个项目下的某些表批量添加至该类目中。详情请参见配置管理

    2. 通过我的数据页面批量将表添加到指定类目。

      类目配置完成后,您可以在我的数据(我拥有的数据、我管理的数据)页面批量将表添加到指定类目。详情请参见我的数据

  • 表管理:对于MaxCompute数据类型,数据地图支持批量修改中文名、生命周期,支持批量删除开发表或者生产表,批量转交表责任人。详情请参见我的数据

  • 个人收藏:数据地图支持您将个人关注的表统一添加到个人收藏中进行管理,方便快速定位和查阅。您可以通过我的数据页面下的我的收藏分组中查看目前个人收藏的表。详情请参见我的数据

    • 将表添加入我的收藏:查看表详情时,可以通过表详情页的收藏按钮,快速将表加入的我的收藏,详情请参见查看表详情。添加收藏后,通过我的数据页面下的我的收藏分组中进行查看,详情请参见收藏表

    • 将表从我的收藏列表移除:

      • 通过我的数据页面下的我的收藏分组中对目前收藏的表取消收藏。

      • 通过已收藏的表详情页面中的取消收藏入口,快速取消对该表的收藏。取消收藏

表权限管控

  • 表操作权限申请

    标准模式工作空间下,RAM用户默认无法通过SQL命令直接操作生产表,如果您需要操作生产表或跨账号查询生产表,需要进行权限申请,您可以在表详情页中的申请权限入口申请表的相关权限。当您在表详情页单击申请权限时,将跳转到安全中心进行具体的权限申请操作,详情请参见申请表权限申请权限

    说明

    如果RAM用户无某张表的查询权限,默认情况下将无法通过数据地图表详情页中的数据预览功能来查看该表数据。

  • MaxCompute表数据预览权限控制

    配置管理 > 项目管理配置中对具体工作空间的MaxCompute开发表或生产表开启预览权限。开启后,该项目下的表无需申请访问权限,即可被工作空间中所有成员预览。详情请参见项目管理配置

    说明
    • 此操作可能存在敏感数据泄露的风险,请谨慎评估后再开启

    • 所在工作空间的项目owner或者工作空间管理员可进行该操作。

    • 此权限仅控制数据地图中表详情页面的数据预览功能。数据预览

  • 隐藏表:表隐藏后,搜索表时将无法搜索到该表。支持对所有人隐藏或者仅对表所在工作空间下用户可见。详情请参见我的数据

    • 单表隐藏:我的数据 > 我拥有的数据中,更新表的可见性信息。

      说明

      owner和工作空间管理员默认不受上述权限控制。

      隐藏

    • 项目级别批量隐藏:在配置管理 > 项目管理配置中,选择项目空间,配置项目下所有表的隐藏属性。

      image

刷新表元数据

如果表存在但是搜索不到或者表更新了但是数据地图显示还未更新,您需要刷新表元数据。

image

  1. 在搜索结果页面单击刷新表元数据

  2. 进入数据地图的我的数据 > 刷新表元数据页面:

    image

完成上述操作后您可以在数据地图的全部数据中再次搜索关键词,以查询对应的表。