数据地图是在元数据基础上提供的企业数据目录管理模块,涵盖全局数据检索、元数据详情查看、数据预览、数据血缘和数据类目管理等功能。数据地图可以帮助您更好地查找、理解和使用数据。
元数据采集与接入
MaxCompute数据
如果您使用了MaxCompute引擎,您可以直接在数据地图进行MaxCompute表元数据管理的相关操作。
其他类型元数据
除MaxCompute外,您还可以通过元数据采集功能将不同数据源中的元数据导入数据地图进行统一管理。在数据发现页面通过元数据采集器将其他数据源中的元数据采集至DataWorks数据地图,采集完成后,您可以在数据地图搜索并查看各数据源的元数据信息。除MaxCompute以外,目前数据地图支持的其他数据源类型有:E-MapReduce、Hologres、CDH Hive、CDH Kudu、CDH Hbase、AnalyticDB for MySQL 2.0、AnalyticDB for MySQL 3.0、AnalyticDB for PostgreSQL、Tablestore(OTS)、PostgreSQL、MySQL、SQL Server、Oracle、ClickHouse、StarRocks(持续扩充中),元数据采集配置详情请参见元数据采集。
说明如果需要在数据开发中表管理进行可视化建表操作,请先在数据地图进行元数据采集,可视化建表操作请参见表管理。
网络连通
如果您需要将数据源中的元数据导入数据地图进行统一的元数据管理,需要先确保数据地图元数据采集器能正常访问您的数据库。如果您需要进行元数据采集的数据库已开启白名单访问控制,请在数据库白名单列表中,添加您使用的DataWorks所在地域对应的IP网段。需要配置的白名单请参见元数据采集的数据源有白名单访问控制时需要配置的白名单。
数据总览
您可以在数据总览页面查看当前地域(Region)下的MaxCompute总项目数,总表数、存储量、总API数、存储趋势图、项目占有率Top、表占有率Top和热门表。
您还可以查看元数据采集完成后的AnalyticDB for MySQL 3.0、MySQL、E-MapReduce、Hologres、AnalyticDB for PostgreSQL、OTS等的数据库总数,总表数、总API数等信息。
详情请参见数据总览。
查找表、代码和API
查看表详情和API详情
您可以单击目标表名称跳转至表详情页面,查看表的基础信息、产出信息和血缘信息等信息。请参见查看表详情。
说明血缘信息页面中您可以查看引擎节点内部血缘关系,具体引擎节点血缘支持情况以产品实际页面展示为准。此外,MaxCompute还支持基于离线同步的完整链路血缘查看。您可以查看MaxCompute表的上下游血缘,通过展开表血缘层级查看MaxCompute表的原始数据来源相关信息和MaxCompute表数据最终流向的数据库相关信息。
表详情页面右上角支持通过表名,表描述,字段名,字段描述及项目名等关键字进行搜索。详情请参见查看表详情。
您可以单击目标代码文件查看代码详情。
您可以单击目标API名称跳转至API详情页面,查看API的基础信息、技术信息等信息。详情请参见查看API详情。
API详情页面右上角支持通过API ID、API Path、API名称、API描述等关键字搜索API。
表的有序组织和管理
类目管理功能方便您通过类别有效地组织和管理表,表的类目管理配置完成后,您可以在查找表时,通过类目来过滤目标表。详情请参见类目导航管理:配置管理,同时支持您管理表。
阿里云主账号及拥有AliyunDataWorksfullaccess权限的RAM用户可以编辑类目树。
类目管理
您可以通过如下方法将表添加至类目中:
通过
批量将表添加到指定类目。类目导航配置完成后,您可以选中最后一级类目,并通过界面的快速添加入口,快速将表某个项目下的某些表批量添加至该类目中。详情请参见类目导航管理:配置管理。
通过我的数据页面批量将表添加到指定类目。
类目配置完成后,您可以在我的数据(我拥有的数据、我管理的数据)页面批量将表添加到指定类目。详情请参见我的数据。
表管理
对于MaxCompute数据类型,数据地图支持批量修改中文名,生命周期、支持批量删除开发表或者生产表,批量转交表责任人。详情请参见我的数据。
个人收藏
表权限管控
表操作权限申请
标准模式工作空间下,RAM用户默认无法通过SQL命令直接操作生产表,如果您需要操作生产表或跨账号查询生产表,需要进行权限申请,您可以在表详情页中的申请权限入口申请表的相关权限。当您在表详情页单击申请权限时,将跳转到安全中心进行具体的权限申请操作,详情请参见申请表权限。
说明如果RAM用户无某张表的查询权限,默认情况下将无法通过数据地图表详情页中的数据预览功能来查看该表数据。
MaxCompute表数据预览权限控制
您可以在配置管理 > 项目管理配置中对具体工作空间的MaxCompute开发表或生产表开启预览权限,开启后,该项目下的表无需申请访问权限,即可被工作空间中所有成员预览。详情请参见项目管理配置。
说明此操作可能存在敏感数据泄露的风险,请谨慎评估后再开启。
所在工作空间的项目owner或者工作空间管理员可进行该操作。
此权限仅控制数据地图中表详情页面的数据预览功能。
隐藏表
表隐藏后,搜索表时将无法搜索到该表。支持对所有人隐藏或者仅对表所在工作空间下用户可见。详情请参见我的数据。
单表隐藏
您可以选择表状态为
隐藏:所有人都不可以通过搜索来访问到该表。
仅项目:仅对表所在工作空间下用户可见(可搜索到)。
显示:所有人都可以通过搜索访问到该表。
说明表owner和工作空间管理员默认不受上述权限控制。
项目级别批量隐藏
在配置管理 > 项目管理配置中,选择项目空间,配置项目下所有表的隐藏属性。
其他
工作空间管理
您可以进入搜索页面,并单击工作空间类型,查看当前阿里云主账号下的所有工作空间详情列表,单击目标工作空间名称可以查看工作空间的详细信息。详情请参见工作空间列表。
刷新表元数据
如果表存在但是搜索不到或者表更新了但是数据地图显示还未更新,您需要刷新表元数据。
在搜索结果页面单击刷新表元数据。
进入数据地图的
页面:说明手动刷新表元数据仅对MaxCompute和E-MapReduce有效。
如果数据类型为MaxCompute,则输入格式为
odps.项目名称.表名称
的表GUID后,单击刷新。如果数据类型为E-MapReduce,则配置集群ID、数据库和表名后,单击刷新。
完成上述操作后您可以在数据地图的全部数据中再次搜索关键词查询对应的表。