数据地图是在元数据基础上提供的企业数据目录管理模块,涵盖全局数据检索、元数据详情查看、数据预览、数据血缘和数据类目管理等功能。数据地图可以帮助您更好地查找、理解和使用数据。
版本限制
仅DataWorks标准版及以上版本支持代码搜索、数据血缘分析。
仅DataWorks专业版及以上版本支持数据专辑。
元数据采集
MaxCompute元数据 & DLF元数据:系统默认内置MaxCompute元数据采集器和DLF元数据采集器,数据地图将自动获取元数据。
其他类型元数据:通过自定义元数据采集功能将不同数据源中的元数据导入数据地图进行统一管理。目前数据地图支持的数据源类型有:Hologres、EMR Hive、CDH Hive、StarRocks、AnalyticDB for MySQL、AnalyticDB for PostgreSQL、MySQL、PostgreSQL、Oracle、SQL Server、ClickHouse、ElasticSearch、OTS (Tablestore)、Lindorm、OSS。Hudi 类型暂不支持元数据采集。元数据采集操作,请参见元数据采集。
网络连通
将数据源中的元数据导入数据地图进行统一的元数据管理,需要先确保数据地图元数据采集器能正常访问您的数据库。如果您需要进行元数据采集的数据库已开启白名单访问控制,请在数据库白名单列表中,添加您使用的DataWorks所在地域对应的IP网段。需要配置的白名单请参见元数据采集的数据源有白名单访问控制时需要配置的白名单。
数据总览
在数据总览页面查看当前地域(Region)下的MaxCompute总项目数,总表数、存储量、总API数、存储趋势图、项目占有存储Top、表占有存储Top和热门表。
查看元数据采集完成后的AnalyticDB for MySQL 3.0、MySQL、Hologres、AnalyticDB for PostgreSQL、OTS等的数据库总数,总表数、总API数等信息。
更多详情,请参见数据总览。
元数据检索
数据地图汇集表、代码、索引、API、数据集、Al模型、算法任务、模型服务、工作空间等对象的元数据,支持在当前region内按类型、工作空间、负责人、环境、标签、类目等筛选条件组合搜索。更多详情,请参加元数据检索。
在数据地图搜索页面,左侧可按数据源(MaxCompute、EMR Hive、Data Lake Formation、Oracle、Hologres 等)进一步筛选,搜索范围支持只搜表、只搜列、同时搜表和列三种模式,搜索结果列表中可对每张表执行申请权限和查看血缘操作。
同时,数据地图支持以数据目录方式查看数据源的表和数据集。
元数据详情
在数据地图检索到目标对象之后,单击目标对象名称跳转至详情页面。
对于表,查看表的基础信息、产出信息和血缘信息等信息。请参见查看表详情。
在血缘信息页签下,包含表血缘、字段血缘、影响分析三个子页签。选中表血缘后,血缘图中单击表节点可在右侧详情面板查看实体类型、名称、数据源类型、存储量、生命周期等属性,并可单击申请权限发起权限申请。
说明在血缘信息页面中查看引擎节点内部血缘关系,具体引擎节点血缘支持情况以产品实际页面展示为准。此外,MaxCompute还支持基于离线同步的完整链路血缘查看。您可以查看MaxCompute表的上下游血缘,通过展开表血缘层级查看MaxCompute表的原始数据来源相关信息和MaxCompute表数据最终流向的数据库相关信息。
对于API,查看API的参数信息、返回示例、血缘信息、使用说明等信息。详情请参见查看API详情。
API 详情页左侧包含基础信息(浏览次数、调用次数、API ID、API Path、工作空间、负责人等)和技术信息(API 类型、请求方式、返回类型、数据源类型及名称、表名称)。
对于数据集,查看数据集的属性信息、血缘信息、使用说明等信息。
属性信息页签展示以下内容:
基本属性:实体类型、来源、数据类型、负责人、名称、工作空间、存储类型、可见范围、创建时间和更新时间。
数据集版本信息:版本号、Uri、Bucket、路径、地域和默认挂载路径,并可单击去 OSS 查看跳转至对应存储。
同时,也支持检索查看代码,单击详情可跳转至源头处(例如、节点、资源等)。更多元数据详情,请参见元数据详情。
表组织和管理
类目管理功能方便您通过类别有效地组织和管理表,表的类目管理配置完成后,您可以在查找表时,通过类目来过滤目标表。详情请参见配置管理,同时支持您管理表。
阿里云主账号及拥有AliyunDataWorksFullAccess权限的RAM用户可以编辑类目树。
数据专辑:DataWorks支持将相关主题的数据组织成一个业务视角管理下的数据专辑,方便您查看和管理数据。
类目管理
表管理:对于MaxCompute数据类型,数据地图支持批量修改中文名、生命周期,支持批量删除开发表或者生产表,批量转交表责任人。详情请参见我的数据。
个人收藏:数据地图支持您将个人关注的表统一添加到个人收藏中进行管理,方便快速定位和查阅。您可以通过我的数据页面下的我的收藏分组中查看目前个人收藏的表。详情请参见我的数据。
表权限管控
表操作权限申请
标准模式工作空间下,RAM用户默认无法通过SQL命令直接操作生产表,如果您需要操作生产表或跨账号查询生产表,需要进行权限申请,您可以在表详情页中的申请权限入口申请表的相关权限。当您在表详情页单击申请权限时,将跳转到安全中心进行具体的权限申请操作,详情请参见申请表权限。
说明如果RAM用户无某张表的查询权限,默认情况下将无法通过数据地图表详情页中的数据预览功能来查看该表数据。
MaxCompute表数据预览权限控制
在配置管理 > 项目管理配置中对具体工作空间的MaxCompute开发表或生产表开启预览权限。开启后,该项目下的表无需申请访问权限,即可被工作空间中所有成员预览。详情请参见项目管理配置。
说明此操作可能存在敏感数据泄露的风险,请谨慎评估后再开启。
所在工作空间的项目owner或者工作空间管理员可进行该操作。
此权限仅控制数据地图中表详情页面的数据预览功能。
隐藏表:表隐藏后,搜索表时将无法搜索到该表。支持对所有人隐藏或者仅对表所在工作空间下用户可见。详情请参见我的数据。
单表隐藏:在我的数据 > 我拥有的数据中,更新表的可见性信息。
说明表owner和工作空间管理员默认不受上述权限控制。
单击表操作列的更新表信息,在弹出的对话框中,可见性支持以下选项:
租户内公开
仅关联的工作空间下的成员可搜索和查看
私有
项目级别批量隐藏:在配置管理 > 项目管理配置中,选择项目空间,配置项目下所有表的隐藏属性。
在MaxCompute 引擎配置管理表格中,开启默认仅项目内可见开关即可批量隐藏对应计算引擎下的所有表。
刷新表元数据
如果表存在但是搜索不到或者表更新了但是数据地图显示还未更新,您需要刷新表元数据。
在搜索结果页面单击刷新表元数据。
进入数据地图的页面,选择数据类型(MaxCompute、EMR Hive或Data Lake Formation),在Guid输入框中输入表 GUID(格式如
project.schema.table或odps.project.schema.table),然后单击刷新。MaxCompute 和 Data Lake Formation 表详情页均支持通过更多 > 刷新元数据手动刷新元数据。MaxCompute 表的更多菜单还提供生成 API选项,明细页签包含数据洞察、数据健康和使用记录。
完成上述操作后您可以在数据地图的全部数据中再次搜索关键词,以查询对应的表。