OpenLake工作空间数据目录是工作空间级的元数据工作台,方便数据开发角色的成员快速使用。它整合了MaxCompute、Hologres、DLF等多种数据源的元数据,支持以下能力:
统一管理:集中管理多种数据源的表、视图、函数及资源。
快速探查:直接预览表的结构详情,快速理解数据。
支持的数据目录
下表为您展示当前数据目录支持的数据源类型,以及对应类型数据源添加至DataWorks数据目录的方式。
数据目录 | 是否支持从工作空间绑定的数据源添加 | 是否支持从账号已有数据源添加 |
MaxCompute(内部项目、外部项目) | ||
Hologres(内部数据库、外部数据库) | ||
DLF Catalog(DLF 1.0、DLF 2.0、DLF 2.5及更高版本) | ||
Hive(EMR Hive) | ||
Lindorm | ||
AnalyticDB MySQL | ||
AnalyticDB PostgreSQL | ||
StarRocks | ||
AI Catalog(AI数据集、AI模型) | 系统将自动读取与当前 DataWorks 空间同名的AI空间下的数据。 |
认证身份与鉴权说明
数据目录是否能够正常读取数据源下的数据信息,取决于数据源添加至数据目录的方式,具体规则如下:
从工作空间绑定的数据源实例添加到数据目录时,该数据目录将使用数据源配置的身份信息从数据源读取数据至DataWorks数据目录。
从个人账号已有的数据源实例添加到数据目录时,该数据目录将使用您个人身份信息(当前登录账号)从数据源读取数据至DataWorks数据目录。
若使用RAM用户或RAM角色在数据目录中查看MaxCompute数据,需提前获取MaxCompute相关权限。如果添加的MaxCompute数据源或项目已开启三层模型,则还需为RAM账号或RAM角色授予查看Schema元数据的权限。
说明若MaxCompute项目中包含多个Schema,则需要授予所有Schema的元数据权限,才能在数据目录的项目详情页面查看完整的Schema列表。
授权RAM用户:
GRANT DESCRIBE ON SCHEMA <Schema名> TO USER RAM$<主账号名>:<RAM用户名>;授权RAM角色:
GRANT DESCRIBE ON SCHEMA <Schema名> TO USER `RAM$<主账号名>:role/<RAM角色名>`;
进入工作空间的数据目录
仅工作空间为OpenLake时,才能访问工作空间的数据目录。
进入DataWorks工作空间列表页,在顶部切换至目标地域,找到已创建的工作空间,单击操作列的管理 > 数据目录,进入工作空间数据目录。
添加数据目录
您可以根据工作空间的共性需求来打造工作空间级的目录树,提升使用体验。具体操作如下:
进入数据目录后,找到需要添加的数据源类型,点击数据源类型名称后面的
图标,即可进入数据目录的添加页面。在数据目录添加页面,您可以找到具体的实例或者数据源,单击对应实例或者数据源操作栏中的添加,即可将该实例或数据源添加到数据目录。
从DataWorks空间已有的数据源添加的数据目录,添加完成后将对空间成员可见。
从账号下已有的数据源添加的数据目录,添加后仅对您个人可见。
从账号下已有的数据源添加的数据目录,在数据目录列表页面中,仅会展示与DataWorks项目空间处于相同地域下、且您有权限访问的数据源实例。
管理数据目录
移出数据目录
如不再使用添加的数据目录,您可通过以下操作移出对应的数据目录。
在左侧目录树中的数据目录中,找到您所添加的数据目录,单击操作列的移出或解绑数据目录。即可完成数据目录的移除操作。
创建管理数据对象
在数据目录界面,找到并展开已添加的目录,即可进入该目录创建或管理数据对象。更多操作细节可参见下表中的相关文档。
数据目录 | 功能说明 | 相关文档 |
MaxCompute | 创建和管理表、视图、外表、资源及函数等数据对象。 | |
Hologres | 创建和管理表、视图等数据对象。 | |
DLF Catalog | 创建和管理数据库表元数据。 | |
Hive | 创建和管理表数据对象。 | |
AnalyticDB MySQL | 创建和管理表数据对象。 | |
AnalyticDB PostgreSQL | 创建和管理表数据对象。 | |
StarRocks | 创建和管理表、视图等数据对象。 | |
AI Catalog | 管理AI Catalog数据集和模型元数据。 |
常见问题
Q:工作空间的数据目录和数据开发的数据目录有什么区别?
A:工作空间的数据目录,是管理员给工作空间中所有数据开发角色初始化了数据目录。数据开发角色在数据开发模块中可以基于工作空间的数据目录构建个性化的数据目录。