数据目录是您在数据开发前统一的元数据工作台。它整合了MaxCompute、Hologres、DLF等多种数据源的元数据,让您无需离开DataWorks即可完成建表、视图管理等所有准备工作,从而专注核心开发。
核心特性
统一管理:集中管理多种数据源的表、视图、函数及资源,并提供搜索。
快速建表:无需切换控制台,直接在DataWorks内创建表结构。
DDL建表:支持原生SQL语句,灵活可控。
可视化建表:通过表单填写,简单直观。
Copilot智能建表:通过自然语言描述,由AI辅助生成。
一键同步:快速发起MaxCompute与Hologres等数据源之间的数据同步任务,简化流程。
快速探查:直接预览表的结构详情,快速理解数据。
支持的数据目录
下表为您展示当前数据目录支持的数据源类型,以及对应类型数据源添加至DataWorks数据目录的方式。
数据目录 | 是否支持从工作空间绑定的数据源添加 | 是否支持从账号已有数据源添加 |
MaxCompute(内部项目、外部项目) | ||
Hologres(内部数据库、外部数据库) | ||
DLF Catalog(DLF1.0、DLF2.0) | ||
Hive(EMR Hive) | ||
AnalyticDB MySQL | ||
AnalyticDB PostgreSQL | ||
StarRocks | ||
AI Catalog(AI数据集、AI模型) | 系统将自动读取与当前 DataWorks 空间同名的AI空间下的数据。 |
认证身份与鉴权说明
数据目录是否能够正常读取数据源下的数据信息,取决于数据源添加至数据目录的方式,具体规则如下:
从工作空间绑定的数据源实例添加到数据目录时,该数据目录将使用数据源配置的身份信息从数据源读取数据至DataWorks数据目录。
从个人账号已有的数据源实例添加到数据目录时,该数据目录将使用您个人身份信息从数据源读取数据至DataWorks数据目录。
若使用RAM用户或RAM角色在数据目录中查看MaxCompute数据,需提前获取MaxCompute相关权限。如果添加的MaxCompute数据源或项目已开启三层模型,则还需为RAM账号或RAM角色授予查看Schema元数据的权限。
说明若MaxCompute项目中包含多个Schema,则需要授予所有Schema的元数据权限,才能在数据目录的项目详情页面查看完整的Schema列表。
授权RAM用户:
GRANT DESCRIBE ON SCHEMA <Schema名> TO USER RAM$<主账号名>:<RAM用户名>;
授权RAM角色:
GRANT DESCRIBE ON SCHEMA <Schema名> TO USER `RAM$<主账号名>:role/<RAM角色名>`;
进入数据目录
仅支持参加数据开发(Data Studio)(新版)公测的工作空间。
进入DataWorks工作空间列表页,在顶部切换至目标地域,找到已创建的工作空间,单击操作列的 ,进入Data Studio。
在左侧导航栏单击
,进入数据目录。
添加数据目录
您可以根据个人需求来打造个性化的目录树,提升使用体验。具体操作如下:
进入数据目录后,找到需要添加的数据源类型,点击数据源类型名称后面的
图标,即可进入数据目录的添加页面。
在数据目录添加页面,您可以找到具体的实例或者数据源,单击对应实例或者数据源操作栏中的添加,即可将该实例或数据源添加到数据目录。
从DataWorks空间已有的数据源添加的数据目录,添加完成后将对空间成员可见。
从账号下已有的数据源添加的数据目录,添加后仅对您个人可见。
从账号下已有的数据源添加的数据目录,在数据目录列表页面中,仅会展示与DataWorks项目空间处于相同地域下、且您有权限访问的数据源实例。
管理数据目录
隐藏数据目录
如果您在开发过程中不希望看到与当前操作数据目录无关的其他数据目录,可以通过以下步骤将其隐藏。
找到左侧目录树中的数据目录,单击右上角的
图标。
在弹窗中单击对应引擎前面的
图标,即可隐藏该引擎对应的所有数据目录。
说明在弹窗中单击对应引擎前面的空白位置,即可取消隐藏该引擎对应的所有数据目录。
移出数据目录
如不再使用添加的数据目录,您可通过以下操作移出对应的数据目录。
在左侧目录树中的数据目录中,找到您所添加的数据目录,单击操作列的移出或解绑数据目录。即可完成数据目录的移除操作。
创建管理数据对象
在数据目录界面,找到并展开已添加的目录,即可进入该目录创建或管理数据对象。更多操作细节可参见下表中的相关文档。
数据目录 | 功能说明 | 相关文档 |
MaxCompute | 创建和管理表、视图、外表、资源及函数等数据对象。 | |
Hologres | 创建和管理表、视图等数据对象。 | |
DLF Catalog | 创建和管理数据库表元数据。 | |
Hive | 创建和管理表数据对象。 | |
AnalyticDB MySQL | 创建和管理表数据对象。 | |
AnalyticDB PostgreSQL | 创建和管理表数据对象。 | |
StarRocks | 创建和管理表、视图数据对象。 | |
AI Catalog | 管理AI Catalog数据集和模型元数据。 |