数据目录

Data Studio数据目录全面支持OpenLake湖仓一体架构,实现统一元数据管理,建表方式多样化,辅助智能建表,提升数据研发效率,满足不同类型用户多样化元数据创建及管理的需求。

前提条件

创建工作空间,并选择参加数据开发(Data Studio)(新版)公测

数据目录管理

添加数据目录

默认添加

DataWorks在创建工作空间,并绑定计算资源(MaxCompute、Hologres、StarRocks)时,会同步创建对应数据源并绑定其数据目录。工作空间绑定的数据目录会同步展示在数据目录中,无需您手动绑定。具体详情请参见创建工作空间并绑定计算资源

主动添加

说明

Data Studio的数据目录支持您按需绑定个人有权限的数据目录。

  1. 进入DataWorks工作空间列表页,在顶部切换至目标地域,找到已创建的工作空间,单击操作列的快速进入 > 数据开发(新版),进入Data Studio。

  2. 在左侧导航栏单击image,进入数据目录。

  3. 按需绑定数据目录。

    MaxCompute

    • 如果您的项目空间未绑定计算资源,则首次打开MaxCompute数据目录时,该目录下为空,请单击image添加项目添加MaxCompute数据目录。

      image

      您可以查找并添加您需要添加的MaxCompute Project作为您的数据目录。

      image

      • MaxCompute - 项目

        该页签下包含与DataWorks相同地域下,您具备管理权限的MaxCompute项目,您可以单击操作添加,即可将该项目添加到数据目录。

        该页签下还包含MaxCompute内置项目SYSTEM_CATALOGBIGDATA_PUBLIC_DATASET。

        • SYSTEM_CATALOG:该项目内置INFORMATION_SCHEMA,访问该内置Schema提供的只读视图,可以查询当前用户所有MaxCompute项目的元数据信息以及使用历史信息,详情请参见租户级别Information Schema

        • BIGDATA_PUBLIC_DATASET:该项目存储着MaxCompute开放的公开数据集数据。MaxCompute的公开数据集的详细信息,请参见公开数据集概述

      • DataWorks 数据源

        该页签下包含DataWorks数据源绑定的MaxCompute Project,您可以单击操作列的添加为数据目录,将该数据源的数据目录绑定至工作空间。

    Hologres

    • 如果您在创建工作空间后,已通过工作空间详情页或管理中心绑定了数据目录,则此时在数据开发数据目录中即可查看并管理数据目录。更多详情,请参见创建工作空间并绑定计算资源

    • 如果您的项目空间未绑定计算资源,则首次打开Hologres数据目录时,该目录下为空,请单击image添加实例添加Hologres数据目录。

      image

      您可以按需添加Hologres - 实例或已在DataWorks创建的Hologres数据源。

      • Hologres - 实例

        该页签下包含与DataWorks项目空间相同地域下,您具备管理权限的Hologres实例,您可以单击操作添加,将该实例的数据目录绑定至项目空间。

      • DataWorks 数据源

        该页签下包含DataWorks数据源绑定的MaxCompute项目,您可以单击操作列的添加为数据目录,将该数据源的数据目录绑定至工作空间。

    DLF Catalog

    • 如果您在创建工作空间后,已通过工作空间详情页或管理中心绑定了数据目录,则此时在数据开发数据目录中即可查看并管理数据目录。更多详情,请参见创建工作空间并绑定计算资源

    • 如果您的项目空间未绑定计算资源,则首次打开DLF Catalog数据目录时,该目录下为空,请单击image添加Catalog添加DLF Catalog数据目录。

      image

      DLF Catalog列表页包含与DataWorks项目空间相同地域下,您具备管理权限的DLF Catalog,您可以单击操作添加,将其绑定至项目空间。

    StarRocks

    • 如果您在创建工作空间后,已通过工作空间详情页或管理中心绑定了数据目录,则此时在数据开发数据目录中即可查看并管理数据目录。更多详情,请参见创建工作空间并绑定计算资源

    • 如果您的项目空间未绑定计算资源,则首次打开StarRocks数据目录时,该目录下为空,请单击image添加实例添加StarRocks数据目录。

      image

      您可以添加已在DataWorks创建的StarRocks数据源。

      DataWorks 数据源页签下包含已创建的数据源(通过绑定计算资源自动创建、管理中心数据源列表手动创建),您可以单击操作列的添加为数据目录,将该数据源的数据目录绑定至工作空间。

    AI Catalog

    image

    该数据目录下包含数据集和模型

    • 数据集:包括公开数据集和自定义数据集。

    • 模型:包括AI项目空间中的模型数据。

    说明

    您可以前往人工智能平台PAI控制台,在左侧导航栏单击工作空间列表,进入DataWorks项目空间同名的PAI项目空间,然后在AI资产管理 > 数据集中查看或创建自定义数据集,在AI资产管理 > 模型中查看或注册新模型。

移出数据目录

  • 默认添加的数据目录,不支持在数据开发(Data Studio)的数据目录中进行解绑,需前往管理中心 > 计算资源页面或工作空间详情页的计算资源页签解绑。

  • 主动添加的数据目录,可在数据开发(Data Studio)的数据目录中,单击操作列的解绑数据目录

创建数据对象

Data Studio数据目录,支持通过多种方式建表,如可视化建表、DDL建表及Copilot智能建表。此外,数据目录还支持创建外表、视图、资源及函数等数据对象。具体操作说明如下:

说明
  • 本文以MaxCompute表为例,其他类型的数据目录以及视图、资源、函数操作方法请根据界面提示操作。

  • 资源与函数需要在左侧一级目录中单击资源管理(image),创建资源或函数。

创建表

  1. 打开已添加的MaxCompute项目,您可以通过多种方式进入新建表页面。

    • 在数据目录中单击,进入表清单页,该页面展示当前Schema下所有内表,然后单击新建表image

    • 在数据目录中右键选择新建 > 新建表

    • 在数据目录中单击右侧的image

  2. 新建表页面您可以通过如下多种方式按需创建表。

    • ①:可视化建表:进入表新建页面,页面左侧支持您手动录入表名生命周期表字段、表分区表类型等信息,页面右侧DDL区域将会自动解析生成DDL语句。

    • ②:DDL建表:进入表新建页面,页面右侧DDL区域支持您直接编写建表DDL代码,页面左侧可视化区域内容也会自动映射。

    • ③:Copilot建表:对于已经参加Copilot公测的客户,在表新建页面顶部操作区域,可以单击Copilot建表,输入建表需求,如“创建商品维度表”,由大模型生成模型表名、表描述、字段名、字段描述等内容,点击接受即可。此外,您还可以使用字段信息字段列表上面的生成字段,生成字段描述来进行字段生成。

    image

  3. 配置完成后,单击新建表页面顶部的发布,在MaxCompute项目中创建该表。

查看并修改表

  1. 在数据目录中单击,然后在表列表页面选择需要查看的表。

    您也可以直接在数据目录中单击具体表名。image

  2. 查看表的明细信息表字段分区字段)、基本信息所属项目负责人生命周期等)以及DDL语句。

  3. 您可以单击右上角编辑按钮,修改表的相关配置(表名生命周期字段信息等)。

删除表

在数据目录中右键待删除的表,然后单击删除,即可删除此表。

附录:从管理中心、工作空间详情页绑定数据目录

说明

管理中心、工作空间详情页绑定数据目录基于数据源,您需要创建相应数据源后,才可以绑定其数据目录。

  1. 创建数据源。

    1. 进入DataWorks管理中心页,顶部切换至目标地域,然后选择已创建的工作空间,单击进入管理中心

    2. 在左侧导航栏单击数据源 > 数据源列表

    3. 单击新建数据源。目前支持数据目录的数据源有Data Lake Formation 2.0(DLF 2.0)MaxComputeHologresStarRocks,根据页面参数提示,完成数据源创建。

  2. 您可以在管理中心或工作空间详情页绑定数据目录。

    • 管理中心

      1. 在左侧导航栏单击数据目录,然后单击绑定数据目录

      2. 目录类型按需选择,然后选择已创建的数据源。

    • 工作空间详情页

      1. 进入DataWorks工作空间列表页,在顶部切换至目标地域,找到已创建的工作空间,单击操作列的详情,进入工作空间详情页。

      2. 切换至数据目录页签,然后单击绑定数据目录

      3. 目录类型按需选择,然后选择已创建的数据源。