DLF Catalog数据管理

数据目录提供统一界面,方便管理和操作DLF Catalog元数据。本文将为您介绍如何在数据目录中创建和管理数据库表元数据。

使用限制

暂不支持对DLF 2.5元数据的操作管理。

进入DLF Catalog数据目录页面

  1. 进入DataWorks工作空间列表页,在顶部切换至目标地域,找到已创建的工作空间,单击操作列的快速进入 > Data Studio,进入Data Studio。

  2. 单击左侧导航栏中的image图标,在数据目录的目录树中单击DLF Catalog,即可进入DLF Catalog数据目录管理页面。

创建DLF Catalog数据目录

DLF Catalog数据目录管理页面,您可将已有的DLF Catalog作为数据集添加到数据目录列表。

  1. 单击DLF Catalog数据目录右侧的image图标,进入添加DLF Catalog页面。

  2. 您可分别在DLF1.0页签或DLF2.0页签分别将对应版本的DLF Catalog添加到数据目录列表。

    DLF版本

    绑定说明

    DLF1.0

    可在DLF1.0页签单击新建DLF Catalog,在数据湖构建1.0控制台创建DLF Catalog数据目录,创建完成后将其添加到DLF Catalog数据目录列表。

    • 单个绑定:可在DLF1.0页签下的列表中找到您所需添加的DLF Catalog,单击操作栏的添加按钮完成添加。

    • 批量绑定:可在DLF1.0页签下的列表中勾选多个DLF Catalog,单击列表下方的批量添加按钮进行批量添加。

    DLF2.0

    可在DLF2.0页签单击新建DLF Catalog,在数据湖构建2.0控制台创建DLF Catalog数据目录,创建完成后将其添加到DLF Catalog数据目录列表。

    • 单个绑定:可在DLF2.0页签下的列表中找到您所需添加的DLF Catalog,单击操作栏的添加按钮完成添加。

    • 批量绑定:可在DLF2.0页签下的列表中勾选多个DLF Catalog,单击列表下方的批量添加按钮进行批量添加。

管理DLF Catalog数据目录

您可以在DLF Catalog数据目录中添加和管理数据库、表数据对象。

管理数据库

新建数据库

  1. 找到目标DLF Catalog数据目录,单击DLF Catalog数据目录右侧的image图标。

  2. 新建数据库页面输入您所需创建的数据库名称

  3. 单击上方工具栏中的保存按钮,即可完成新建。

管理数据库

  1. 查看数据库。

    将数据库添加到DLF Catalog数据目录后,您可单击DLF Catalog数据目录左侧的image图标,查看已添加的数据库。

  2. 删除数据库。

    如无需再管理某个数据库,可鼠标右键对应的数据库,在弹框中选择删除

    重要
    • 删除后无法恢复,请谨慎操作。

    • 删除数据库前,需先删除数据库内部的表。

管理表

新建表

  1. 单击目标DLF Catalog数据库右侧的image图标,进入新建表页面。

  2. 您可通过以下任一方式生成表基础信息和字段信息。

    • Copilot建表

      1. 单击页面上方工具栏中的Copilot建表,进入Copilot Chat功能界面。

      2. 输入建表指令(例如:创建用户表)。

      3. 单击生成并替换,系统会根据您输入的指令,生成默认的表名及字段信息。

      4. 如表名及字段符合预期,您可单击接受

        说明

        如需修改部分表信息,单击接受后,可手动对系统生成的表信息进行编辑。

    • 手动建表

      根据参数说明信息新建表。

      参数

      配置说明

      基础信息

      自定义表名表说明等信息。

      字段信息

      编辑字段和字段注解信息。

      • 手动编辑:单击字段信息列表上方的插入按钮,手动指定插入行数后,即可编辑字段、字段类型等信息。

      • Copilot智能编辑:单击字段信息列表上方的生成字段生成字段描述,系统可根据您设置的表名及表说明信息,生成相关字段及描述说明。

  3. (可选)配置分区信息。

    如需创建分区表,可在分区字段位置设置好所需的分区字段数(支持多分区),单击插入。根据业务需求,在分区字段列表中设置分区字段名字段类型等相关信息。

  4. (可选)配置高级设置

    DLF版本

    参数

    参数描述

    DLF2.0

    自定义属性

    可通过配置自定义属性参数来设置表存储位置、存储格式等信息。具体配置可参见数据湖构建新建数据表

    DLF1.0

    存储位置

    单击存储位置后面的更改按钮,可在OSS路径弹窗中选择表存储位置。将元数据存储在对象存储服务中,以确保数据的安全性和可靠性,便于统一管理和维护。

    数据格式

    支持将存储格式设置为CSV、PARQUET、ORC、AVRO、JSON、SELE_DEFINE格式。系统会根据所选的存储格式,自动定义数据的输入、输出格式以及序列化和反序列化方式。

    • CSV:以逗号分隔的文本文件,适合简单数据结构。

    • PARQUET:列式存储格式,压缩率高,适合大数据分析。

    • ORC:优化的列式存储格式,性能优异,支持复杂数据类型。

    • AVRO:支持模式演化的二进制格式,适合动态数据结构。

    • JSON:支持嵌套结构,适合半结构化数据。

    • SELE_DEFINE:允许用户自定义序列化和反序列化逻辑。

  5. 配置完成后,单击上方工具栏中的发布即可完成建表。

管理表

  1. 查看表。

    DLF Catalog创建表后,您可依次单击DLF Catalog数据目录左侧的image图标,单击查看表基本信息,也可单击具体表名查看表明细信息基础信息

  2. 删除表。

    鼠标右键您所需删除的表,在弹框中选择删除

    重要

    删除后无法恢复,请谨慎操作。

查看移除DLF Catalog数据目录

如需后续无需使用DLF Catalog数据目录,可查看移除对应DLF Catalog数据目录。

  1. 查看数据目录。

    1. 将实例添加到DLF Catalog数据目录后,您可单击DLF Catalog数据目录左侧的image图标,查看已添加的DLF Catalog。

    2. 将鼠标悬浮在对应的DLF Catalog上,即可查看该DLF Catalog版本创建时间等相关信息。

  2. 解绑项目。

    如无需再管理某个DLF Catalog数据目录,可鼠标右键对应的DLF Catalog数据目录,在弹框中选择移除数据目录。