数据库表及函数

元数据管理是构建数据湖重要一环,通过有效的集中式元数据管理,可以提升数据资产价值。本文为您介绍数据湖构建中数据库、数据表及函数的相关操作。

数据库

创建数据库

  1. 登录数据湖管理控制台

  2. 在左侧菜单栏,选择元数据 > 元数据管理

  3. 单击数据库页签,选择目标数据目录,单击新建数据库

  4. 配置以下数据库信息,单击确定

    配置项

    描述

    所属数据目录

    选择所属数据目录。

    数据库名称

    输入数据库名称。

    数据库描述

    可选,输入数据库描述。

    选择路径

    指定OSS路径,将元数据存储在对象存储服务中,以确保数据的安全性和可靠性,便于统一管理和维护。

    说明

    仅支持标准存储的OSS Bucket,如果在本地区还没有创建标准存储的Bucket,您可以在OSS管理控制台上进行创建。

查看数据库详情

  1. 单击数据库页签。

  2. 在数据库列表中,单击目标库名,可查看该数据库基本信息

  3. 单击相应页签,可查看该数据库下的表列表函数列表数据权限数据概况存储规则

编辑数据库

  1. 单击数据库页签,选择目标数据目录

  2. 找到目标数据库,单击操作列的编辑

  3. 修改以下信息,单击更新

    • 数据库描述:输入数据库描述。

    • 选择路径:输入数据库的位置。

删除数据库

  1. 单击数据库页签,选择目标数据目录

  2. 找到目标数据库,单击操作列的删除

  3. 在弹出的对话框中,单击删除

说明
  • default库为DLF默认创建数据库,该数据库无法删除。生产环境建议使用其他数据库。

  • DLF页面删除数据库后,并不会删除OSS存储的数据,如需删除数据请从E-MapReduce/MaxCompute侧执行Drop Database操作。

数据表

创建数据表

  1. 创建完成数据库后,单击数据表页签,选择目标数据目录库名,单击新建数据表

  2. 配置以下数据表信息,单击确定

    配置项

    描述

    数据表名称

    输入数据表的名称。

    所属数据目录

    选择所属数据目录。

    所属数据库

    选择数据目录下的数据库。

    数据表描述

    可选,输入数据表描述。

    数据存储位置

    选择数据表中数据存储的位置。

    推荐默认存储位置为:oss://[库存储位置]/[表名称]

    格式与序列化

    选择数据表的数据格式,支持Avro、CSV、JSON、Parquet、ORC格式。

    分割符

    可选,当数据格式选择CSV时,选择数据表的分隔符。

    普通列

    手动定义数据表的普通列、分区列,指定列名称、数据类型、描述等信息。

    分区列

查看数据表详情

  1. 单击数据表页签。

  2. 在数据表列表中,单击目标表名,可查看该数据表基本信息

  3. 单击相应页签,可查看该数据表下的数据权限数据概况版本管理存储规则

    数据表的数据概况详情,请参见数据表-数据概况

编辑数据表

  1. 单击数据表页签,选择目标数据目录库名

  2. 找到目标数据表,单击操作列的编辑

  3. 修改数据表信息,单击更新

删除数据表

  1. 单击数据表页签,选择目标数据目录库名

  2. 找到目标数据表,单击操作列的删除

  3. 在弹出的对话框中,单击删除

说明

DLF页面删除数据表后,并不会删除OSS存储的数据,如需删除数据请从E-MapReduce/MaxCompute侧执行Drop Table操作。

函数

创建函数

  1. 在左侧菜单栏,选择元数据 > 元数据管理

  2. 单击函数页签,选择目标数据目录库名,单击新建函数

  3. 配置以下函数信息,单击确定

    配置项

    描述

    函数名称

    输入函数名称。

    函数类型

    仅支持JAVA。

    所属数据目录

    选择所属数据目录。

    所属数据库

    选择数据目录下的数据库。

    类名

    可选,输入类名。

    资源URI

    可选,单击增加一项,输入类型URI。资源类型支持JAR、FILEARCHIVE。

查看函数详情

  1. 单击函数页签,选择目标数据目录库名

  2. 在函数列表中,单击目标函数名称,可查看函数的基本信息。

编辑函数

  1. 单击函数页签,选择目标数据目录库名

  2. 找到目标函数,单击操作列的编辑

  3. 配置类名信息,单击确定

删除函数

  1. 单击函数页签,选择目标数据目录库名

  2. 找到目标函数,单击操作列的删除

  3. 在弹出的确认框中,单击删除