数据库表及函数

更新时间:
复制 MD 格式

元数据管理是构建数据湖重要一环,通过有效的集中式元数据管理,可以提升数据资产价值。本文为您介绍数据湖构建中数据库、数据表及函数的相关操作。

数据库

创建数据库

  1. 登录数据湖管理控制台。

  2. 在左侧菜单栏,选择元数据 > 元数据管理。

  3. 单击数据库页签,选择目标数据目录,单击新建数据库。

  4. 配置以下数据库信息,单击确定。

    配置项

    描述

    所属数据目录

    选择所属数据目录。

    数据库名称

    输入数据库名称。

    数据库描述

    可选,输入数据库描述。

    选择路径

    指定OSS路径,将元数据存储在对象存储服务中,以确保数据的安全性和可靠性,便于统一管理和维护。

    说明

    仅支持标准存储的OSS Bucket,如果在本地区还没有创建标准存储的Bucket,您可以在OSS管理控制台上进行创建。

查看数据库详情

  1. 单击数据库页签。

  2. 在数据库列表中,单击目标库名,可查看该数据库基本信息。

  3. 单击相应页签,可查看该数据库下的表列表、函数列表、数据权限、数据概况及存储规则。

编辑数据库

  1. 单击数据库页签,选择目标数据目录。

  2. 找到目标数据库,单击操作列的编辑。

  3. 修改以下信息,单击更新。

    • 数据库描述:输入数据库描述。

    • 选择路径:输入数据库的位置。

删除数据库

  1. 单击数据库页签,选择目标数据目录。

  2. 找到目标数据库,单击操作列的删除。

  3. 在弹出的对话框中,单击删除。

说明
  • default库为DLF默认创建数据库,该数据库无法删除。生产环境建议使用其他数据库。

  • 在DLF页面删除数据库后,并不会删除OSS存储的数据,如需删除数据请从E-MapReduce/MaxCompute侧执行Drop Database操作。

数据表

创建数据表

  1. 创建完成数据库后,单击数据表页签,选择目标数据目录和库名,单击新建数据表。

  2. 配置以下数据表信息,单击确定。

    配置项

    描述

    数据表名称

    输入数据表的名称。

    所属数据目录

    选择所属数据目录。

    所属数据库:

    选择数据目录下的数据库。

    数据表描述

    可选,输入数据表描述。

    数据存储位置

    选择数据表中数据存储的位置。

    推荐默认存储位置为:oss://[库存储位置]/[表名称]。

    格式与序列化

    选择数据表的数据格式,支持Avro、CSV、JSON、Parquet、ORC格式。

    分割符

    可选,当数据格式选择CSV时,选择数据表的分隔符。

    普通列

    手动定义数据表的普通列、分区列,指定列名称、数据类型、描述等信息。

    分区列

查看数据表详情

  1. 单击数据表页签。

  2. 在数据表列表中,单击目标表名,可查看该数据表基本信息。

  3. 单击相应页签,可查看该数据表下的数据权限、数据概况、版本管理及存储规则。

    数据表的数据概况详情,请参见数据表-数据概况。

编辑数据表

  1. 单击数据表页签,选择目标数据目录和库名。

  2. 找到目标数据表,单击操作列的编辑。

  3. 修改数据表信息,单击更新。

删除数据表

  1. 单击数据表页签,选择目标数据目录和库名。

  2. 找到目标数据表,单击操作列的删除。

  3. 在弹出的对话框中,单击删除。

说明

在DLF页面删除数据表后,并不会删除OSS存储的数据,如需删除数据请从E-MapReduce/MaxCompute侧执行Drop Table操作。

函数

创建函数

  1. 在左侧菜单栏,选择元数据 > 元数据管理。

  2. 单击函数页签,选择目标数据目录和库名,单击新建函数。

  3. 配置以下函数信息,单击确定。

    配置项

    描述

    函数名称

    输入函数名称。

    函数类型

    仅支持JAVA。

    所属数据目录

    选择所属数据目录。

    所属数据库:

    选择数据目录下的数据库。

    类名

    可选,输入类名。

    资源URI

    可选,单击增加一项,输入类型和URI。资源类型支持JAR、FILE和ARCHIVE。

查看函数详情

  1. 单击函数页签,选择目标数据目录和库名。

  2. 在函数列表中,单击目标函数名称,可查看函数的基本信息。

编辑函数

  1. 单击函数页签,选择目标数据目录和库名。

  2. 找到目标函数,单击操作列的编辑。

  3. 配置类名信息,单击确定。

删除函数

  1. 单击函数页签,选择目标数据目录和库名。

  2. 找到目标函数,单击操作列的删除。

  3. 在弹出的确认框中,单击删除。