元数据管理是构建数据湖重要一环,通过有效的集中式元数据管理,可以提升数据资产价值。本文为您介绍数据湖构建中数据库、数据表及函数的相关操作。
数据库
创建数据库
登录数据湖管理控制台。
在左侧菜单栏,选择
。单击数据库页签,选择目标数据目录,单击新建数据库。
配置以下数据库信息,单击确定。
所属数据目录:选择所属数据目录。
数据库名称:输入数据库名称。
数据库描述:可选,输入数据库描述。
选择路径:输入数据库的位置。
查看数据库详情
单击数据库页签。
在数据库列表中,单击目标库名,可查看该数据库基本信息。
单击相应页签,可查看该数据库下的表列表、函数列表、数据权限、数据概况及存储规则。
编辑数据库
单击数据库页签,选择目标数据目录。
找到目标数据库,单击操作列的编辑。
修改以下信息,单击更新。
数据库描述:输入数据库描述。
选择路径:输入数据库的位置。
删除数据库
单击数据库页签,选择目标数据目录。
找到目标数据库,单击操作列的删除。
在弹出的对话框中,单击删除。
default库为DLF默认创建数据库,该数据库无法删除。生产环境建议使用其他数据库。
在DLF页面删除数据库后,并不会删除OSS存储的数据,如需删除数据请从E-MapReduce/MaxCompute侧执行Drop Database操作。
数据表
创建数据表
创建完成数据库后,单击数据表页签,选择目标数据目录和库名,单击新建数据表。
配置以下数据表信息,单击确定。
数据表名称:输入数据表的名称。
所属数据目录:选择所属数据目录。
所属数据库:选择数据目录下的数据库。
数据表描述:可选,输入数据表描述。
数据存储位置:选择数据表中数据存储的位置。
格式与序列化:选择数据表的数据格式和输出格式。
分割符:可选,当数据格式选择CSV时,选择数据表的分隔符。
手动定义数据表的普通列、分区列,指定列名称、数据类型、描述等信息。
查看数据表详情
单击数据表页签。
在数据表列表中,单击目标表名,可查看该数据表基本信息。
单击相应页签,可查看该数据表下的数据权限、数据概况、版本管理及存储规则。
数据表的数据概况详情,请参见数据表-数据概况。
编辑数据表
单击数据表页签,选择目标数据目录和库名。
找到目标数据表,单击操作列的编辑。
修改数据表信息,单击更新。
删除数据表
单击数据表页签,选择目标数据目录和库名。
找到目标数据表,单击操作列的删除。
在弹出的对话框中,单击删除。
在DLF页面删除数据表后,并不会删除OSS存储的数据,如需删除数据请从E-MapReduce/MaxCompute侧执行Drop Table操作。
函数
创建函数
在左侧菜单栏,选择
。单击函数页签,选择目标数据目录和库名,单击新建函数。
配置以下函数信息,单击确定。
函数名称:输入函数名称。
函数类型:仅支持JAVA。
所属数据目录:选择所属数据目录。
所属数据库:选择数据目录下的数据库。
类名:可选,输入类名。
资源URI:可选,单击增加一项,输入类型和URI。资源类型支持JAR、FILE和ARCHIVE。
查看函数详情
单击函数页签,选择目标数据目录和库名。
在函数列表中,单击目标函数名称,可查看函数的基本信息。
编辑函数
单击函数页签,选择目标数据目录和库名。
找到目标函数,单击操作列的编辑。
配置类名信息,单击确定。
删除函数
单击函数页签,选择目标数据目录和库名。
找到目标函数,单击操作列的删除。
在弹出的确认框中,单击删除。