数据目录 Catalog

更新时间:
复制为 MD 格式

数据目录 Catalog 概述

EventHouse Catalog 是 EventBridge EventHouse 的元数据管理层,负责统一管理事件数据源的元数据信息、Schema 定义和访问权限。

EventHouse Catalog 采用三层命名空间结构,与业界主流数据目录(如 Databricks Unity Catalog)的 Catalog-Schema-Table 架构对齐,支持按业务域灵活组织和管理事件数据资产。

命名空间结构

Catalog(数据目录)
  └── Namespace(命名空间)
        └── Event Table(事件表)

层级

名称

说明

命名规则

第一层

Catalog

顶层目录,按业务域或环境划分

1~64 个字符,字母开头,支持字母、数字、下划线

第二层

命名空间(Namespace)

按子系统或数据主题划分

1~64 个字符,字母开头,支持字母、数字、下划线

第三层

事件表(Event Table)

具体的事件数据表

1~48 个字符,支持数字、小写英文字母、短横线(-),不能以短横线开头

命名建议

  • Catalog:按业务域或环境划分,如 prod-catalogdev-catalogfinance-catalog

  • 命名空间:按子系统或数据主题划分,如 order_namespacepayment_namespace

前提条件

以下操作均需登录事件总线 EventBridge 控制台,在左侧导航栏选择事件仓 > 数据目录 Catalog

管理 Catalog

创建 Catalog

  1. 在数据目录页面,单击创建 Catalog

  2. 在创建 Catalog 对话框中,配置以下参数。

    参数

    是否必填

    说明

    名称

    Catalog 名称。1~64 个字符,字母开头,支持字母、数字、下划线。

    描述

    Catalog 的描述信息。

  3. 单击确定

创建完成后,Catalog 显示在页面左侧的树形导航和右侧的 Catalog 列表中。

编辑 Catalog 描述

  1. 在左侧树形导航中单击目标 Catalog,进入 Catalog 详情页。

  2. 在描述区域,单击编辑描述

  3. 修改描述信息后保存。

删除 Catalog

注意 删除 Catalog 前,需先删除该 Catalog 下的所有命名空间和事件表。
  1. 在左侧树形导航中单击目标 Catalog,进入 Catalog 详情页。

  2. 在页面右上角,单击删除

  3. 在确认对话框中,单击确定

管理命名空间

创建命名空间

  1. 在左侧树形导航中单击目标 Catalog,进入 Catalog 详情页。

  2. 单击创建命名空间

  3. 在创建命名空间对话框中,配置以下参数。

    参数

    是否必填

    说明

    命名空间名称

    命名空间名称。1~64 个字符,字母开头,支持字母、数字、下划线。

    描述

    命名空间的描述信息。

  4. 单击确定

创建完成后,命名空间显示在左侧树形导航中对应 Catalog 的子节点下。

编辑命名空间描述

  1. 在左侧树形导航中,单击目标命名空间进入命名空间详情页。

  2. 在描述区域,单击编辑描述

  3. 修改描述信息后保存。

删除命名空间

注意 删除命名空间前,需先删除该命名空间下的所有事件表。
  1. 在左侧树形导航中,单击目标命名空间进入命名空间详情页。

  2. 在页面右上角,单击删除

  3. 在确认对话框中,确认要删除的命名空间信息,单击确定

管理事件表

创建事件表

  1. 在左侧树形导航中,依次展开 Catalog 和命名空间,进入目标命名空间详情页。

  2. 单击创建事件表

  3. 在创建事件表对话框中,配置以下参数。

基本信息

参数

是否必填

说明

事件表名称

事件表名称。1~48 个字符,支持数字、小写英文字母、短横线(-),不能以短横线开头。

描述

事件表的描述信息。

存储配置

参数

是否必填

说明

数据保存时间

事件数据的保存时长。可选择限定天数(输入具体天数)或永久保存

数据分层

数据分层存储开关,默认关闭。开启后,数据按热存储和低频存储自动分层管理。

开启数据分层后,需配置以下参数:

参数

说明

热存储数据保存

数据在热存储中保留的天数。超过该天数后,数据自动转为低频存储。

低频存储数据保存

系统根据总保存天数和热存储天数自动计算。低频存储到期后,数据自动删除。

元数据配置

事件表结构(Schema)支持两种配置方式:

方式

说明

Schema 导入

从已有的 Schema Group 中选择 Schema。选择后,列预览区域显示 Schema 的列定义(列名、类型、描述),不可编辑。

自定义注册

手动定义事件表的列结构。支持的列类型包括:text、bigint、double、json、timestamp。可通过添加元数据按钮增加列。

  1. 单击确定

删除事件表

  1. 在命名空间详情页的事件表列表中,找到目标事件表。

  2. 在操作列中,单击删除

  3. 在确认对话框中,单击确定