数据目录 Catalog 概述
EventHouse Catalog 是 EventBridge EventHouse 的元数据管理层,负责统一管理事件数据源的元数据信息、Schema 定义和访问权限。
EventHouse Catalog 采用三层命名空间结构,与业界主流数据目录(如 Databricks Unity Catalog)的 Catalog-Schema-Table 架构对齐,支持按业务域灵活组织和管理事件数据资产。
命名空间结构
Catalog(数据目录)
└── Namespace(命名空间)
└── Event Table(事件表)
|
层级 |
名称 |
说明 |
命名规则 |
|
第一层 |
Catalog |
顶层目录,按业务域或环境划分 |
1~64 个字符,字母开头,支持字母、数字、下划线 |
|
第二层 |
命名空间(Namespace) |
按子系统或数据主题划分 |
1~64 个字符,字母开头,支持字母、数字、下划线 |
|
第三层 |
事件表(Event Table) |
具体的事件数据表 |
1~48 个字符,支持数字、小写英文字母、短横线(-),不能以短横线开头 |
命名建议:
-
Catalog:按业务域或环境划分,如
prod-catalog、dev-catalog、finance-catalog。 -
命名空间:按子系统或数据主题划分,如
order_namespace、payment_namespace。
前提条件
以下操作均需登录事件总线 EventBridge 控制台,在左侧导航栏选择事件仓 > 数据目录 Catalog。
管理 Catalog
创建 Catalog
-
在数据目录页面,单击创建 Catalog。
-
在创建 Catalog 对话框中,配置以下参数。
参数
是否必填
说明
名称
是
Catalog 名称。1~64 个字符,字母开头,支持字母、数字、下划线。
描述
否
Catalog 的描述信息。
-
单击确定。
创建完成后,Catalog 显示在页面左侧的树形导航和右侧的 Catalog 列表中。
编辑 Catalog 描述
-
在左侧树形导航中单击目标 Catalog,进入 Catalog 详情页。
-
在描述区域,单击编辑描述。
-
修改描述信息后保存。
删除 Catalog
注意 删除 Catalog 前,需先删除该 Catalog 下的所有命名空间和事件表。
-
在左侧树形导航中单击目标 Catalog,进入 Catalog 详情页。
-
在页面右上角,单击删除。
-
在确认对话框中,单击确定。
管理命名空间
创建命名空间
-
在左侧树形导航中单击目标 Catalog,进入 Catalog 详情页。
-
单击创建命名空间。
-
在创建命名空间对话框中,配置以下参数。
参数
是否必填
说明
命名空间名称
是
命名空间名称。1~64 个字符,字母开头,支持字母、数字、下划线。
描述
否
命名空间的描述信息。
-
单击确定。
创建完成后,命名空间显示在左侧树形导航中对应 Catalog 的子节点下。
编辑命名空间描述
-
在左侧树形导航中,单击目标命名空间进入命名空间详情页。
-
在描述区域,单击编辑描述。
-
修改描述信息后保存。
删除命名空间
注意 删除命名空间前,需先删除该命名空间下的所有事件表。
-
在左侧树形导航中,单击目标命名空间进入命名空间详情页。
-
在页面右上角,单击删除。
-
在确认对话框中,确认要删除的命名空间信息,单击确定。
管理事件表
创建事件表
-
在左侧树形导航中,依次展开 Catalog 和命名空间,进入目标命名空间详情页。
-
单击创建事件表。
-
在创建事件表对话框中,配置以下参数。
基本信息
|
参数 |
是否必填 |
说明 |
|
事件表名称 |
是 |
事件表名称。1~48 个字符,支持数字、小写英文字母、短横线(-),不能以短横线开头。 |
|
描述 |
否 |
事件表的描述信息。 |
存储配置
|
参数 |
是否必填 |
说明 |
|
数据保存时间 |
是 |
事件数据的保存时长。可选择限定天数(输入具体天数)或永久保存。 |
|
数据分层 |
否 |
数据分层存储开关,默认关闭。开启后,数据按热存储和低频存储自动分层管理。 |
开启数据分层后,需配置以下参数:
|
参数 |
说明 |
|
热存储数据保存 |
数据在热存储中保留的天数。超过该天数后,数据自动转为低频存储。 |
|
低频存储数据保存 |
系统根据总保存天数和热存储天数自动计算。低频存储到期后,数据自动删除。 |
元数据配置
事件表结构(Schema)支持两种配置方式:
|
方式 |
说明 |
|
Schema 导入 |
从已有的 Schema Group 中选择 Schema。选择后,列预览区域显示 Schema 的列定义(列名、类型、描述),不可编辑。 |
|
自定义注册 |
手动定义事件表的列结构。支持的列类型包括:text、bigint、double、json、timestamp。可通过添加元数据按钮增加列。 |
-
单击确定。
删除事件表
-
在命名空间详情页的事件表列表中,找到目标事件表。
-
在操作列中,单击删除。
-
在确认对话框中,单击确定。