创建元数据
在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前,需要先创建对应数据源中数据表的元数据,以实现通过元数据确定数据源中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、Elasticsearch和MongoDB数据源中数据表的元数据。
背景信息
HBase、Elasticsearch和MongoDB数据源为非关系型数据源,基于这三种数据源创建服务单元时无法直接读取到数据源的数据,因此在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前,需要先创建对应数据源中数据表的元数据。
前提条件
在开始执行操作前,请确认您已具有HBase、Elasticsearch或MongoDB数据源的读取权限。
如何申请数据源的读取权限,请参见管理数据源权限。
使用限制
HBase、Elasticsearch或MongoDB数据源中的一个数据表只能创建一个元数据。
仅支持开发用户、服务项目管理员角色的用户创建元数据。
创建HBase数据源中数据表的元数据
请参见入口介绍,进入数据服务。
按照下图操作指引,进入新建元数据页面。
在新建元数据页面,配置参数。
在数据表配置区域,依次选择HBase 0.9.4/1.1.x/2.x的数据源类型、数据源和需要创建元数据的数据表。
在Rowkey配置区域,配置Rowkey。在读写HBase的数据时,需要通过RowKey字段查询到数据所在的Region及Region下的MemStore和HFile。
参数
描述
分隔符
基于业务数据中的分隔符选择对应的分隔符。当只有一个Rowkey字段时,也需要选择分隔符,这时分割符可以任意选一个即可。
Rowkey字段间的分隔符包括DASH(-)、EMPERSAND(&)、CARET(^)、SEMICOLO(:)、POUND(#)、VERTICAL(|)、UNDERSCORE(_)、ESCAPE_0(\0)、ESCAPE_40(\40)、ESCAPE_001(\001)、ESCAPE_002(\002)、ESCAPE_003(\003)、ESCAPE_004(\004)。
新建Rowkey字段
创建Rowkey字段。单击Rowkey配置区域的新建列字段,配置如下参数:
Rowkey字段名称:您可以自定义Rowkey字段的名称。命名规则如下:
只能包含字母、数字或下划线(_)。
以字母开头。
不能超过64个字符。
字段类型:根据业务数据的字段类型选择对应的Rowkey字段类型。
支持选择的字段类型包括Double、Float、String、Date、Boolean、Int、Long、Short、Byte、Bigdecimal、Binary。如果业务数据的字段类型不在上述字段类型范围内,推荐您选择String。
Rowkey描述:填写对Rowkey字段的简单描述。
在列字段配置区域,配置列字段。
参数
描述
列簇名称
配置为HBase业务数据源中实际的列簇名称。
列字段名称
配置为HBase业务数据源中实际的列字段名称。
字段类型
根据业务数据的字段类型选择对应的字段类型。
支持选择的字段类型包括Double、Float、String、Date、Boolean、Int、Long、Short、Byte、Bigdecimal、Binary。如果业务数据的字段类型不在上述字段类型范围内,推荐您选择String。
描述
填写对列字段的简单描述。
单击提交后,您就可以在元数据管理页面,查看已创建的元数据。
创建Elasticsearch数据源中数据表的元数据
请参见入口介绍,进入数据服务。
在新建元数据页面,配置参数。
在数据表配置区域,依次选择Elasticsearch的数据源类型、数据源和需要创建元数据的数据表。
在字段配置区域,单击新增字段后,配置字段信息。
参数
描述
字段名称
配置为业务数据中实际的字段名称,且后续需要基于该字段创建服务单元。
字段类型
根据业务数据的字段类型选择对应的字段类型。
支持选择的字段类型包括Double、Float、String、Date、Boolean、Int、Long、Short、Byte、Bigdecimal、Binary。如果业务数据的字段类型不在上述字段类型范围内,推荐您选择String。
描述
填写对字段的简单描述。
单击提交后,您就可以在元数据管理页面,查看已创建的元数据。
创建MongoDB数据源中数据表的元数据
请参见入口介绍,进入数据服务。
在新建元数据页面,配置参数。
在数据表配置区域,依次选择MongoDB的数据源类型、数据源和需要创建元数据的数据表。
在字段配置区域,单击新增字段后,配置字段信息。
参数
描述
字段名称
配置为业务数据中实际的字段名称,且后续需要基于该字段创建服务单元。当字段名称需要多层嵌套时,使用半角句号(.)分割。
字段类型
根据业务数据的字段类型选择对应的字段类型。
支持选择的字段类型包括Double、Float、String、Date、Boolean、Int、Long、Short、Byte、Bigdecimal、Binary。如果业务数据的字段类型不在上述字段类型范围内,推荐您选择String。
描述
填写对字段的简单描述。
单击提交后,您就可以在元数据管理页面,查看已创建的元数据。
后续步骤
完成元数据创建后,即可创建服务单元。具体操作,请参见创建单物理表服务单元。