创建元数据

在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前,需要先创建对应数据源中数据表的元数据,以实现通过元数据确定数据源中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、Elasticsearch和MongoDB数据源中数据表的元数据。

背景信息

HBase、Elasticsearch和MongoDB数据源为非关系型数据源,基于这三种数据源创建服务单元时无法直接读取到数据源的数据,因此在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前,需要先创建对应数据源中数据表的元数据。

前提条件

在开始执行操作前,请确认您已具有HBase、Elasticsearch或MongoDB数据源的读取权限。

如何申请数据源的读取权限,请参见管理数据源权限

使用限制

  • HBase、Elasticsearch或MongoDB数据源中的一个数据表只能创建一个元数据。

  • 仅支持开发用户、服务项目管理员角色的用户创建元数据。

创建HBase数据源中数据表的元数据

  1. 请参见入口介绍,进入数据服务。

  2. 按照下图操作指引,进入新建元数据页面。

    image
  3. 新建元数据页面,配置参数。

    image
    1. 数据表配置区域,依次选择HBase 0.9.4/1.1.x/2.x的数据源类型、数据源和需要创建元数据的数据表。

    2. Rowkey配置区域,配置Rowkey。在读写HBase的数据时,需要通过RowKey字段查询到数据所在的Region及Region下的MemStore和HFile。

      参数

      描述

      分隔符

      基于业务数据中的分隔符选择对应的分隔符。当只有一个Rowkey字段时,也需要选择分隔符,这时分割符可以任意选一个即可。

      Rowkey字段间的分隔符包括DASH(-)、EMPERSAND(&)、CARET(^)、SEMICOLO(:)、POUND(#)、VERTICAL(|)、UNDERSCORE(_)、ESCAPE_0(\0)、ESCAPE_40(\40)、ESCAPE_001(\001)、ESCAPE_002(\002)、ESCAPE_003(\003)、ESCAPE_004(\004)。

      新建Rowkey字段

      创建Rowkey字段。单击Rowkey配置区域的新建列字段,配置如下参数:

      • Rowkey字段名称:您可以自定义Rowkey字段的名称。命名规则如下:

        • 只能包含字母、数字或下划线(_)。

        • 以字母开头。

        • 不能超过64个字符。

      • 字段类型:根据业务数据的字段类型选择对应的Rowkey字段类型。

        支持选择的字段类型包括Double、Float、String、Date、Boolean、Int、Long、Short、Byte、Bigdecimal、Binary。如果业务数据的字段类型不在上述字段类型范围内,推荐您选择String。

      • Rowkey描述:填写对Rowkey字段的简单描述。

    3. 列字段配置区域,配置列字段。

      参数

      描述

      列簇名称

      配置为HBase业务数据源中实际的列簇名称。

      列字段名称

      配置为HBase业务数据源中实际的列字段名称。

      字段类型

      根据业务数据的字段类型选择对应的字段类型。

      支持选择的字段类型包括Double、Float、String、Date、Boolean、Int、Long、Short、Byte、Bigdecimal、Binary。如果业务数据的字段类型不在上述字段类型范围内,推荐您选择String。

      描述

      填写对列字段的简单描述。

  4. 单击提交后,您就可以在元数据管理页面,查看已创建的元数据。

    image

创建Elasticsearch数据源中数据表的元数据

  1. 请参见入口介绍,进入数据服务。

  2. 新建元数据页面,配置参数。

    gagaga
    1. 数据表配置区域,依次选择Elasticsearch的数据源类型、数据源和需要创建元数据的数据表。

    2. 字段配置区域,单击新增字段后,配置字段信息。

      参数

      描述

      字段名称

      配置为业务数据中实际的字段名称,且后续需要基于该字段创建服务单元。

      字段类型

      根据业务数据的字段类型选择对应的字段类型。

      支持选择的字段类型包括Double、Float、String、Date、Boolean、Int、Long、Short、Byte、Bigdecimal、Binary。如果业务数据的字段类型不在上述字段类型范围内,推荐您选择String。

      描述

      填写对字段的简单描述。

  3. 单击提交后,您就可以在元数据管理页面,查看已创建的元数据。

    image

创建MongoDB数据源中数据表的元数据

  1. 请参见入口介绍,进入数据服务。

  2. 新建元数据页面,配置参数。

    image
    1. 数据表配置区域,依次选择MongoDB的数据源类型、数据源和需要创建元数据的数据表。

    2. 字段配置区域,单击新增字段后,配置字段信息。

      参数

      描述

      字段名称

      配置为业务数据中实际的字段名称,且后续需要基于该字段创建服务单元。当字段名称需要多层嵌套时,使用半角句号(.)分割。

      字段类型

      根据业务数据的字段类型选择对应的字段类型。

      支持选择的字段类型包括Double、Float、String、Date、Boolean、Int、Long、Short、Byte、Bigdecimal、Binary。如果业务数据的字段类型不在上述字段类型范围内,推荐您选择String。

      描述

      填写对字段的简单描述。

  3. 单击提交后,您就可以在元数据管理页面,查看已创建的元数据。

    image

后续步骤

完成元数据创建后,即可创建服务单元。具体操作,请参见创建单物理表服务单元

阿里云首页 智能数据建设与治理 Dataphin 相关技术圈