文档

配置HBase输入组件

更新时间:

HBase输入组件用于读取HBase数据源的数据。同步HBase数据源的数据至其他数据源的场景中,您需要先配置HBase输入组件读取的数据源,再配置数据同步的目标数据源。本文为您介绍如何配置HBase输入组件。

前提条件

操作步骤

  1. 请参见离线管道组件开发入口,进入离线管道脚本的开发页面。

  2. 按照以下操作指引,进入HBase输入配置对话框。

    单击组件库->单击输入->拖动HBase输入组件至画布->单击配置image图标。

    image

  3. HBase输入配置对话框中,配置参数。

    参数

    描述

    步骤名称

    即Hbase输入组件的名称。Dataphin自动生成步骤名称,您也可以根据业务场景修改。命名规则如下:

    • 只能包含汉字、字母、下划线(_)、数字。

    • 不能超过64个字符。

    数据源

    在数据源下拉列表中,为您展示当前Dataphin中所有的HBase类型数据源,包括您是否拥有同步读权限的数据源。

    对于没有同步读权限的数据源,您可以单击数据源后的申请,申请数据源的同步读权限。具体操作,请参见申请数据源权限

    如果您还没有HBase类型的数据源,单击新建,创建数据源。具体操作,请参见创建HBase数据源

    选择数据输入的表。

    输出方式

    选择输出方式。包括Normal模式多版本模式

    maxversion

    输出方式选择多版本模式(竖表)需填写maxversion

    maxversion指所要读取的版本数,-1表示读取所有的版本。

    文件编码

    选择文件编码。系统支持的文件编码包括UTF-8GBK

    起始主键

    指定一个起始行键作为扫描的起点,所有字典序大于或等于这个起始行键的行都会被包括在扫描结果内。例如,aaa(字符串)或10110(二进制)。

    截止主键

    定义了扫描操作结束的位置,如果指定了截止行键,则所有字典序小于该行键的行会被扫描,但不包括截止行键本身(即扫描是左闭右开区间)。例如,在HBase表中要扫描从user0001user9999的所有用户记录。可以设置,起始主键为user0001,截止主键为user10000。这样会返回所有以user开头,并且主键值在user0001user10000之间的行,但不会包括主键为user10000的行。

    起始主键类型

    请选择起始主键的类型,支持字符串二进制

    输出字段

    为您展示输出字段。

    • 批量添加字段。

      1. 单击批量添加

        • 以JSON格式批量配置。示例如下:

          // 示例:
          [{
            "name": "cf1:q1",
            "type": "string" 
           },
           { 
            "name": "cf1:q2",
            "type": "string"
           }, 
           {
            "name": "cf1:q3", 
            "type": "string"
           }]
          说明

          name表示引入的列簇及字段名称,type表示字段类型。例如,"name":"cf1:a","type":"String" 表示cf1列簇下的a字段引入,字段类型为String

        • 以TEXT格式批量配置,示例如下:

          // 示例:
          cf1:q1,string
          cf1:q2,string
          cf1:q3,string
          • 行分隔符用于分隔每个字段的信息,默认为换行符(\n),可支持换行符(\n)、分号(;)、点(.)。

          • 列分隔符用于分隔字段名与字段类型,默认英文逗号(,)。

      2. 单击确定

    • 新建输出字段

      单击新建输出字段,根据页面提示填写列簇字段及选择类型

    • 管理输出字段。

      您可以对已添加的字段执行如下操作:

      • 单击拖动字段旁的image图标,可调换字段所处位置。

      • 单击操作列下的agag图标,编辑已有的字段。

      • 单击操作列下的agfag图标,删除已有的字段。

  4. 单击确认,完成HBase输入组件的属性配置。

  • 本页导读