文档

管理HBase输入组件

更新时间:

HBase输入组件用于读取HBase数据源的数据。同步HBase数据源的数据至其他数据源的场景中,您需要先配置HBase输入组件读取的数据源,再配置数据同步的目标数据源。本文为您介绍如何配置HBase输入组件。

前提条件

在开始执行操作前,请确认您已完成以下操作:

操作步骤

  1. 请参见离线管道组件开发入口,进入离线管道脚本的开发页面。

  2. 按照下图指引,进入HBase输入配置对话框。

    image..png

  3. HBase输入配置对话框中,配置参数。

    参数

    描述

    步骤名称

    根据当前组件的使用场景,填写名称。

    数据源

    选择数据源。选取Dataphin系统中已配置的数据源,且数据源需同时具备以下两个条件:

    • 数据源类型为HBase数据源。

    • 执行属性配置的账号具有该数据源的同步读权限,如果没有权限,则需要申请数据源权限,详情请参见申请、续期和交还数据源权限

    同时您可以单击数据源后的dfag图标,进入规划模块添加数据源,详情请参见创建HBase数据源

    选择数据输入的表。

    输出方式

    选择输出方式。包括Normal模式多版本模式

    maxversion

    输出方式选择多版本模式(竖表)需填写maxversion

    maxversion指所要读取的版本数,-1表示读取所有的版本。

    文件编码

    选择文件编码。系统支持的文件编码包括UTF-8GBK

    起始主键

    请输入起始主键。如aaa(字符串)或10110(二进制)。

    截止主键

    请输入截止主键。如aaa(字符串)或10110(二进制)。

    起始主键类型

    请选择起始主键的类型,支持字符串二进制

    输出字段

    根据左侧页面的输入配置,为您展示输出的字段,您也可以通过以下两种方式添加字段:

    • 单击右侧的新建输出字段,根据页面提示填写列簇字段及选择字段的类型

    • 单击右侧的批量添加,请以JSON格式批量配置,完成配置后单击确认,示例如下。

      [{  "name":"cf1:a",  "type":"String" },
      {  "name":"cf1:b",  "type":"String" }]

    同时您也可以对已添加的字段执行如下操作:

    • 单击操作列下的sgaga图标,删除多余的字段。

    • 单击操作列下的sgsg图标,根据页面提示编辑字段。

  4. 单击确认,完成HBase输入组件的属性配置。

  • 本页导读 (0)
文档反馈