HBase输入组件用于读取HBase数据源的数据。同步HBase数据源的数据至其他数据源的场景中,您需要先配置HBase输入组件读取的数据源,再配置数据同步的目标数据源。本文为您介绍如何配置HBase输入组件。
前提条件
在开始执行操作前,请确认您已完成以下操作:
已创建HBase数据源。具体操作,请参见创建HBase数据源。
进行HBase输入组件属性配置的账号,需具备该数据源的同步读权限。如果没有权限,则需要申请数据源权限。具体操作,请参见申请、续期和交还数据源权限。
操作步骤
请参见离线管道组件开发入口,进入离线管道脚本的开发页面。
按照下图指引,进入HBase输入配置对话框。
在HBase输入配置对话框中,配置参数。
参数
描述
步骤名称
根据当前组件的使用场景,填写名称。
数据源
选择数据源。选取Dataphin系统中已配置的数据源,且数据源需同时具备以下两个条件:
数据源类型为HBase数据源。
执行属性配置的账号具有该数据源的同步读权限,如果没有权限,则需要申请数据源权限,详情请参见申请、续期和交还数据源权限。
同时您可以单击数据源后的图标,进入规划模块添加数据源,详情请参见创建HBase数据源。
表
选择数据输入的表。
输出方式
选择输出方式。包括Normal模式和多版本模式。
maxversion
输出方式选择多版本模式(竖表)需填写maxversion。
maxversion指所要读取的版本数,-1表示读取所有的版本。
文件编码
选择文件编码。系统支持的文件编码包括UTF-8和GBK。
起始主键
请输入起始主键。如aaa(字符串)或10110(二进制)。
截止主键
请输入截止主键。如aaa(字符串)或10110(二进制)。
起始主键类型
请选择起始主键的类型,支持字符串或二进制。
输出字段
根据左侧页面的输入配置,为您展示输出的字段,您也可以通过以下两种方式添加字段:
单击右侧的新建输出字段,根据页面提示填写列簇、字段及选择字段的类型。
单击右侧的批量添加,请以JSON格式批量配置,完成配置后单击确认,示例如下。
[{ "name":"cf1:a", "type":"String" }, { "name":"cf1:b", "type":"String" }]
同时您也可以对已添加的字段执行如下操作:
单击操作列下的图标,删除多余的字段。
单击操作列下的图标,根据页面提示编辑字段。
单击确认,完成HBase输入组件的属性配置。
- 本页导读 (0)