本文为您介绍如何配置、复制、删除HBase输入组件及如何选择数据的发送方式。
背景信息
HBase输入组件适用于从HBase中读取数据至Dataphin平台,进行数据的整合和再加工的场景。
HBase输入组件仅支持公网访问。
配置属性
- 进入离线单条管道脚本的开发页面,请参见通过离线单条管道配置集成任务。
- 在离线单条管道脚本的开发页面,单击页面右上角的组件库。
- 单击输入前的图标。
- 将HBase组件拖到左侧的管道画布中。
- 将鼠标放置在HBase组件框内右键单击,选择属性配置。
- 在HBase输入配置对话框,配置参数。
参数 说明 步骤名称 根据当前组件的使用场景,填写名称。 数据源 选择数据源。选取Dataphin系统中已配置的数据源,且数据源需同时具备以下两个条件: - 数据源类型为HBase数据源。
- 执行属性配置的账号具有该数据源的同步读权限,如果没有权限,则需要申请数据源权限,详情请参见管理数据源权限。
表 选择数据输入的表。 模式 选择模式。模式包括Normal模式和多版本模式。 文件编码 选择文件编码。系统支持的文件编码包括UTF-8和GBK。 输入过滤 填写数据过滤的语句,例如 "startRowkey":"20190101000000"
。输出字段 根据左侧页面的输入配置,为您展示输出的字段,您也可以通过以下两种方式添加字段: - 单击右侧的新建输出字段,根据页面提示填写列簇、字段及选择字段的类型。
- 单击右侧的批量添加,请以JSON格式批量配置,完成配置后单击确认,示例如下。
[{ "name":"cf1:a", "type":"String" }, { "name":"cf1:b", "type":"String" }]
- 单击操作列下的图标,删除多余的字段。
- 单击操作列下的图标,根据页面提示编辑字段。
- 单击确认,完成HBase输入组件的属性配置。
复制HBase输入组件
- 将鼠标放置在HBase组件框内右键单击,单击复制。
- 在管道画布中右键单击后,选择粘贴,完成HBase输入组件的复制。
删除HBase输入组件
- 将鼠标放置在HBase组件框内右键单击,单击删除。
- 在确认弹框中单击确定,完成HBase输入组件的删除。
设置HBase输入组件的数据发送方式
当输入组件在连接多个下游组件时,需要选择输入组件的数据发送到下游节点的方式。
- 将鼠标放置在HBase组件框内右键单击,单击数据发送方式。
- 选择数据发送的方式。数据发送方式包括复制和轮流分发:
- 复制:上游节点的数据根据下游节点数量进行等份复制,且每个下游节点的数据都是上游节点的全部数据。
- 轮流分发:上游节点的数据根据下游节点数量进行轮流分发,且所有下游节点的数据之和等于上游节点的数据。
- 单击确定,完成设置MongoDB输入组件数据的发送方式。