本文为您介绍如何配置、复制、删除LogHub输入组件及如何选择数据的发送方式。
背景信息
LogHub输入组件适用于从LogHub中读取数据至Dataphin平台,进行数据的整合和再加工的场景。
配置属性
- 登录Dataphin控制台。
- 在Dataphin控制台页面,选择工作区地域后,单击进入Dataphin>>。您可以通过以下方式,快速进入工作区:
- 选择工作区地域后,单击快速开始相关工作区域中相应的功能模块。
- 选择工作区地域后,单击快速进入研发项目后的Dev、Prod或Basic页签,选择相应的项目。
- 执行以下操作,创建离线单条管道。
- 在Dataphin首页,单击顶部菜单栏的研发。
- 可选:在数据开发页面,选择项目空间。
执行以下操作,选择Dev或Basic项目:
- 单击项目名称后的
图标。
- 在下拉列表中,单击Dev或Basic页签,选择Dev或Basic项目。
- 单击项目名称后的
- 在数据开发页面,鼠标悬停至顶部菜单栏的开发上,单击集成。
- 在数据集成页面,鼠标悬停至脚本后的
图标,单击离线单条管道。
- 在创建管道开发脚本对话框中,配置参数。
参数 描述 管道名称 填写管道名称。 调度类型 选择管道的调度类型。调度类型包括: - 周期性节点指需定期执行的任务。
- 手动节点指没有依赖关系,需手动触发的任务。
描述 填写对离线单条管道的简单描述。 选择目录 选择离线单条管道所在的文件夹。 - 单击确定,完成离线单条管道的创建。
- 在离线单条管道脚本的开发页面,单击页面右上角的组件库。
- 单击输入前的
图标。
- 将LogHub组件拖到左侧的管道画布中。
- 鼠标悬停至LogHub组件框内右键单击,选择属性配置。
- 在LogHub输入配置对话框,配置参数。
参数 说明 步骤名称 根据当前组件的使用场景,填写名称。 数据源 选择Dataphin系统中已配置的数据源,且需同时具备以下两个条件: - 数据源类型与输入组件的类型一致。
- 执行属性配置的账号具有该数据源的同步读权限,如果没有权限,则需要申请数据源权限,详情请参见管理数据源权限。
图标,添加数据源,详情请参见新建LogHub数据源。
Logstore 选择日志库。 日志开始时间 填写读取日志的开始时间。时间格式为yyyyMMddHHmmss 。 日志结束时间 填写读取日志的结束时间。时间格式为yyyyMMddHHmmss。 批量条数 一次读取的数据条数,系统默认为256,最多为1000条。 输出字段 为您展示输出的字段,您也可以通过以下两种方式添加字段: - 单击右侧的新建输出字段,填写来源序号、字段及选择字段的类型,单击非该字段显示的区域。
- 单击右侧的批量添加,在请以JSON格式批量配置对话框,填写配置代码,单击确认。配置示例如下。
[{ "name":"cf1:a", "type":"String" }, { "name":"cf1:b", "type":"String" }]
- 单击操作列下的
图标,删除多余的字段。
- 单击操作列下的
图标,编辑字段。
- 单击确认,完成LogHub输入组件的属性配置。
复制LogHub输入组件
- 鼠标悬停至LogHub组件框内右键单击,单击复制。
- 在管道画布中右键单击后,选择粘贴,完成LogHub输入组件的复制。
删除LogHub输入组件
- 鼠标悬停至LogHub组件框内右键单击,单击删除。
- 在确认弹框中单击确定,完成LogHub输入组件的删除。
设置LogHub输入组件数据的发送方式
当输入组件在连接多个下游组件时,需要选择输入组件的数据发送到下游节点的方式。
- 鼠标悬停至LogHub输入组件框内右键单击,单击数据发送方式。
- 选择数据发送的方式。根据业务场景,您可以选择复制或轮流分发:
- 复制:上游节点的数据根据下游节点数量进行等份复制,且每个下游节点的数据都是上游节点的全部数据。
- 轮流分发:上游节点的数据根据下游节点数量进行轮流分发,且所有下游节点的数据之和等于上游节点的数据。
- 单击确定,完成设置LogHub输入组件数据的发送方式。