配置DataHub输入组件后,可以将DataHub数据源中的数据读取至大数据平台对接的存储系统内,并进行数据整合和二次加工。本文为您介绍如何配置DataHub输入组件。
前提条件
已创建离线单条管道,详情请参见通过单条管道创建集成任务。
操作步骤
请参见离线管道组件开发入口,进入离线单条管道脚本的组件开发页面。
按照下图操作指引,进入DataHub输入配置对话框。
在DataHub输入配置对话框,按照下表配置参数。
参数
描述
步骤名称
根据当前组件的使用场景及定位,输入合适的名称。
数据源
选择Dataphin已配置的数据源。同时您可以单击数据源后的新建,进入规划模块新建数据源。后续操作,详情请参见创建DataHub数据源。
说明进行属性配置的账号需具备该数据源的同步读权限,如果没有权限,则需要申请数据源权限,详情请参见申请、续期和交还数据源权限。
主题
DataHub的topic名称。单击下拉列表,选择需要读取的DataHub主题名称。
消费开始时间
数据消费的开始时间位点。仅支持以yyyyMMddHHmmss格式的时间字符串指定具体时间,是时间范围的左边界。需配合调度参数使用,例如调度参数配置为
startTime=${20220101000000}
,则消费开始时间配置为${startTime}。消费结束时间
数据消费的结束时间位点。仅支持以yyyyMMddHHmmss格式的时间字符串指定具体时间,是时间范围的右边界。需配合调度参数使用,例如调度参数配置为
endTime=${20220101000000}
,则消费结束时间配置为${endTime}。批量条数
一次读取的数据量,默认为1024条。
输出字段
输出字段区域展示了已选中表及筛选条件命中的所有字段。如果不需要将某些字段输出至下游组件,可以删除对应的字段。
单个删除字段场景:按照下图操指引,删除单个字段。
批量删除字段场景:按照下图操指引,删除多个字段。
单击确定,完成DataHub输入组件配置。
后续步骤
完成输入组件的配置后,即可配置下游组件,以实现数据同步。具体操作,请参见集成组件库开发说明。
- 本页导读 (0)