文档

配置DataHub输入组件

更新时间:

配置DataHub输入组件后,可以将DataHub数据源中的数据读取至大数据平台对接的存储系统内,并进行数据整合和二次加工。本文为您介绍如何配置DataHub输入组件。

前提条件

已创建离线单条管道,详情请参见通过单条管道创建集成任务

操作步骤

  1. 请参见离线管道组件开发入口,进入离线单条管道脚本的组件开发页面。

  2. 按照下图操作指引,进入DataHub输入配置对话框。

    image

  3. DataHub输入配置对话框,按照下表配置参数。

    参数

    描述

    步骤名称

    根据当前组件的使用场景及定位,输入合适的名称。

    数据源

    选择Dataphin已配置的数据源。同时您可以单击数据源后的新建,进入规划模块新建数据源。后续操作,详情请参见创建DataHub数据源

    说明

    进行属性配置的账号需具备该数据源的同步读权限,如果没有权限,则需要申请数据源权限,详情请参见申请、续期和交还数据源权限

    主题

    DataHub的topic名称。单击下拉列表,选择需要读取的DataHub主题名称。

    消费开始时间

    数据消费的开始时间位点。仅支持以yyyyMMddHHmmss格式的时间字符串指定具体时间,是时间范围的左边界。需配合调度参数使用,例如调度参数配置为startTime=${20220101000000},则消费开始时间配置为${startTime}。

    消费结束时间

    数据消费的结束时间位点。仅支持以yyyyMMddHHmmss格式的时间字符串指定具体时间,是时间范围的右边界。需配合调度参数使用,例如调度参数配置为endTime=${20220101000000},则消费结束时间配置为${endTime}。

    批量条数

    一次读取的数据量,默认为1024条。

    输出字段

    输出字段区域展示了已选中表及筛选条件命中的所有字段。如果不需要将某些字段输出至下游组件,可以删除对应的字段。

    • 单个删除字段场景:按照下图操指引,删除单个字段。删除单个字段

    • 批量删除字段场景:按照下图操指引,删除多个字段。image..png

  4. 单击确定,完成DataHub输入组件配置。

后续步骤

完成输入组件的配置后,即可配置下游组件,以实现数据同步。具体操作,请参见集成组件库开发说明

  • 本页导读 (0)
文档反馈