配置DataHub输入

DataHubStream Reader插件通过DataHub SDK实时读取DataHub数据的功能。

背景信息

插件启动后一直运行,等待源端DataHub有数据后进行读取。DataHubStream Reader插件有以下两个功能:

  • 实时读取。

  • 根据DataHub Shard个数并发读取。

操作步骤

  1. 进入数据开发页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据开发与治理 > 数据开发,在下拉框中选择对应工作空间后单击进入数据开发

  2. 鼠标悬停至新建图标,单击新建节点 > 数据集成 > 实时同步

    您也可以展开业务流程,右键单击目标业务流程,选择新建节点 > 数据集成 > 实时同步

  3. 新建节点对话框中,选择同步方式单表(Topic)到单表(Topic)ETL,输入名称,并选择路径

    重要

    节点名称必须是大小写字母、中文、数字、下划线(_)以及英文句号(.),且不能超过128个字符。

  4. 单击确认

  5. 在实时同步节点的编辑页面,鼠标单击输入 > DataHub并拖拽至编辑面板。

  6. 单击DataHub节点,在节点配置对话框中,配置各项参数。

    image

    参数

    描述

    数据源

    选择已经配置好的DataHub数据源,此处仅支持DataHub数据源。

    如果未配置数据源,请单击右侧的新建数据源,跳转至工作空间管理 > 数据源管理页面进行新建。详情请参见配置DataHub数据源

    Topic

    选择当前数据源下需要同步的Topic。您可以单击右侧的数据预览进行确认。

    使用订阅模式

    如打开订阅模式,会自动创建订阅ID,并使用该ID从DataHub订阅数据,这可以提高稳定性和性能,请不要在DataHub上删除正在使用的订阅ID,否则会造成任务失败。

    输出字段

    选择需要同步的字段。

  7. 单击工具栏中的保存图标。