DatahubStream Reader插件通过DataHub SDK实时读取DataHub数据的功能。
背景信息
插件启动后一直运行,等待源端DataHub有数据后进行读取。DatahubStream Reader插件有以下两个功能:
- 实时读取。
- 根据DataHub Shard个数并发读取。
操作步骤
- 进入数据开发页面。
- 登录DataWorks控制台。
- 在左侧导航栏,单击工作空间列表。
- 选择工作空间所在地域后,单击相应工作空间后的进入数据开发。
- 鼠标悬停至
图标,单击。 您也可以展开目标业务流程,右键单击数据集成,选择。
- 在新建节点对话框中,选择同步方式为单表(Topic)到单表(Topic)ETL,输入节点名称,并选择目标文件夹。
注意 节点名称必须是大小写字母、中文、数字、下划线(_)以及英文句号(.),且不能超过128个字符。
- 单击提交。
- 在实时同步节点的编辑页面,鼠标单击并拖拽至编辑面板。
- 单击DataHub节点,在节点配置对话框中,配置各项参数。
参数 |
描述 |
数据源 |
选择已经配置好的DataHub数据源,此处仅支持DataHub数据源。
如果未配置数据源,请单击右侧的新建数据源,跳转至页面进行新建。详情请参见配置DataHub数据源。
|
Topic |
选择当前数据源下需要同步的Topic。您可以单击右侧的数据预览进行确认。
|
输出字段 |
选择需要同步的字段。 |
- 单击工具栏中的
图标。