LogHubStream Reader插件基于Loghub SDK实时抽取您配置的LogHub topic数据,并支持Shard的合并和分裂。

说明 Shard合并或分裂后,数据可能会增加,但保证不会丢失数据。

新建LogHub输入

  1. 登录DataWorks控制台,单击相应工作空间后的进入数据开发
  2. 鼠标悬停至新建,单击数据集成 > 实时同步

    您也可以找到相应的业务流程,右键单击数据集成,选择新建 > 实时同步

  3. 新建节点对话框中,输入节点名称,并选择目标文件夹,单击提交
  4. 在实时同步节点的编辑页面,鼠标单击输入 > LogHub并拖拽至编辑面板。
  5. 单击LogHub节点,填写节点配置对话框中的参数。参数配置
    参数 描述
    数据源 选择已经配置好的LogHub数据源,此处仅支持LogHub数据源。

    如果未配置数据源,请单击右侧的新建数据源,跳转至工作空间管理 > 数据源管理页面进行新建。

    Logstore 选择当前数据源下需要同步的Logstore。您可以单击右侧的数据预览进行确认。
    启动时间点位 选择需要开始数据同步任务的起始时间。
    时区 选择源端数据库所在的时区。
    高级配置 您可以在此设置是否拆分Logstore中的数据。
    输出字段 选择需要同步的字段。
  6. 单击工具栏中的保存