LogHubStream Reader插件基于LogHub（SLS） SDK实时抽取您配置的LogHub（SLS） topic数据，并支持合并和分裂Shard。合并或分裂Shard后，数据可能会增加，但保证不会丢失数据。

背景信息

LogHub（SLS）实时同步读取插件，会自带以下元数据字段：
LogHub（SLS）实时同步字段数据类型说明
__time__STRINGSLS保留字段：__time__写入日志数据时指定的日志时间，unix时间戳，单位为秒。
__source__STRINGSLS保留字段：__source__日志来源设备。
__topic__STRINGSLS保留字段：__topic__topic名称。
__tag__:__receive_time__STRING日志到达服务端的时间。开启记录外网IP功能后，服务端接收日志时为原始日志追加该字段。unix时间戳，单位为秒。
__tag__:__client_ip__STRING日志来源设备的公网IP。开启记录外网IP功能后，服务端接收日志时为原始日志追加该字段。
__tag__:__path__STRINGLogtail采集的日志文件路径，Logtail为日志自动追加该字段。
__tag__:__hostname__STRINGLogtail采集数据的来源机器主机名，Logtail为日志自动追加该字段。

操作步骤

  1. 进入数据开发页面。
    1. 登录DataWorks控制台。
    2. 在左侧导航栏，单击工作空间列表。
    3. 选择工作空间所在地域后，单击相应工作空间后的进入数据开发。
  2. 鼠标悬停至新建图标，单击数据集成 > 实时同步。
    您也可以展开目标业务流程，右键单击数据集成，选择新建 > 实时同步。
  3. 在新建节点对话框中，选择同步方式为单表（Topic）到单表（Topic）ETL，输入节点名称，并选择目标文件夹。
    重要 节点名称必须是大小写字母、中文、数字、下划线（_）以及英文句号（.），且不能超过128个字符。
  4. 单击提交。
  5. 在实时同步节点的编辑页面，鼠标单击输入 > LogHub并拖拽至编辑面板。
  6. 单击LogHub节点，在节点配置对话框中，配置各项参数。
    LogHub
    参数描述
    数据源选择已经配置好的LogHub（SLS）数据源，此处仅支持LogHub（SLS）数据源。

    如果未配置数据源，请单击右侧的新建数据源，跳转至工作空间管理 > 数据源管理页面进行新建。详情请参见配置LogHub（SLS）数据源。

    Logstore选择当前数据源下需要同步的Logstore。您可以单击右侧的数据预览进行确认。
    高级配置您可以在此设置是否拆分Logstore中的数据。如果选择拆分，则需要设置拆分规则。
    输出字段选择需要同步的字段。
  7. 单击工具栏中的保存图标。