配置Log Service输入组件
Log Service输入组件用于读取Log Service数据源的数据。同步Log Service数据源的数据至其他数据源的场景中,您需要先配置Log Service输入组件读取的数据源,再配置数据同步的目标数据源。本文为您介绍如何配置Log Service输入组件。
在开始执行操作前,请确认您已完成以下操作:
已创建Log Service数据源。具体操作,请参见创建Log Service数据源。
进行Log Service输入组件属性配置的账号,需具备该数据源的同步读权限。如果没有权限,则需要申请数据源权限。具体操作,请参见申请、续期和交还数据源权限。
操作步骤
请参见离线管道组件开发入口,进入离线单条管道脚本的开发页面。
按照下图操作指引,进入Log Service输入配置对话框。
在Log Service输入配置对话框,配置参数。
参数
描述
步骤名称
根据当前组件的使用场景,填写名称。
数据源
选择Dataphin系统中已配置的数据源,且需同时具备以下两个条件:
数据源类型与输入组件的类型一致。
执行属性配置的账号具有该数据源的同步读权限,如果没有权限,则需要申请数据源权限,详情请参见申请、续期和交还数据源权限。
同时您可以单击数据源后的新建,添加数据源,详情请参见创建Log Service数据源。
表
选择数据同步的源表。
日志开始时间
填写读取日志的开始时间。时间格式为
yyyyMMddHHmmss
。日志结束时间
填写读取日志的结束时间。时间格式为
yyyyMMddHHmmss
。批量条数
一次读取的数据条数,系统默认为256,最多为1000条。
输出字段
为您展示输出的字段,您也可以通过以下两种方式添加字段:
单击右侧的新建输出字段,填写来源序号、字段及选择字段的类型,单击非该字段显示的区域。
单击右侧的批量添加,在请以JSON格式批量配置对话框,填写配置代码,单击确认。配置示例如下。
[{ "name":"cf1:a", "type":"String" }, { "name":"cf1:b", "type":"String" }]
同时您也可以对已添加的字段执行如下操作:
单击操作列下的
图标,删除多余的字段。
单击操作列下的
图标,编辑字段。
单击确认,完成Log Service输入组件的属性配置。