配置API输入组件后,可以读取API数据源中的数据至Dataphin,进行数据集成与数据开发。本文为您介绍如何配置API输入组件。
前提条件
在开始执行操作前,请确认您已完成以下操作:
操作步骤
参见离线管道组件开发入口,进入离线单条管道脚本的开发页面。
按照下图操作指引,进入API输入配置对话框。
在API输入配置对话框中,配置参数。
参数
描述
步骤名称
即API输入组件的名称。Dataphin自动生成步骤名称,您也可以根据业务场景修改。命名规则如下:
只能包含汉字、字母、下划线(_)、数字。
不能超过64个字符。
数据源
选择Dataphin已配置的数据源。且数据源需同时具备以下两个条件:
数据源类型为API数据源。
执行属性配置的账号具有该数据源的同步读权限,如果没有权限,则需申请数据源权限。具体操作,请参见管理数据源权限。
同时您可以单击数据源后的新建,进入规划模块新建数据源。具体操作,请参见创建API数据源。
请求方式
按API数据源配置的请求方式显示。
POST:可配置Parameters、Headers、Body,允许为空。
GET:可配置Parameters、Headers,允许为空。
请求参数框为构造API请求的参数定义,例如分页页码,需要在Parameters或者Body中携带。Parameters和Body支持中文输出,例如:key-分页,Value-500,类型-String。
URL路径
非必填,输入URL中的路径,此处的路径会被拼接数据源中配置的URL后。
读取JSON路径
非必填,填写JSON路径后可读取数组数据,不填写则读取单条数据。
请求次数
支持一次请求和多次请求。
一次请求:只进行一次请求。
多次请求:根据指定循环的参数,进行多次请求。
请求参数:需要在Parameters或Body中配置,参数内容需为数字。
最大请求次数:每次定时任务查询的最大请求次数,例如:500,超过500则终止任务。
高级配置
请求起始值:循环请求的起点,起点包含在循环请求之内。
请求终止值:循环请求的终点,终点包含在循环请求之内。
请求步长:循环请求的步长,默认为1。
输出字段
为您展示输出字段。 您可以手动添加输出字段:
单击批量添加。
以JSON格式批量配置,例如。
// 示例: [{"index": 0,"name": "user_id","type": "String"}, {"index": 1,"name": "user_name","type": "String"}]
说明index表示指定对象的列编号,name表示引入后的字段名称,type表示引入后的字段类型。例如:
"index":3,"name":"user_id","type":"String"
表示把文件中的第4列引入,字段名为user_id,字段类型为 String。以TEXT格式批量配置,例如。
1,user_name,String
行分隔符用于分隔每个字段的信息,默认为换行符(\n),可支持换行符(\n)、分号(;)、点(.)。
列分隔符用于分隔字段名与字段类型,默认英文逗号(,)。
单击新建输出字段,根据页面提示填写来源序号、字段及选择类型。
同时您也可以对已添加的字段执行如下操作:
单击拖动字段旁的图标,可调换字段所处位置。
单击操作列下的图标,编辑已有的字段。
单击操作列下的图标,删除已有的字段。
单击确认,完成API输入组件的属性配置。
后续步骤
完成输入组件的配置后,即可配置下游组件,以实现数据同步。具体操作,请参见集成组件库开发说明。
- 本页导读 (0)