配置API输入组件
配置API输入组件后,可以读取API数据源中的数据至Dataphin,进行数据集成与数据开发。本文为您介绍如何配置API输入组件。
前提条件
在开始执行操作前,请确认您已完成以下操作:
操作步骤
参见配置离线单条管道,进入离线单条管道脚本的开发页面。
按照下图指引,进入API输入配置对话框。
在API输入配置对话框中,配置参数后,单击确认。
基本配置
参数
描述
步骤名称
即API输入组件的名称。Dataphin自动生成步骤名称,您也可以根据业务场景修改。命名规则如下:
只能包含汉字、字母、下划线(_)、数字。
不能超过64个字符。
数据源
选择Dataphin已配置的数据源。同时您可以单击数据源后的新建,进入规划模块新建数据源。后续操作,详情请参见创建API数据源。
说明进行属性配置的账号,需具备该数据源的同步读权限,如果没有权限,则需要申请数据源权限,详情请参见管理数据源权限。
请求方式
按API数据源配置的请求方式显示。
POST:可配置Parameters、Headers、Body,允许为空。
GET:可配置Parameters、Headers,允许为空。
请求参数框为构造API请求的参数定义,例如分页页码,需要在Parameters或者Body中携带。Parameters和Body支持中文输出,例如:key-分页,Value-500,类型-String。
输出字段
针对API输入的信息,需手工添加相关的字段,字段支持中文输出。
单击批量添加 ,以JSON格式批量配置,示例如下。
[{"index":0,"name":"name","type":"String"}, {"index":1,"name":"age","type":"Long"}]
单击新建输出字段,根据页面提示填写来源序号、字段及选择类型。
同时您也可以对已添加的字段执行如下操作:
单击操作列下的
图标,编辑已有的字段。
单击操作列下的
图标,删除已有的字段。
功能配置
参数
描述
分页参数设置
开启:表示读取所有满足条件的数据,按照每页固定的记录数进行分页,任务每次执行时,通过多次API请求获取所有数据,其中一次的API请求获取一页数据。
分页页码参数:选择分页页码参数,该参数需要在请求参数的Parameters或Body中配置。
单次任务最大页数:每次定时任务查询的最大页数。例如设置为500表示超过500则终止任务。
关闭:表示任务通过一次API请求获取所有满足条件的数据。
解析设置
开启:数据集成根据配置的解析规则,对获取到的源端数据解析后再集成到目标端。
消息格式类型:选择API请求的响应消息格式类型,需要与API的实际响应消息格式一致。
数据字段路径:输入元数据的完整路径,如a.b。
关闭:数据集成会直接透传获取到的源端数据,并集成到目标端。
后续步骤
完成输入组件的配置后,即可配置下游组件,以实现数据同步。具体操作,请参见配置离线单条管道。