配置API输入组件

配置API输入组件后,可以读取API数据源中的数据至Dataphin,进行数据集成与数据开发。本文为您介绍如何配置API输入组件。

前提条件

在开始执行操作前,请确认您已完成以下操作:

  • 已创建API数据源,详情请参见创建API数据源

  • 进行API输入组件属性配置的账号,需具备该数据源的同步读权限。如果没有权限,则需要申请数据源权限,详情请参见管理数据源权限

操作步骤

  1. 参见配置离线单条管道,进入离线单条管道脚本的开发页面。

  2. 按照下图指引,进入API输入配置对话框。

    属性配置
  3. API输入配置对话框中,配置参数后,单击确认

    基本配置

    image

    参数

    描述

    步骤名称

    即API输入组件的名称。Dataphin自动生成步骤名称,您也可以根据业务场景修改。命名规则如下:

    • 只能包含汉字、字母、下划线(_)、数字。

    • 不能超过64个字符。

    数据源

    选择Dataphin已配置的数据源。同时您可以单击数据源后的新建,进入规划模块新建数据源。后续操作,详情请参见创建API数据源

    说明

    进行属性配置的账号,需具备该数据源的同步读权限,如果没有权限,则需要申请数据源权限,详情请参见管理数据源权限

    请求方式

    按API数据源配置的请求方式显示。

    • POST:可配置ParametersHeadersBody,允许为空。

    • GET:可配置ParametersHeaders,允许为空。

    请求参数框为构造API请求的参数定义,例如分页页码,需要在Parameters或者Body中携带。ParametersBody支持中文输出,例如:key-分页,Value-500,类型-String。

    输出字段

    针对API输入的信息,需手工添加相关的字段,字段支持中文输出。

    • 单击批量添加 ,以JSON格式批量配置,示例如下。

      [{"index":0,"name":"name","type":"String"},
      {"index":1,"name":"age","type":"Long"}]
    • 单击新建输出字段,根据页面提示填写来源序号字段及选择类型

    同时您也可以对已添加的字段执行如下操作:

    • 单击操作列下的agag图标,编辑已有的字段。

    • 单击操作列下的agfag图标,删除已有的字段。

    功能配置

    image

    参数

    描述

    分页参数设置

    • 开启:表示读取所有满足条件的数据,按照每页固定的记录数进行分页,任务每次执行时,通过多次API请求获取所有数据,其中一次的API请求获取一页数据。

      • 分页页码参数:选择分页页码参数,该参数需要在请求参数的Parameters或Body中配置。

      • 单次任务最大页数:每次定时任务查询的最大页数。例如设置为500表示超过500则终止任务。

    • 关闭:表示任务通过一次API请求获取所有满足条件的数据。

    解析设置

    • 开启:数据集成根据配置的解析规则,对获取到的源端数据解析后再集成到目标端。

      • 消息格式类型:选择API请求的响应消息格式类型,需要与API的实际响应消息格式一致。

      • 数据字段路径:输入元数据的完整路径,如a.b。

    • 关闭:数据集成会直接透传获取到的源端数据,并集成到目标端。

后续步骤

完成输入组件的配置后,即可配置下游组件,以实现数据同步。具体操作,请参见配置离线单条管道

阿里云首页 智能数据建设与治理 Dataphin 相关技术圈