文档

配置API输入组件

更新时间:

配置API输入组件后,可以读取API数据源中的数据至Dataphin,进行数据集成与数据开发。本文为您介绍如何配置API输入组件。

前提条件

在开始执行操作前,请确认您已完成以下操作:

  • 已创建API数据源。具体操作,请参见创建API数据源

  • 进行API输入组件属性配置的账号,需具备该数据源的同步读权限。如果没有权限,则需要申请数据源权限。具体操作,请参见管理数据源权限

操作步骤

  1. 参见离线管道组件开发入口,进入离线单条管道脚本的开发页面。

  2. 按照下图操作指引,进入API输入配置对话框。

    属性配置
  3. API输入配置对话框中,配置参数。

    image

    参数

    描述

    步骤名称

    即API输入组件的名称。Dataphin自动生成步骤名称,您也可以根据业务场景修改。命名规则如下:

    • 只能包含汉字、字母、下划线(_)、数字。

    • 不能超过64个字符。

    数据源

    选择Dataphin已配置的数据源。且数据源需同时具备以下两个条件:

    • 数据源类型为API数据源

    • 执行属性配置的账号具有该数据源的同步读权限,如果没有权限,则需申请数据源权限。具体操作,请参见管理数据源权限

    同时您可以单击数据源后的新建,进入规划模块新建数据源。具体操作,请参见创建API数据源

    请求方式

    按API数据源配置的请求方式显示。

    • POST:可配置ParametersHeadersBody,允许为空。

    • GET:可配置ParametersHeaders,允许为空。

    请求参数框为构造API请求的参数定义,例如分页页码,需要在Parameters或者Body中携带。ParametersBody支持中文输出,例如:key-分页,Value-500,类型-String。

    URL路径

    非必填,输入URL中的路径,此处的路径会被拼接数据源中配置的URL后。

    读取JSON路径

    非必填,填写JSON路径后可读取数组数据,不填写则读取单条数据。

    请求次数

    支持一次请求多次请求

    一次请求:只进行一次请求。

    多次请求:根据指定循环的参数,进行多次请求。

    • 请求参数:需要在Parameters或Body中配置,参数内容需为数字。

    • 最大请求次数:每次定时任务查询的最大请求次数,例如:500,超过500则终止任务。

    • 高级配置

      • 请求起始值:循环请求的起点,起点包含在循环请求之内。

      • 请求终止值:循环请求的终点,终点包含在循环请求之内。

      • 请求步长:循环请求的步长,默认为1。

    输出字段

    为您展示输出字段。 您可以手动添加输出字段:

    • 单击批量添加。

      • 以JSON格式批量配置,例如。

        // 示例:
        [{"index": 0,"name": "user_id","type": "String"},
         {"index": 1,"name": "user_name","type": "String"}]
        说明

        index表示指定对象的列编号,name表示引入后的字段名称,type表示引入后的字段类型。例如:"index":3,"name":"user_id","type":"String" 表示把文件中的第4列引入,字段名为user_id,字段类型为 String。

      • 以TEXT格式批量配置,例如。

        1,user_name,String
        • 行分隔符用于分隔每个字段的信息,默认为换行符(\n),可支持换行符(\n)、分号(;)、点(.)。

        • 列分隔符用于分隔字段名与字段类型,默认英文逗号(,)。

    • 单击新建输出字段,根据页面提示填写来源序号字段及选择类型

    同时您也可以对已添加的字段执行如下操作:

    • 单击拖动字段旁的image图标,可调换字段所处位置。

    • 单击操作列下的agag图标,编辑已有的字段。

    • 单击操作列下的agfag图标,删除已有的字段。

  4. 单击确认,完成API输入组件的属性配置。

后续步骤

完成输入组件的配置后,即可配置下游组件,以实现数据同步。具体操作,请参见集成组件库开发说明

  • 本页导读 (0)
文档反馈