配置Amazon S3输入组件

配置Amazon S3输入组件后,可以读取Amazon S3数据源中的数据至Dataphin,进行数据集成与数据开发。本文为您介绍如何配置Amazon S3输入组件。

前提条件

在开始执行操作前,请确认您已完成以下操作:

  • 已创建Amazon S3数据源。具体操作,请参见新建Amazon S3数据源

  • 进行Amazon S3输入组件属性配置的账号,需具备该数据源的同步读权限。如果没有权限,则需要申请数据源权限。具体操作,请参见申请数据源权限

操作步骤

  1. 参见离线管道组件开发入口,进入离线单条管道脚本开发页面。

  2. 按照下图操作指引,进入Amazon S3输入配置对话框。

    image.png

  3. Amazon S3输入配置对话框中,配置参数。

    参数

    描述

    步骤名称

    Amazon S3输入组件的名称。Dataphin自动生成步骤名称,您也可以根据业务场景修改。命名规则如下:

    • 只能包含汉字、字母、下划线(_)、数字。

    • 不能超过64个字符。

    数据源

    下拉列表中展示Dataphin中所有Amazon S3类型的数据源。对于您没有同步读权限的数据源,您可以单击数据源后的申请,申请对应数据源的读取权限。申请数据源读取权限的具体操作,请参见申请数据源权限

    如果您还没有Amazon S3类型的数据源,单击新建,创建数据源。具体操作,请参见新建Amazon S3数据源

    Object前缀

    对象是Amazon S3存储数据的基本单元。也被称为Amazon S3的文件。对象由元信息(Object Meta)、用户数据(Data)和文件名(Key)组成。对象由存储空间内部唯一的Key来标识。输入组件支持多Object配置,可以单击+添加Object前缀,进行添加。

    若数据源中配置了目录,则此处会自动展示数据源中配置的目录,可进行修改,但需确认是否有其他目录的权限,否则任务会失败。

    文件类型

    支持Text、CSV、xls和xlsx。不同文件类型,所需配置参数不同。

    文件编码

    支持UTF-8和GBK编码。

    空值转换

    默认为空,可指定任意字符串转换为NULL值。

    压缩格式

    支持zip、gzip、bzip2、lzo、lzo_deflate压缩格式。

    输出字段

    为您展示输出字段。 您可以手动添加输出字段:

    • 单击批量添加

      • 以JSON格式批量配置,例如,"index":3,"name":"user_id","type":"String" 表示把文件中的第4列引入,字段名为user_id,字段类型为String

      • 以TEXT格式批量配置。

        • 行分隔符用于分隔每个字段的信息,默认为换行符(\n),可支持换行符(\n)、分号(;)、点(.)。

        • 列分隔符用于分隔字段名与字段类型,默认英文逗号(,)。

    • 单击新建输出字段,根据页面提示填写来源序号字段及选择类型

    同时您也可以对已添加的字段执行如下操作:

    • 单击拖动字段旁的image图标,可调换字段所处位置。

    • 单击操作列下的agag图标,编辑已有的字段。

    • 单击操作列下的agfag图标,删除已有的字段。

    Text和CSV文件类型

    参数

    描述

    列分隔符

    根据实际存储的情况填写文件内列之间的分隔符,如果不填写默认为英文逗号(,)。

    行分隔符

    根据实际存储的情况填写文件内行之间的分隔符,如果不填写默认为换行符(\n)。

    首行内容类型

    若首行为字段名称,可选择字段名称,否则请选择数据内容。

    xls和xlsx文件类型

    参数

    描述

    sheet选择

    可按名称或索引选择要读取的sheet,如读取多个sheet需保持数据格式一致。

    sheet名称

    读取多张sheet以英文逗号(,)分隔,也可输入*读取所有sheet。

    重要

    *和英文逗号(,)不可混用。

    数据内容起始行

    默认为1,从第一行开始为数据内容。若需忽略前N行,请则将数据内容起始行设置为N+1。

    数据内容结束行

    非必填,如不指定,则默认读到有数据的最后一行。

    重要

    内容结束行需(>=)大于等于起始行,否则将导致任务报错。

    导出sheet名

    默认不导出,如选择导出,则会在输出字段中加入一个来源sheet字段。

  4. 单击确认,完成Amazon S3输入组件的属性配置。