配置HDFS输入组件

前提条件

• 已创建HDFS数据源，如何创建，请参见创建HDFS数据源。

• 进行HDFS输入组件属性配置的账号，需具备该数据源的同步读权限。如果没有权限，则需要申请数据源权限，详情请参见申请数据源权限。

操作步骤

1. 请参见离线管道组件开发入口，进入离线管道组件开发页面。

2. 按照下图操作指引，进入HDFS输入配置对话框。

   

3. 在HDFS输入配置对话框，配置参数。

   参数	描述
   步骤名称	根据当前组件的使用场景，填写名称。
   数据源	选择数据源。选取Dataphin系统中已配置的数据源，且数据源需同时具备以下两个条件： 数据源类型为HDFS。 执行属性配置的账号具有该数据源的同步读权限。如果没有权限，则需要申请数据源权限。具体操作，请参见申请数据源权限。 同时您可以单击数据源后的新建，进入管理中心添加数据源，具体操作，请参见创建HDFS数据源，
   文件路径	填写文件路径。
   文件类型	选择文件类型。 系统支持的文件类型包括Text、ORC、RC、Sequence、CSV、Parquet。
   文件不存在时	当读取的文件不存在时，支持忽略或置任务失败。 忽略：当读取的文件不存在时，忽略该文件，并继续读取其他文件。 置任务失败：当读取的文件不存在时，终止该任务并置失败。
   文件为空时	当读取的文件为空时，支持忽略或置任务失败。 忽略：当读取的文件为空时，忽略该文件，并继续读取其他文件。 置任务失败：当读取的文件为空时，终止该任务并置失败。
   数据内容起始行	文件类型为Text或CSV时需配置该项。默认为1，从第一行开始为数据内容。若需忽略前N行，您可将数据内容起始行设置为N+1。
   文件编码	选择文件编码。系统支持的文件编码包括UTF-8和GBK。
   字段分隔符	文件类型为Text或CSV时需配置该项。请根据实际存储情况，填写文件内，内容字段之间的分隔符，如果不填写默认为（,）英文逗号。
   压缩格式	选择文件的压缩格式。系统支持的压缩格式包括： zip gzip bzip2
   输出字段	为您展示输出字段。 您可以手动添加输出字段： 单击批量添加，支持JSON、TEXT格式批量配置。 以JSON格式批量配置，例如： [{ "index": 0, "type": "double", "name": "HDFS1" }, 说明 index表示引入的字段索引，type表示引入后的字段类型。 name表示字段名。 以TEXT格式批量配置，例如： 0,HDFS1,Double 1,HDFS2,String 行分隔符用于分隔每个字段的信息，默认为换行符（\n），可支持换行符（\n）、分号（;）、点（.）。 列分隔符用于分隔字段名与字段类型，默认英文逗号（,）。 单击新建输出字段，根据页面提示填写字段及选择类型。 同时您也可以对已添加的字段执行如下操作： 单击操作列下的图标，编辑已有的字段。 单击操作列下的图标，删除已有的字段。

4. 单击确认，完成HDFS输入组件的属性配置。