FTP数据源

FTP数据源为您提供读取和写入FTP双向通道的功能,本文为您介绍DataWorks的FTP数据同步的能力支持情况。

使用限制

FTP Reader实现了从远程FTP文件读取数据并转为数据同步协议的功能,远程FTP文件本身是无结构化数据存储。对于数据同步而言,目前FTP Reader支持的功能如下所示:

支持

不支持

  • 支持且仅支持读取TXT的文件,并要求TXT中的schema为一张二维表。

  • 支持类CSV格式文件,自定义分隔符。

  • 支持多种类型数据读取(使用STRING表示)、支持列裁剪和列常量。

  • 支持递归读取、支持文件名过滤。

  • 支持文本压缩,现有压缩格式为gzip、bzip2、zip、lzo和lzo_deflate。

  • 多个File可以支持并发读取。

  • 单个File支持多线程并发读取,此处涉及到单个File内部切分算法。

  • 单个File在压缩情况下,从技术上无法支持多线程并发读取。

FTP Writer实现了从数据集成协议转为FTP文件功能,FTP文件本身是无结构化数据存储。目前FTP Writer支持的功能如下:

支持

不支持

  • 支持且仅支持写入文本类型(不支持BLOB,如视频数据)的文件,且要求文本中schema为一张二维表。

  • 支持类CSV和TEXT格式的文件,自定义分隔符。

  • 支持多线程写入,每个线程写入不同子文件。

  • 单个文件不能支持并发写入。

  • FTP本身不提供数据类型,FTP Writer均将数据以STRING类型写入FTP文件。

  • 写出时不支持文本压缩。

支持的字段类型

远程FTP文件本身不提供数据类型,该类型是DataX FtpReader定义。

DataX内部类型

远程FTP文件数据类型

LONG

LONG

DOUBLE

DOUBLE

STRING

STRING

BOOLEAN

BOOLEAN

DATE

DATE

创建数据源

在进行数据同步任务开发时,您需要在DataWorks上创建一个对应的数据源,操作流程请参见创建并管理数据源详细的配置参数解释可在配置界面查看对应参数的文案提示

数据同步任务开发

数据同步任务的配置入口和通用配置流程可参见下文的配置指导。

单表离线同步任务配置指导

附录:脚本Demo与参数说明

离线任务脚本配置方式

如果您配置离线任务时使用脚本模式的方式进行配置,您需要按照统一的脚本格式要求,在任务脚本中编写相应的参数,详情请参见通过脚本模式配置离线同步任务,以下为您介绍脚本模式下数据源的参数配置详情。

Reader脚本Demo

{
    "type":"job",
    "version":"2.0",//版本号。
    "steps":[
        {
            "stepType":"ftp",//插件名。
            "parameter":{
                "path":[],//文件路径。
                "nullFormat":"",//null值。
                "compress":"",//压缩格式。
                "datasource":"",//数据源。
                "column":[//字段。
                    {
                        "index":0,//序列号。
                        "type":""//字段类型。
                    }
                ],
                "skipHeader":"",//是否包含表头。
                "fieldDelimiter":",",//列分隔符。
                "encoding":"UTF-8",//编码格式。
                "fileFormat":"csv"//文本类型。
            },
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"//错误记录数。
        },
        "speed":{
        "throttle":true,//当throttle值为false时,mbps参数不生效,表示不限流;当throttle值为true时,表示限流。
            "concurrent":1 //作业并发数。
            "mbps":"12",//限流,此处1mbps = 1MB/s。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Reader脚本参数

参数

描述

是否必选

默认值

datasource

数据源名称,脚本模式支持添加数据源,此配置项填写的内容必须要与添加的数据源名称保持一致。

path

远程FTP文件系统的路径和文件名信息,需要填写包含路径和文件后缀的完整文件路径和文件名。这里可以支持填写多个路径。

  • 当指定单个远程FTP文件,FTP Reader暂时只能使用单线程进行数据抽取。后期会在非压缩文件情况下针对单个File进行多线程并发读取。

  • 当指定多个远程FTP文件,FTP Reader支持使用多线程进行数据抽取。线程并发数通过通道数指定。

  • 当指定通配符,FTP Reader尝试遍历出多个文件信息。例如,指定/代表读取/目录下所有的文件,指定/bazhen/代表读取bazhen目录下游所有的文件。FTP Reader目前仅支持星号(*)作为文件通配符,并支持使用调度参数配合调度,灵活配置文件名与文件路径。

说明
  • 通常不建议您使用星号(*),易导致任务运行报JVM内存溢出的错误。

  • 数据同步会将一个作业下同步的所有Text File视作同一张数据表。您必须自己保证所有的File能够适配同一套Schema信息。

  • 您必须保证读取文件为类CSV格式,并且提供给数据同步系统权限可读。

  • 如果Path指定的路径下没有符合匹配的文件抽取,同步任务将报错。

column

读取字段列表,type指定源数据的类型,index指定当前列来自于文本第几列(以0开始),value指定当前类型为常量,不从源头文件读取数据,而是根据value值自动生成对应的列。

默认情况下,您可以全部按照STRING类型读取数据,配置为"column":["*"]。您可以指定column字段信息,配置如下。

{
    "type": "long",
    "index": 0    //从远程FTP文件文本第一列获取INT字段。
  },
  {
    "type": "string",
    "value": "alibaba"  //从FTP Reader内部生成alibaba的字符串字段作为当前字段。
  }

对于您指定的column信息,type必须填写,index和value必须选择其一。

fieldDelimiter

读取的字段分隔符。

说明

FTP Reader在读取数据时,需要指定字段分割符,如果不指定会默认为(,),界面配置也会默认填写(,)。

,

skipHeader

类CSV格式文件可能存在表头为标题情况,需要跳过。默认不跳过,压缩文件模式下不支持skipHeader。

false

encoding

读取文件的编码配置。

utf-8

nullFormat

文本文件中无法使用标准字符串定义null(空指针),数据同步提供nullFormat定义哪些字符串可以表示为null。 例如:

  • 配置nullFormat:"null",等同于“可见字符”,如果源头数据是null,则数据同步视作null字段。

  • 配置nullFormat:"\u0001",等同于“不可见字符”,如果源头数据是字符串"\u0001",则数据同步视作null字段。

  • 不写"nullFormat"这个参数,等同于“未配置”,代表来源是什么数据就直接按照什么数据写入目标端,不做任何转换。

markDoneFileName

标档文件名,数据同步前检查标档文件。如果标档文件不存在,等待一段时间重新检查标档文件,如果检查到标档文件开始执行同步任务。

maxRetryTime

表示检查标档文件重试次数,默认重试60次,每一次重试间隔为1分钟,共60分钟。

60

csvReaderConfig

读取CSV类型文件参数配置,Map类型。读取CSV类型文件使用的CsvReader进行读取,会有很多配置,不配置则使用默认值。

fileFormat

读取的文件类型,默认情况下文件作为csv格式文件进行读取,内容被解析为逻辑上的二维表结构处理。如果您配置为binary,则表示按照纯粹二进制格式进行复制传输。

通常在FTP、OSS等存储之间进行目录结构对等复制时使用,通常无需配置该项。

Writer脚本Demo

{
    "type":"job",
    "version":"2.0",//版本号。
    "steps":[
        { 
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"ftp",//插件名。
            "parameter":{
                "path":"",//文件路径。
                "fileName":"",//文件名称。
                "nullFormat":"null",//null值。
                "dateFormat":"yyyy-MM-dd HH:mm:ss",//时间格式。
                "datasource":"",//数据源。
                "writeMode":"",//写入模式。
                "fieldDelimiter":",",//列分隔符。
                "encoding":"",//编码格式。
                "fileFormat":""//文本类型。
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"//错误记录数。
        },
        "speed":{
            "throttle":true,//当throttle值为false时,mbps参数不生效,表示不限流;当throttle值为true时,表示限流。
            "concurrent":1, //作业并发数。
            "mbps":"12"//限流,此处1mbps = 1MB/s。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Writer脚本参数

参数

描述

是否必选

默认值

datasource

数据源名称,脚本模式支持添加数据源,此配置项填写的内容必须要与添加的数据源名称保持一致。

timeout

连接FTP服务器连接超时时间,单位毫秒。

60,000(1分钟)

path

FTP文件系统的路径信息,FTP Writer会写入Path目录下多个文件。

fileName

FTP Writer写入的文件名,该文件名会添加随机的后缀作为每个线程写入实际文件名。

singleFileOutput

FtpWriter写入的文件名受fileName控制,默认行会添加随机的后缀作为每个线程写入实际文件名。如果您不需要默认添加的随机后缀,您可以将singleFileOutput配置为true,写出文件名将会是您指定的完整文件名。

false

writeMode

FTP Writer写入前数据清理处理模式:

  • truncate:当singleFileOutput为true时,写入前会清理目录下同名文件;当singleFileOutput为false时,写入前会清理目录下fileName前缀的所有文件。

  • append:写入前不做任何处理,数据集成FTP Writer直接使用fileName写入,并保证文件名不冲突。

  • nonConflict:如果目录下有fileName前缀的文件,直接报错。

fieldDelimiter

写入的字段分隔符。

是,单字符

skipHeader

类CSV格式文件可能存在表头为标题情况,需要跳过。默认不跳过,压缩文件模式下不支持skipHeader

false

compress

支持gzipbzip2两种压缩形式。

无压缩

encoding

读取文件的编码配置。

utf-8

nullFormat

文本文件中无法使用标准字符串定义null(空指针),数据集成提供nullFormat定义哪些字符串可以表示为null。

例如您配置nullFormat="null",如果源头数据是空指针null,数据集成序列化为null字面值字符串(4个字符)。

dateFormat

日期类型的数据序列化到文件中时的格式,例如"dateFormat":"yyyy-MM-dd"

fileFormat

文件写出的格式,包括CSV和TEXT两种,CSV是严格的CSV格式,如果待写数据包括列分隔符,则会按照CSV的转义语法转义,转义符号为双引号。TEXT格式是用列分隔符简单分割待写数据,对于待写数据包括列分隔符情况下不做转义。

TEXT

header

header:txt文本(包括csv、text等)写出时的表头,脚本模式支持配置表头信息,例如"header":["id","name","age"],表示将id、name、age作为表头写入ftp文件的第一行。

markDoneFileName

  • 标档文件名,同步任务结束后生成标档文件,根据此标档文件可以判断同步任务是否成功。此处应配置为绝对路径。

  • 在离线周期任务场景下,建议标档文件携带调度参数。例如标档文件设置为/user/ftp/markDone_${bizdate}.txt,其中${bizdate}为调度参数。