HttpFile数据源

使用限制

HttpFile数据源仅支持使用独享数据集成资源组。

支持的字段类型

数据同步任务开发：HttpFile同步流程引导

HttpFile数据同步任务的配置入口和通用配置流程指导可参见下文的配置指导，详细的配置参数解释可在配置界面查看对应参数的文案提示。

创建数据源

在进行数据同步任务开发时，您需要在DataWorks上创建一个对应的数据源，操作流程请参见创建并管理数据源。

单表离线同步任务配置指导

• 操作流程请参见通过向导模式配置离线同步任务、通过脚本模式配置离线同步任务。

• 脚本模式配置的全量参数和脚本Demo请参见下文的附录：HttpFile脚本Demo与参数说明。

附录：HttpFile脚本Demo与参数说明

离线任务脚本配置方式

如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数，脚本模式的统一要求请参见通过脚本模式配置离线同步任务，以下为您详细介绍脚本模式下数据源Reader参数的配置方式。

HttpFile Reader脚本Demo

查询HttpFile Object的脚本样例如下：

{
  "type": "job",
  "version": "2.0",
  "steps": [
    {
      "stepType": "httpfile",
      "parameter": {
        "datasource": "",
        "fileName": "/f/z/1.csv",
        "requestMethod": "GET",
        "requestBody": "",
        "requestHeaders": {
          "header1": "v1",
          "header2": "v2"
        },
        "socketTimeoutSeconds": 3600,
        "connectTimeoutSeconds": 60,
        "bufferByteSizeInKB": 1024,
        "fileFormat": "csv",
        "encoding": "utf8/gbk/...",
        "fieldDelimiter": ",",
        "useMultiCharDelimiter": true,
        "lineDelimiter": "\n",
        "skipHeader": true,
        "compress": "zip/gzip",
        "column": [
          {
            "index": 0,
            "type": "long"
          },
          {
            "index": 1,
            "type": "boolean"
          },
          {
            "index": 2,
            "type": "double"
          },
          {
            "index": 3,
            "type": "string"
          },
          {
            "index": 4,
            "type": "date"
          }
        ]
      },
      "name": "Reader",
      "category": "reader"
    },
    {
      "stepType": "stream",
      "parameter": {},
      "name": "Writer",
      "category": "writer"
    }
  ],
  "setting": {
    "errorLimit": {
      "record": "0"
    },
    "speed": {
      "concurrent": 1
    }
  },
  "order": {
    "hops": [
      {
        "from": "Reader",
        "to": "Writer"
      }
    ]
  }
}

HttpFile Reader脚本参数

{
 "requestBody":"{\"a\":\"b\"}",
 "requestHeaders": {
 "Content-Type": "application/json"
 }
}

{
 "Content-Type": "application/json"
}

{
 "User-Agent": "DataX Http File Reader"
}

"column": ["*"]

"column":
    {
       "type": "long",
       "index": 0    //从HttpFile文本第一列获取int字段。
    },
    {
       "type": "string",
       "value": "alibaba"  //从HttpFile Reader内部生成alibaba的字符串字段作为当前字段。
    }

相关文档

• 数据源配置，详情请参见支持的数据源及同步方案。

• 数据源的权限管理，详情请参见RAM角色授权模式。