Tablestore Stream配置同步任务

如果您需要通过脚本模式配置此任务，单击工具栏中的转换脚本，选择确认即可进入脚本模式。

您可以根据自身进行配置，示例脚本如下。

{
  "type": "job",
  "version": "1.0",
  "configuration": {
    "reader": {
      "plugin": "Tablestore",
      "parameter": {
        "datasource": "Tablestore",//数据源名，需要与您添加的数据源名称保持一致。
        "dataTable": "person",//导出增量数据的表的名称。该表需要开启Stream，可以在建表时开启。
        "startTimeString": "${startTime}",//增量数据的时间范围（左闭右开）的左边界，格式为yyyymmddhh24miss，单位毫秒。
        "endTimeString": "${endTime}",//运行时间。
        "statusTable": "TableStoreStreamReaderStatusTable",//用于记录状态的表的名称。
        "maxRetries": 30,//请求的最大重试次数。
        "isExportSequenceInfo": false,
      }
    },
    "writer": {
      "plugin": "odps",
      "parameter": {
        "datasource": "odps_source",//数据源名。
        "table": "person",//目标表名。
        "truncate": true,
        "partition": "pt=${bdp.system.bizdate}",//分区信息。
        "column": [//目标列名。
          "id",
          "colname",
          "version",
          "colvalue",
          "optype",
          "sequenceinfo"
        ]
      }
    },
    "setting": {
      "speed": {
        "mbps": 7,//作业速率上限，此处1mbps = 1MB/s。
        "concurrent": 7//并发数。
      }
    }
  }
}

关于运行时间参数和结束时间参数，有以下两种表现形式（配置任务时选择其中一种）：

• "startTimeString": "${startTime}"：增量数据的时间范围（左闭右开）的左边界，格式为yyyymmddhh24miss，单位为毫秒。

  "endTimeString": "${endTime}"：增量数据的时间范围（左闭右开）的右边界，格式为yyyymmddhh24miss，单位为毫秒。

• "startTimestampMillis":""：增量数据的时间范围（左闭右开）的左边界，单位为毫秒。

  Reader插件会从statusTable中找对应startTimestampMillis的位点，从该点开始读取开始导出数据。

  如果statusTable中找不到对应的位点，则从系统保留的增量数据的第1条开始读取，并跳过写入时间小于startTimestampMillis的数据。

  "endTimestampMillis":" "：增量数据的时间范围（左闭右开）的右边界，单位为毫秒。

  Reader插件startTimestampMillis位置开始导出数据后，当遇到第1条时间戳大于等于endTimestampMillis的数据时，结束导出数据，导出完成。

  当读取完当前全部的增量数据时，结束读取，即使未达endTimestampMillis。