导出全量数据到OSS

向导模式（默认）

配置以下内容：

• 数据源：选择来源数据源和去向数据源。

• 运行资源：选择资源组，选择后会自动检测数据源连通性。

• 数据来源：

  • 表：下拉选择来源数据表。

  • 主键区间分布(起始)：数据读取的起始主键，格式为JSON数组，inf_min表示无限小。

    当主键包含1个int类型的主键列id和1个string类型的主键列name时，示例配置如下：

    指定主键范围	全量数据
    [ { "type": "int", "value": "000" }, { "type": "string", "value": "aaa" } ]	[ { "type": "inf_min" }, { "type": "inf_min" } ]

  • 主键区间分布(结束)：数据读取的结束主键，格式为JSON数组，inf_max表示无限大。

    当主键包含1个int类型的主键列id和1个string类型的主键列name时，示例配置如下：

    指定主键范围	全量数据
    [ { "type": "int", "value": "999" }, { "type": "string", "value": "zzz" } ]	[ { "type": "inf_max" }, { "type": "inf_max" } ]

  • 切分配置信息：自定义切分配置信息，格式为JSON数组，普通情况下不建议配置（设置为[]）。

    当Tablestore数据存储发生热点，且使用Tablestore Reader自动切分的策略不能生效时，建议使用自定义的切分规则。切分指定的是在主键起始和结束区间内的切分点，仅配置切分键，无需指定全部的主键。

• 数据去向：选择目标文本类型，并配置相关参数。

  • 文本类型：可选类型包括csv、text、orc和parquet。

  • 文件名(含路径)：OSS Bucket内包含路径的文件名称，如tablestore/resouce_table.csv。

  • 列分隔符：默认为,，如果分隔符不可见，请填写Unicode编码，比如\u001b、\u007c。

  • 文件路径：仅当文本类型为parquet时填写，OSS Bucket内的文件路径。

  • 文件名：仅当文本类型为parquet时填写，OSS Bucket内的文件名。

• 去向字段映射：配置来源数据表到目标文件的字段映射，一行表示一个字段，格式为JSON。

  • 来源字段：包含来源数据表的主键字段和属性列字段。

    当主键包含1个int类型的主键列id和1个string类型的主键列name，属性列包含1个int类型的字段age时，示例配置如下：

    {"name":"id","type":"int"}
    {"name":"name","type":"string"}
    {"name":"age","type":"int"}

  • 目标字段：包含来源数据表的主键字段和属性列字段。

    当主键包含1个int类型的主键列id和1个string类型的主键列name，属性列包含1个int类型的字段age时，示例配置如下：

    {"name":"id","type":"int"}
    {"name":"name","type":"string"}
    {"name":"age","type":"int"}

配置完成后，单击页面上方的保存。

脚本模式

单击页面上方的脚本模式，在切换后的页面中编辑脚本。

以下示例配置以目标文件类型为csv为例，来源数据表主键包含1个int类型的主键列id和1个string类型的主键列name，属性列包含1个int类型的字段age。配置时请替换示例脚本内的数据源datasource、表名称table以及写入文件名object。

{
    "type": "job",
    "version": "2.0",
    "steps": [
        {
            "stepType": "ots",
            "parameter": {
                "datasource": "source_data",
                "column": [
                    {
                        "name": "id",
                        "type": "int"
                    },
                    {
                        "name": "name",
                        "type": "string"
                    },
                    {
                        "name": "age",
                        "type": "int"
                    }
                ],
                "range": {
                    "begin": [
                        {
                            "type": "inf_min"
                        },
                        {
                            "type": "inf_min"
                        }
                    ],
                    "end": [
                        {
                            "type": "inf_max"
                        },
                        {
                            "type": "inf_max"
                        }
                    ],
                    "split": []
                },
                "table": "source_table",
                "newVersion": "true"
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "oss",
            "parameter": {
                "dateFormat": "yyyy-MM-dd HH:mm:ss",
                "datasource": "target_data",
                "writeSingleObject": false,
                "column": [
                    {
                        "name": "id",
                        "type": "int"
                    },
                    {
                        "name": "name",
                        "type": "string"
                    },
                    {
                        "name": "age",
                        "type": "int"
                    }
                ],
                "writeMode": "truncate",
                "encoding": "UTF-8",
                "fieldDelimiter": ",",
                "fileFormat": "csv",
                "object": "tablestore/source_table.csv"
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "setting": {
        "errorLimit": {
            "record": "0"
        },
        "speed": {
            "concurrent": 2,
            "throttle": false
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

脚本编辑完成后，单击页面上方的保存。