导出全量数据到MaxCompute

向导模式（默认）

在向导模式下配置以下内容：

• 数据源：选择来源数据源和去向数据源。

• 运行资源：选择资源组，选择后会自动检测数据源连通性。

• 数据来源：

  • 表：下拉选择来源数据表。

  • 主键区间分布(起始)：数据读取的起始主键，格式为JSON数组，inf_min表示无限小。

    当主键包含1个int类型的主键列id和1个string类型的主键列name时，示例配置如下：

    指定主键范围	全量数据
    [ { "type": "int", "value": "000" }, { "type": "string", "value": "aaa" } ]	[ { "type": "inf_min" }, { "type": "inf_min" } ]

  • 主键区间分布(结束)：数据读取的结束主键，格式为JSON数组，inf_max表示无限大。

    当主键包含1个int类型的主键列id和1个string类型的主键列name时，示例配置如下：

    指定主键范围	全量数据
    [ { "type": "int", "value": "999" }, { "type": "string", "value": "zzz" } ]	[ { "type": "inf_max" }, { "type": "inf_max" } ]

  • 切分配置信息：自定义切分配置信息，格式为JSON数组，普通情况下不建议配置（设置为[]）。

    当Tablestore数据存储发生热点，且使用Tablestore Reader自动切分的策略不能生效时，建议使用自定义的切分规则。切分指定的是在主键起始和结束区间内的切分点，仅配置切分键，无需指定全部的主键。

• 数据去向：配置以下内容，其它参数可保持默认，也可根据需求修改。

  • 生产项目名：反显去向数据源关联的MaxCompute项目名称。

  • Tunnel资源组：默认选择公共传输资源，即MaxCompute的免费quota，可根据需要选择独享的Tunnel。

  • 表：选择目标表，可单击一键生成目标表结构自动生成目标表。

  • 分区：同步的数据保存在指定日期的分区中，可以用于每日增量同步。

  • 写入模式：可选择写入前清理已有数据还是保留已有数据。

• 去向字段映射：配置来源数据表到目标表的字段映射，系统会根据源表字段提供默认映射关系，可根据需要修改。

配置完成后，单击页面上方的保存。

脚本模式

单击页面上方的脚本模式，在切换后的页面中编辑脚本。

以下示例脚本中，来源数据表主键包含1个int类型的主键列id和1个string类型的主键列name，属性列包含1个int类型的字段age。配置时请替换示例脚本内的数据源datasource、表名称table。

{
    "type": "job",
    "version": "2.0",
    "steps": [
        {
            "stepType": "ots",
            "parameter": {
                "datasource": "source_data",
                "column": [
                    {
                        "name": "id",
                        "type": "INTEGER"
                    },
                    {
                        "name": "name",
                        "type": "STRING"
                    },
                    {
                        "name": "age",
                        "type": "INTEGER"
                    }
                ],
                "range": {
                    "begin": [
                        {
                            "type": "inf_min"
                        },
                        {
                            "type": "inf_min"
                        }
                    ],
                    "end": [
                        {
                            "type": "inf_max"
                        },
                        {
                            "type": "inf_max"
                        }
                    ],
                    "split": []
                },
                "table": "source_table",
                "newVersion": "true"
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "odps",
            "parameter": {
                "partition": "pt=${bizdate}",
                "truncate": true,
                "datasource": "target_data",
                "tunnelQuota": "default",
                "column": [
                    "id",
                    "name",
                    "age"
                ],
                "emptyAsNull": false,
                "guid": null,
                "table": "source_table",
                "consistencyCommit": false
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "setting": {
        "errorLimit": {
            "record": "0"
        },
        "speed": {
            "concurrent": 2,
            "throttle": false
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

脚本编辑完成后，单击页面上方的保存。