JSON数据从MongoDB迁移至MaxCompute

db.createUser({user:"bookuser",pwd:"123456",roles:["root"]})

新建用户名为bookuser，密码为123456，权限为root。

首先您需要将数据上传至您的MongoDB数据库。本示例使用阿里云的云数据库MongoDB版，网络类型为VPC（需申请公网地址，否则无法与DataWorks默认资源组互通），测试数据如下。

{
                        "store": {
                        "book": [
                        {
                        "category": "reference",
                        "author": "Nigel Rees",
                        "title": "Sayings of the Century",
                        "price": 8.95
                        },
                        {
                        "category": "fiction",
                        "author": "Evelyn Waugh",
                        "title": "Sword of Honour",
                        "price": 12.99
                        },
                        {
                        "category": "fiction",
                        "author": "J. R. R. Tolkien",
                        "title": "The Lord of the Rings",
                        "isbn": "0-395-19395-8",
                        "price": 22.99
                        }
                        ],
                        "bicycle": {
                        "color": "red",
                        "price": 19.95
                        }
                        },
                        "expensive": 10
                        }

登录MongoDB的DMS控制台，本示例使用的数据库为admin，集合为userlog。您可以在查询窗口执行如下命令，查看已上传的数据。

db.userlog.find().limit(10)

1. 以项目管理员身份进入DataWorks控制台，单击对应工作空间操作栏中的进入数据集成。
2. 选择同步资源管理 > 数据源，单击新增数据源。
   
   
3. 在新增数据源弹出框中，选择数据源类型为MongoDB。
4. 填写MongoDB数据源的各配置项。
   
   

   配置	说明
   数据源类型	由于本文中MongoDB处于VPC环境下，因此数据源类型需选择连接串模式（数据集成网络可直接连通）。
   数据源名称	数据源名称必须以字母、数字、下划线组合，且不能以数字和下划线开头。
   数据源描述	对数据源进行简单描述，不得超过80个字符。
   适用环境	可以选择开发或生产环境。 说明 仅标准模式工作空间会显示此配置。
   访问地址	访问地址及端口号可以通过单击MongoDB控制台中的实例名称获取。
   数据库名	该数据源对应的数据库名称。
   用户名/密码	数据库对应的用户名和密码。

5. 单击测试连通性。
6. 测试连通性通过后，单击完成。

完成上述新建后，您可以在图形化界面配置数据同步任务参数，如下图所示。选择数据来源类型为MongoDB，来源表为mongodb_userlog。目标数据源名称为odps_first，目标表为刚新建的mqdata。

由于MongoDB数据源不支持向导模式开发，您直接点击转换为脚本，即可跳转至脚本模式进行配置。

{
    "type": "job",
    "steps": [
    {
        "stepType": "mongodb",
        "parameter": {
            "datasource": "mongodb_userlog",//数据源名称。
            "column": [
                {
                "name": "store.bicycle.color", //JSON字段路径，本例中提取color值。
                "type": "document.String" //非一层子属性以最终获取的类型为准。假如您选取的JSON字段为一级字段，如本例中的expensive，则直接填写string即可。
                }
              ],
            "collectionName //集合名称": "userlog"
            },
        "name": "Reader",
        "category": "reader"
        },
        {
            "stepType": "odps",
            "parameter": {
            "partition": "",
            "isCompress": false,
            "truncate": true,
            "datasource": "odps_first",
            "column": [
            "mqdata"  //MaxCompute表列名。
            ],
            "emptyAsNull": false,
            "table": "mqdata"
            },
            "name": "Writer",
            "category": "writer"
            }
            ],
            "version": "2.0",
            "order": {
            "hops": [
            {
            "from": "Reader",
            "to": "Writer"
            }
            ]
            },
            "setting": {
            "errorLimit": {
            "record": ""
            },
            "speed": {
            "concurrent": 2,
            "throttle": false,
            }
            }
        }

完成上述配置后，单击运行即可。运行成功日志示例如下所示。