离线同步读取MongoDB数据

前提条件

准备示例数据表

本实践需准备一个MongoDB数据集合、一个MaxCompute表，用于后续进行离线数据同步。

1. 准备MongoDB数据集合。

   本实践使用阿里云云数据库MongoDB作为示例。以下为准备MongoDB数据集合的主要代码示例。

   1. 创建一个名称为di_mongodb_conf_test的数据集合。

      db.createCollection('di_mongodb_conf_test')

   2. 向数据集合中插入本实践的示例数据。

      db.di_mongodb_conf_test.insertOne({
          'col_string':'mock string value',
          'col_int32':NumberInt("1"),
          'col_int32_min':NumberInt("-2147483648"),
          'col_int32_max':NumberInt("2147483647"),
          'col_int64':NumberLong("1234567890123456"),
          'col_int64_min':NumberLong("-9223372036854775807"),
          'col_int64_max':NumberLong("9223372036854775807"),
          'col_decimal':NumberDecimal("9999999.4999999999"),
          'col_double':9999999.99,
          'col_boolean':true,
          'col_timestamp':ISODate(),
          'col_date':new Date(),
          'col_array_to_json':['a','b'],
          'col_array_to_join':['a','b'],
          'col_doc':{
              'key_string':'mock string value',
              'key_int32':NumberInt("1"),
              'key_int32_min':NumberInt("-2147483648"),
              'key_int32_max':NumberInt("2147483647"),
              'key_int64':NumberLong("1234567890123456"),
              'key_int64_min':NumberLong("-9223372036854775807"),
              'key_int64_max':NumberLong("9223372036854775807"),
              'key_decimal':NumberDecimal("9999999.4999999999"),
              'key_double':9999999.99,
              'key_boolean':true,
              'key_timestamp':ISODate(),
              'key_date':new Date(),
              'key_array_to_json':['a','b'],
              'key_array_to_join':['a','b'],
          },
          'col_extra_1':'this is extra 1',
          'col_extra_2':'this is extra 2',
      })

   3. 查询插入MongoDB中的数据。

      db.getCollection("di_mongodb_conf_test").find({})

      查询结果为：查询结果显示集合中包含一条测试文档（_id 为 63dca714b8548a78e1dc3238），文档涵盖多种数据类型字段：col_string（字符串）、col_int32/col_int64（整数，含最大/最小值）、col_double/col_decimal（浮点数）、col_boolean（布尔值）、col_date/col_timestamp（日期/时间戳）、col_array_to_join/col_array_to_json（数组）、col_doc（嵌套文档，内含 key_string、key_int32、key_int64、key_decimal、key_double、key_boolean、key_timestamp、key_date、key_array_to_json、key_array_to_join 等子字段）以及 col_extra_1、col_extra_2 附加字段。

2. 准备MaxCompute表。

   1. 创建一个名称为di_mongodb_conf_test的分区表，分区字段为pt。

      CREATE TABLE IF NOT EXISTS di_mongodb_conf_test
      (
        `id`                 STRING
        ,`col_string`        STRING
        ,`col_int32`         INT
        ,`col_int32_min`     INT
        ,`col_int32_max`     INT
        ,`col_int64`         BIGINT
        ,`col_int64_min`     BIGINT
        ,`col_int64_max`     BIGINT
        ,`col_decimal`       DECIMAL(38,18)
        ,`col_double`        DOUBLE
        ,`col_boolean`       BOOLEAN
        ,`col_timestamp`     TIMESTAMP
        ,`col_date`          DATE
        ,`col_array_to_json` STRING
        ,`col_array_to_join` STRING
        ,`key_string`        STRING
        ,`key_int32`         INT
        ,`key_int32_min`     INT
        ,`key_int32_max`     INT
        ,`key_int64`         BIGINT
        ,`key_int64_min`     BIGINT
        ,`key_int64_max`     BIGINT
        ,`key_decimal`       DECIMAL(38,18)
        ,`key_double`        DOUBLE
        ,`key_boolean`       BOOLEAN
        ,`key_timestamp`     TIMESTAMP
        ,`key_date`          DATE
        ,`key_array_to_json` STRING
        ,`key_array_to_join` STRING
        ,`col_doc`           STRING
        ,`col_combine`       STRING
      )
      PARTITIONED BY
      (
        pt                   STRING
      )
      LIFECYCLE 36500
      ;

   2. 添加一个分区取值20230202。

      alter table di_mongodb_conf_test add if not exists partition (pt='20230202');

   3. 检查分区表是否正确创建。

      SELECT*FROM di_mongodb_conf_test
      WHEREpt='20230202';

离线任务配置

step1：添加MongoDB数据源

添加一个MongoDB数据源，保障数据源与独享数据集成资源组之间网络连通。操作详情请参见配置MongoDB数据源。

step2：创建离线同步节点，并配置离线同步任务

step3：提交发布离线同步节点

如果您使用的是标准模式的DataWorks工作空间，并且希望后续在生产环境中周期性调度此离线同步任务的话，您可以将离线同步节点提交发布到生产环境。操作详情请参见发布任务。

step4：运行离线同步节点，查看同步结果

附录1：同步过程中的数据格式转换说明

数组类型数据转换为JSON格式输出：col_array_to_json

{
    "col_array_to_json":
    [
        "a",
        "b"
    ]
}

{"name":"col_array_to_json","type":"string"}

[a, b]

数组类型数据转换为拼接字符串格式输出：col_array_to_join

{
    "col_array_to_join":
    [
        "a",
        "b"
    ]
}

{"name":"col_array_to_join","type":"array","splitter":","}

a,b

Document数据存在多层嵌套时，读取嵌套中的指定字段同步

{
    "col_doc":
    {
        "key_string": "mock string value"
    }
}

{"name":"col_doc.key_string","type":"document.string"}

mock string value

Document数据作为json序列化输出

{
    "col_doc":
    {
        "key_string": "mock string value",
        "key_int32": 1
    }
}

{"name":"col_doc","type":"string"}

{"key_string":"mockstringvalue","key_int32":1}

Document数据除去已配置字段外，其他字段整体进行json序列化输出

{
    "col_1": "value1",
    "col_2": "value2",
    "col_3": "value3",
    "col_4": "value4"
}

{"name":"col_1","type":"string"}
{"name":"col_2","type":"string"}
{"name":"col_combine","type":"combine"}

{"col_3":"value3","col_4":"value4"}

附录2：关于document中Decimal类型输出问题

{
    "key_decimal":
    {
        "finite": true,
        "high": 3471149412795809792,
        "infinite": false,
        "low": 99999994999999999,
        "naN": false,
        "negative": false
    }
}