数据集成支持分库分表。您可以在一个任务中配置多个数据源多张表后,同步至一个目标表中。

背景信息

配置分库分表同步时,请确保所有表的Schema与同步配置中第一个数据源的第一张表保持一致。

分库分表支持MySQL(支持向导模式)、SQL Server、Oracle、PostgreSQL、PolarDB和AnalyticDB等类型的数据源。

操作步骤

  1. 进入数据开发页面。
    1. 登录DataWorks控制台
    2. 在左侧导航栏,单击工作空间列表
    3. 选择工作空间所在地域后,单击相应工作空间后的进入数据开发
  2. 创建离线同步节点。
    1. 鼠标悬停至新建图标,单击数据集成 > 离线同步
      您也可以找到相应的业务流程,右键单击数据集成,选择新建 > 离线同步
    2. 新建节点对话框中,输入节点名称,并选择目标文件夹
      说明 节点名称必须是大小写字母、中文、数字、下划线(_)和小数点(.),且不能超过128个字符。
    3. 单击提交
  3. 配置离线同步节点。
    您可以通过向导模式和脚本模式配置分库分表同步:
    • 如果您通过向导模式配置分库分表同步,请单击数据来源区域的添加分库分表+,选择对应的数据源和表。详情请参见通过向导模式配置任务分库分表

      您还可以单击新建数据源进行新建,详情请参见配置MySQL数据源

    • 如果您通过脚本模式配置分库分表同步,示例如下。详情请参见通过脚本模式配置任务
      注意 实际运行时,请删除下述代码中的注释。
      {
          "type": "job",
          "version": "1.0",
          "configuration": {
              "reader": {
                  "plugin": "mysql",
                  "parameter": {
                      "connection": [
                          {
                              "table": [ //分库分表的Table列表1
                                  "tbl1",
                                  "tbl2",
                                  "tbl3"
                              ],
                              "datasource": "datasourceName1" //分库分表的数据源1
                          },
                          {
                              "table": [ //分库分表的Table列表2
                                  "tbl4",
                                  "tbl5",
                                  "tbl6"
                              ],
                              "datasource": "datasourceName2" //分库分表的数据源2
                          }
                      ],
                      "singleOrMulti": "multi",
                      "splitPk": "db_id",
                      "column": [
                          "id", "name", "age"
                      ],
                      "where": "1 < id and id < 100"
                  }
              },
              "writer": {
              }
          }
      }
  4. 提交节点。
    注意 您需要设置节点的重跑属性依赖的上游节点,才可以提交节点。
    1. 单击工具栏中的提交图标。
    2. 提交新版本对话框中,输入备注
    3. 单击确认
    如果您使用的是标准模式的工作空间,提交成功后,请单击右上方的发布。具体操作请参见发布任务
  5. 测试节点,详情请参见查看周期任务