本文为您介绍PolarDB Writer支持的数据类型、写入方式、字段映射和数据源等参数及配置示例。

PolarDB Writer插件实现了写入数据到PolarDB数据库目标表的功能。在底层实现上，PolarDB Writer通过JDBC连接远程PolarDB数据库，并执行相应的insert into…或replace into…的SQL语句将数据写入PolarDB。内部会分批次提交入库，需要数据库本身采用innodb引擎。
说明 在开始配置PolarDB Writer插件前，请首先配置好数据源，详情请参见配置PolarDB数据源。
PolarDB Writer面向ETL开发工程师，使用PolarDB Writer从数仓导入数据到PolarDB。同时PolarDB Writer也可以作为数据迁移工具为DBA等用户提供服务。PolarDB Writer通过数据同步框架获取Reader生成的协议数据，根据您配置的writeMode生成。
说明 整个任务至少需要具备insert/replace into…的权限，是否需要其它权限，取决于您配置任务时在preSql和postSql中指定的语句。

类型转换列表

类似于PolarDB Reader ，目前PolarDB Writer支持大部分PolarDB类型，但也存在部分类型没有支持的情况，请注意检查您的数据类型。

PolarDB Writer针对PolarDB类型的转换列表，如下所示。
类型分类 PolarDB数据类型
整数类 INT、TINYINT、SMALLINT、MEDIUMINT、BIGINT和YEAR
浮点类 FLOAT、DOUBLE和DECIMAL
字符串类 VARCHAR、CHAR、TINYTEXT、TEXT、MEDIUMTEXT和LONGTEXT
日期时间类 DATE、DATETIME、TIMESTAMP和TIME
布尔型 BOOL
二进制类 TINYBLOB、MEDIUMBLOB、BLOB、LONGBLOB和VARBINARY

参数说明

全量参数说明

参数 描述 必选 默认值
datasource 数据源名称，脚本模式支持添加数据源，此配置项填写的内容必须要与添加的数据源名称保持一致。 是 无
table 选取的需要同步的表名称。 是 无
writeMode 选择导入模式，可以支持：
  • insert（即向导模式的insert into）
  • update（即向导模式的on duplicate key update）
  • replace（即向导模式的replace into）
不同方式的详细介绍与场景示例请参见下文的writeMode（主键冲突）参数详解。 		否 insert
column 目标表需要写入数据的字段，字段之间用英文所逗号分隔。例如"column": ["id", "name", "age"]。如果要依次写入全部列，使用（*）表示。 例如"column": [" *"]。 是 无
preSql 执行数据同步任务之前率先执行的SQL语句。目前向导模式仅允许执行一条SQL语句，脚本模式可以支持多条SQL语句，例如清除旧数据。 否 无
postSql 执行数据同步任务之后执行的SQL语句，目前向导模式仅允许执行一条SQL语句，脚本模式可以支持多条SQL语句，例如加上某一个时间戳。 否 无
batchSize 一次性批量提交的记录数大小，该值可以极大减少数据同步系统与PolarDB的网络交互次数，并提升整体吞吐量。但是该值设置过大可能会造成数据同步运行进程OOM情况。 否 1,024
updateColumn 当writeMode配置成update时，发生遇到主键/唯一性索引冲突时所更新的字段。字段之间用英文逗号所分隔，例如"updateColumn": ["name", "age"]。
说明 目前仅支持PolarDB for MySQL。
否 无

writeMode（主键冲突）参数详解

对比介绍 insert（即向导模式的insert into） update（即向导模式的on duplicate key update） replace（即向导模式的replace into）
处理策略 当主键或唯一性索引冲突时，冲突行不写入目标表，以脏数据的形式体现。 没有遇到主键或唯一性索引冲突时，与insert into行为一致。冲突时会用新行替换已经指定的字段的语句，写入数据至目标表。 没有遇到主键或唯一性索引冲突时，与insert into行为一致。冲突时会先删除原有行，再插入新行。即新行会替换原有行的所有字段。
数据示例
  • 源表数据
    +----+---------+-----+
| id | name    | age |
+----+---------+-----+
| 1  | zhangsan| 1   |
| 2  | lisi    |     |
+----+---------+-----+
  • 目标表原始数据
    +----+---------+-----+
| id | name    | age |
+----+---------+-----+
| 2  | wangwu  |     |
+----+---------+-----+
  • 运行任务后，成功写入目标表1条数据，脏数据1条。
    +----+---------+-----+
| id | name    | age |
+----+---------+-----+
| 1  | zhangsan| 1   |
| 2  | wangwu  |     |
+----+---------+-----+
  • 场景1：任务配置部分字段："column": ["id","name"]
    • 源表数据
      +----+---------+-----+
| id | name    | age |
+----+---------+-----+
| 1  | zhangsan| 1   |
| 2  | lisi    |     |
+----+---------+-----+
    • 目标表原始数据
      +----+---------+-----+
| id | name    | age |
+----+---------+-----+
| 2  | wangwu  |  3  |
+----+---------+-----+
    • 运行任务后，成功写入目标表2条数据，脏数据0条。
      +----+---------+-----+
| id | name    | age |
+----+---------+-----+
| 1  | zhangsan| 1   |
| 2  | lisi    | 3   |
+----+---------+-----+
  • 场景2：任务配置所有字段，"column": ["id","name","age"]
    • 源表数据
      +----+---------+-----+
| id | name    | age |
+----+---------+-----+
| 1  | zhangsan| 1   |
| 2  | lisi    |     |
+----+---------+-----+
    • 目标表原始数据
      +----+---------+-----+
| id | name    | age |
+----+---------+-----+
| 2  | wangwu  |  3  |
+----+---------+-----+
    • 运行任务后，成功写入目标表2条数据，脏数据0条。
      +----+---------+-----+
| id | name    | age |
+----+---------+-----+
| 1  | zhangsan| 1   |
| 2  | lisi    |     |
+----+---------+-----+
  • 源表数据
    +----+---------+-----+
| id | name    | age |
+----+---------+-----+
| 1  | zhangsan| 1   |
| 2  | lisi    |     |
+----+---------+-----+
  • 目标表原始数据
    +----+---------+-----+
| id | name    | age |
+----+---------+-----+
| 2  | wangwu  |  3  |
+----+---------+-----+
  • 运行任务后，成功写入目标表2条数据，脏数据0条。
    +----+---------+-----+
| id | name    | age |
+----+---------+-----+
| 1  | zhangsan| 1   |
| 2  | lisi    |     |
+----+---------+-----+

向导开发介绍

  1. 选择数据源
    配置同步任务的数据来源和数据去向。选择数据源
    参数 描述
    数据源 即上述参数说明中的datasource，通常填写您配置的数据源名称。
    表 即上述参数说明中的table，选择需要同步的表。
    导入前准备语句 即上述参数说明中的preSql，输入执行数据同步任务之前率先执行的SQL语句。
    导入后完成语句 即上述参数说明中的postSql，输入执行数据同步任务之后执行的SQL语句。例如，update table set gmt_modify=now();。
    主键冲突 即上述参数说明中的writeMode，选择需要的导入模式，不同模式的详细介绍与数据示例请参见上文的writeMode（主键冲突）参数详解。
  2. 字段映射，即上述参数说明中的column，左侧的源头表字段和右侧的目标表字段为一一对应的关系。字段映射
    参数 描述
    同名映射 单击同名映射，可以根据名称建立相应的映射关系，请注意匹配数据类型。
    同行映射 单击同行映射，可以在同行建立相应的映射关系，请注意匹配数据类型。
    取消映射 单击取消映射，可以取消建立的映射关系。
    自动排版 可以根据相应的规律自动排版。
  3. 通道控制。通道配置
    参数 描述
    任务期望最大并发数 数据同步任务内，可以从源并行读取或并行写入数据存储端的最大线程数。向导模式通过界面化配置并发数，指定任务所使用的并行度。
    同步速率 设置同步速率可以保护读取端数据库，以避免抽取速度过大，给源库造成太大的压力。同步速率建议限流，结合源库的配置，请合理配置抽取速率。
    错误记录数 错误记录数，表示脏数据的最大容忍条数。
    分布式处理能力

    数据同步时，可以将任务切片分散到多台执行节点上并发执行，提高同步速率。该模式下，配置较大任务并发数会增加数据存储访问压力，如需使用该功能，请提前评估数据存储的访问负载。该功能仅支持在独享数据集成资源组配置，详情请参见独享数据集成资源组和新增和使用独享数据集成资源组。

脚本开发介绍

通过脚本模式开发的详情请参见通过脚本模式配置离线同步任务。

脚本配置样例如下，详情请参见上述参数说明。 
{
    "type": "job",
    "steps": [
        {
            "parameter": {},
            "name": "Reader",
            "category": "reader"
        },
        {
            "parameter": {
                "postSql": [],//导入后完成语句。
                "datasource": "test_005",//数据源名称。
                "column": [//目标列名。
                    "id",
                    "name",
                    "age",
                    "sex",
                    "salary",
                    "interest"
                ],
                "writeMode": "insert",//写入模式。
                "batchSize": 256,//一次性批量提交的记录数大小。
                "table": "PolarDB_person_copy",//目标表名。
                "preSql": []//导入前准备语句。
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "version": "2.0",//版本号。
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    },
    "setting": {
        "errorLimit": {//错误记录数。
            "record": ""
        },
        "speed": {
            "throttle":true,//当throttle值为false时，mbps参数不生效，表示不限流；当throttle值为true时,表示限流。
            "concurrent":6, //作业并发数。
            "mbps":"12"//限流
        }
    }
}