PolarDB-X 2.0数据源

确认PolarDB-X版本

PolarDB-X 1.0请使用DRDS数据源，PolarDB-X 2.0使用本数据源。

配置账号权限

建议您提前规划并创建一个专用于DataWorks访问数据源的PolarDB-X 2.0账号，操作如下。

1. （可选）进入PolarDB-X 2.0管控台创建账号。若您已有账号，可忽略该步骤。

2. 配置权限。

   • 离线同步场景下：

     • 离线读PolarDB-X 2.0数据时，此账号需拥有同步表的读（SELECT）权限。

     • 离线写PolarDB-X 2.0数据时，此账号需拥有同步表的写（INSERT、DELETE、UPDATE）权限。

   • 实时同步场景下（整库实时）：

     • 高权限账号：默认可以读取Binlog，用于实时同步。

     • 普通账号：请使用高权限账号赋予普通账号指定数据库的SELECT、REPLICATION SLAVE、REPLICATION CLIENT权限。

-- 创建同步账号并设置密码，使其可以通过任意主机登录数据库。%表示任意主机。
-- CREATE USER '同步账号'@'%' IDENTIFIED BY '密码'。
-- 授权同步账号数据库的 SELECT, REPLICATION SLAVE, REPLICATION CLIENT权限。
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO '同步账号'@'%'; 

单表离线同步任务配置指导

• 操作流程请参见通过脚本模式配置离线同步任务。

• 脚本模式配置的全量参数和脚本Demo请参见下文的附录：脚本Demo与参数说明。

离线任务脚本配置方式

如果您配置离线任务时使用脚本模式的方式进行配置，您需要按照统一的脚本格式要求，在任务脚本中编写相应的参数，详情请参见通过脚本模式配置离线同步任务，以下为您介绍脚本模式下数据源的参数配置详情。

Reader脚本Demo

{
    "type":"job",
    "version":"2.0",//版本号。
    "steps":[
        {
            "stepType":"polardbx20",//插件名。
            "parameter":{
               "connection": [
                  {
                      "datasource":"",
                      "table": [
                          "t1"
                      ]
                  }
              ],
              "column": [
                  "c1",
                  "c2",
                  "'const'"
              ],
              "where": "",
              "splitPk": "",
              "checkSlave": "true",
              "slaveDelayLimit": "300"
            },
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"//错误记录数。
        },
        "speed":{
            "throttle":true,//当throttle值为false时，mbps参数不生效，表示不限流；当throttle值为true时，表示限流。
            "concurrent":1,//作业并发数。
            "mbps":"12"//限流
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Reader脚本参数

Writer脚本Demo

{
    "type":"job",
    "version":"2.0",//版本号。
    "steps":[ 
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"PolarDB-X 2.0",//插件名。
            "parameter":{
                "postSql":[],//导入后的准备语句。
                "datasource":"",//数据源。
                "column":[//列名。
                    "id",
                    "value"
                ],
                "writeMode":"insert",//写入模式，您可以设置为insert、replace。
                "batchSize":1024,//一次性批量提交的记录数大小。
                "table":"",//表名。
                "preSql":[ 
                     "delete from XXX;" //导入前的准备语句。
                   ]
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{//错误记录数。
            "record":"0"
        },
        "speed":{
            "throttle":true,//当throttle值为false时，mbps参数不生效，表示不限流；当throttle值为true时,表示限流。
            "concurrent":1, //作业并发数。
            "mbps":"12"//限流，控制同步的最高速率，防止对上游/下游数据库读取/写入压力过大。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Writer脚本参数

-- tablename为表名
truncate table tablename;

-- tablename为表名，colname为列名
alter table tablename 
add colname timestamp DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP;