完成数据源、网络、资源的准备配置后,您可以创建并执行整库实时同步任务,开始进行数据同步。本文为您介绍如何创建整库实时同步任务,将增量数据实时同步至PolarDB中。

前提条件

  1. 已完成数据源配置。您需要在数据集成同步任务配置前,配置好您需要同步的源端和目标端数据库,以便在同步任务配置过程中,可通过选择数据源名称来控制同步任务的读取和写入数据库。同步解决方案支持的数据源及其配置详情请参见支持的数据源与读写能力
    说明 数据源相关能力介绍详情请参见:数据源概述
  2. 已购买合适规格的独享数据集成资源组。详情请参见:新增和使用独享数据集成资源组
  3. 已完成数据集成资源组与数据源的网络连通。详情请参见:配置资源组与网络连通
  4. 已完成数据源环境准备。您可以基于您需要进行的同步配置,在同步任务执行前,授予数据源配置的账号在数据库进行相应操作的权限。详情请参见:数据库环境准备概述

使用限制

不支持处理源端数据库中的DDL消息。

操作流程

  1. 步骤一:选择同步方案
  2. 步骤二:配置网络连通
  3. 步骤三:设置同步来源与规则
  4. 步骤四:设置目标表
  5. 步骤五:设置表粒度同步规则
  6. 步骤六:DDL消息处理规则
  7. 步骤七:运行资源设置
  8. 步骤八:执行同步任务

步骤一:选择同步方案

创建同步解决方案任务,根据需求选择需要同步的源端数据源和目标端数据源,并选择整库实时同步至PolarDB方案。

步骤二:配置网络连通

源端选择已创建的源端数据源与目标端数据源,以及用于执行同步任务的资源组。并测试资源组与数据源的网络连通。详情请参见:配置同步网络链接

步骤三:设置同步来源与规则

  1. 基本配置区域,配置同步解决方案的名称、任务存放位置等信息。
  2. 数据来源区域,确认需要同步的源端数据源相关信息。
  3. 选择同步的源表区域,选中需要同步的源表,单击图标图标,将其移动至已选源表

    该区域会为您展示所选数据源下所有的表,您可以选择整库全表或部分表进行同步。

  4. 设置表(库)名的映射规则区域,单击添加规则,选择相应的规则进行添加。
    同步时默认将源端数据库、数据表写入PolarDB同名库或同名表中,如果目标端不存在该库或表,将会自动创建。同时,您可以通过添加映射规则定义最终写入PolarDB的库名称及表名称,实现将多张表数据写入到同一个表中,或统一将源端某固定前缀的库名或表名在写入目标库或表时更新为其他前缀。支持通过正则表达式转换写入的库名称及表名称,还支持指定内置变量拼接目标库、表名。配置逻辑请参见:设置同步来源与规则

步骤四:设置目标表

单击刷新源表和PolarDB表映射将根据您在步骤三配置的目标表名映射规则来生成目标表,若步骤三未配置映射规则,将默认写入与源表同名的目标表,若目标端不存在该同名表,将默认新建。同时,您可以修改表建立方式、为目标表在源有表字段基础上增加附加字段。
说明 目标表名将跟据您在设置表(库)名的映射规则阶段配置的表名转换规则自动转换。
功能描述
为非主键表选择主键由于当前方案不支持无主键表同步,所以您需要单击同步主键列的编辑按钮,为无主键表设置自选主键,即选择表中一个或部分字段作为主键,写入目标端时将会使用该主键进行去重。
选择表建立方式支持自动建表使用已有表
  • 表建立方式选择使用已有表时,您可以在PolarDB表名列对应的下拉列表中选择需要使用的表名称。
  • 表建立方式选择自动建表时,PolarDB表名列显示自动创建的PolarDB表名称。您可以单击表名称,查看和修改建表语句。
编辑附加字段单击操作列的编辑附加字段,可以为目标表在源端字段的基础上增加字段并为字段赋值。支持手动赋值常量与变量。
说明 仅在表建立方式自动建表时,可以使用此功能。

步骤五:设置表粒度同步规则

您可根据下列说明设置表粒度同步规则。
功能说明
配置列数据值校验对来源表中的某一列做数据值校验,判断是否满足某种规则。并根据判断结果,对目标字段做不同的写入动作。使用场景详情请参见:附录:列数据值校验使用示例
配置DML规则数据集成提供默认DML处理规则,您可基于业务需要自定义写入PolarDB的处理规则。
配置主键冲突策略提供主键冲突场景下的数据同步规则定义,支持主键冲突场景下的数据写入策略。
  • 主键冲突则覆盖:当写入PolarDB主键冲突的情况下,覆盖PolarDB中原有的记录。
  • 主键冲突则忽略:当写入PolarDB主键冲突的情况下,将待插入的数据丢弃。

步骤六:DDL消息处理规则

当前方案暂不支持处理源端DDL消息,您需要在此界面定义不同类型DDL消息的处理策略,包括忽略、告警、出错。不同DDL消息处理策略请参见:DDL消息处理规则

步骤七:运行资源设置

该同步方案将创建实时增量同步任务,您可以在此步骤配置任务执行所使用的独享资源组,同时,单击高级配置可配置并发数、是否容忍脏数据等参数。

步骤八:执行同步任务

  1. 进入数据集成 > 同步任务界面,找到已创建的同步方案。
  2. 单击操作列的启动/提交执行按钮,启动同步的运行。
  3. 单击操作列的执行详情,查看任务的详细执行过程。

常见问题

实时同步Oracle、PolarDB、MySQL任务重复报错

后续步骤

完成任务配置后,您可以对已创建的任务进行管理、执行加减表操作,或对任务配置监控报警,并查看任务运行的关键指标等。详情请参见:同步解决方案任务运维实时同步任务运维