配置整库增量数据实时同步

操作流程

1. 步骤一：创建整库实时同步节点
2. 步骤二：配置资源组
3. 步骤三：配置整库实时同步任务
4. 步骤四：提交并发布实时同步任务

步骤一：创建整库实时同步节点

1. 创建业务流程。详情请参见：管理业务流程。
2. 创建实时同步节点。
   1. 你可以通过以下两种方式创建实时同步节点。
      • 方式一：展开业务流程，右键单击数据集成 > 新建节点 > 实时同步。
      • 方式二：双击业务流程名称，将数据集成目录下的实时同步节点直接拖拽至右侧业务流程编辑面板。

      
   2. 在新建节点对话框中，选择同步方式为整库数据同步（例如，整库数据同步至MaxCompute），并配置节点存放路径及名称等信息。
      不同数据源的详细操作流程请参见对应指导文档：

      • 同步整库数据至AnalyticDB MySQL
      • 同步整库数据至DataHub
      • 同步整库数据至Hologres
      • 同步整库数据至Kafka
      • 同步整库数据至MaxCompute

步骤二：配置资源组

实时同步任务仅支持使用独享数据集成资源组，您可以在实时同步任务编辑页面的右侧导航栏，单击基本配置。在资源组下拉框选择已经与数据库网络连通的独享数据集成资源组。

说明 建议实时同步任务与离线同步任务运行在不同的资源组上，避免混跑带来资源互相抢占、运行态互相影响等问题，例如，CPU、内存、网络等互相影响，导致离线同步任务突然变慢、实时同步任务延迟、以及在资源不足的极端情况下可能会出现任务被OOM Killer杀掉等问题。

步骤三：配置整库实时同步任务

1. 设置同步来源和规则。
   1. 在数据来源区域，选择要同步的数据源类型和数据源名称等信息。
   2. 选择要同步的表。
      在选择同步的源表区域，为您展示所选数据源下所有的表，您可以在源端库表区域选中需要同步的整库全表或部分表，并单击图标，将其移动至已选库表。

      注意 如果选中的表没有主键，将无法进行实时同步。
   3. 设置表名的映射规则。
      在此步骤中，您可以选择源端数据源中需要同步的库和表，同步解决方案默认将源端数据库、数据表写入目标端同名schema或同名表中，如果目标端不存在该schema或表，将会自动创建。同时，您可以通过设置表（库）名的映射规则定义最终写入目标端的schema或表名称。实现将多张表数据写入到同一个表中，或统一将源端某固定前缀的库名或表名在写入目标库或表时更新为其他前缀。

      • 源表名和目标表名转换规则：源端表名支持通过正则表达式转换为目标端最终写入的表名。
        • 示例1：将源端doc_前缀的表数据，写入前缀为pre_的目标表中。
        • 示例2：将多张表数据写入到一张目标表。
          将源端名称为 "table_01"，"table_02"，"table_03" 的表同步至一张名为 "my_table" 的表中。配置正则表名转换规则为：源：table.*，目标：my_table。
      • 目标表名规则：支持您使用内置的变量组合生成目标表名，同时，对转换后的目标表名支持添加前缀和后缀。可使用的内置变量有：
        • ${db_table_name_src_transed}：“源表名和目标表名转换规则”中的转换完成之后的表名。
        • ${db_name_src_transed}：“源库名和目标Schema名转换规则”中的转换完成之后的目标Schema名。
        • ${ds_name_src}：源数据源名。

        示例：对上一步源表名和目标表名转换规则转换后的表名做进一步字符串拼接处理，使用${db_table_name_src_transed}代表上一步的处理结果“my_table”，再为该内置变量增加前缀和后缀，例如，pre_${db_table_name_src_transed}_post，最终就映射到了名为“pre_my_table_post”的目标表。

      • 源库名和目标Schema名转换规则：源端schema名支持通过正则表达式转换为目标端最终写入的schema名。
        示例：将源端doc_前缀的库名替换为pre_前缀。
2. 选择目标数据源并配置目标表或topic。
   1. 在设置目标表或Topic页面，配置目标数据源基本信息。例如，写入模式、分区设置等。具体配置以各数据源实时同步界面为准。
   2. 单击刷新源表和目标表映射，创建需要同步的源表和目标表的映射关系。
      支持您自定义目标schema、自定义目标表名、通过编辑附加字段为目标表添加常量，变量等操作。具体配置以各数据源实时同步界面为准。

      说明 如果同步的表数量较多，会导致执行进度较慢，请耐心等待。
3. 可选：设置表粒度同步规则。
   部分同步方案支持自定义表级DML处理策略，即当源表发生插入、更新、删除时，您可以在此处定义对应的处理策略。

   说明 不同数据源支持的DML操作可能存在差异，对应同步方案是否支持DML处理策略，请以产品界面为准。数据源当前的DML支持情况请参见支持的DML及DDL操作。
4. 设置DDL消息处理规则。
   来源数据源会包含许多DDL操作，进行实时同步时，您可以根据业务需求，对不同的DDL消息设置同步至目标端的处理策略。不同数据源支持的DDL操作可能存在差异，详情请参见：支持的DML及DDL操作。

   说明 您可以在数据集成 > 配置选项 > 实时同步DDL消息处理策略页面，针对每个写入的目标数据库类型，设置DDL处理策略。不同DDL消息处理策略如下表所示。

   DDL消息类型	处理策略
   新建表	DataWorks收到对应类型的DDL消息时，处理策略如下： 正常处理：将相应消息继续下发给目标数据源，由目标数据源来处理。因为不同目标数据源对DDL消息处理策略可能会不同，因此DataWorks只执行转发操作。 忽略：直接丢弃该消息，不再向目标数据源发送。 告警：直接丢弃该消息，同时会在实时同步日志中记录告警信息，指明该消息因执行出错被丢弃。 出错：实时同步任务直接显示出错状态并终止运行。
   删除表
   新增列
   删除列
   重命名表
   重命名列
   修改列类型
   清空表

5. 运行资源设置。
   • 提供任务并发数控制功能来限制数据集成读取和写入数据库的最大并发数。
   • 支持您控制同步任务是否容忍脏数据的产生。
     • 当不允许脏数据产生时，则同步任务执行过程中如果产生脏数据，任务将失败退出。
     • 当允许脏数据时：同步任务将忽略脏数据（即不会写入目标端），并正常执行。
6. 单击完成配置。

步骤四：提交并发布实时同步任务

1. 单击工具栏中的图标，保存节点。
2. 单击工具栏中的图标，提交节点任务。
3. 在提交新版本对话框中，输入变更描述。
4. 单击确定。
   如果您使用的是标准模式的工作空间，任务提交成功后，需要将任务发布至生产环境进行发布。请单击顶部菜单栏左侧的任务发布。具体操作请参见发布任务。