数据集成侧同步任务配置

您可以通过以下两种方式创建同步任务：

• 方式一：在同步任务页面，选择来源和去向，单击开始创建。

• 方式二：在同步任务页面，如果任务列表为空，单击请创建。

您可以根据业务需要选择要同步的来源和去向数据源类型。选择后，数据集成基于源端数据库与目标端数据库类型为您展示目前支持的同步类型，您可以根据业务需要进行选择。

在此步骤中，您需要选择要同步的来源与去向数据源，以及用于执行同步任务的资源组。并测试资源组与数据源的网络连通。

选择源端数据源中需要同步的库和表后，同步任务默认将源端数据库、数据表写入目标端同名schema或同名表中，如果目标端不存在该schema或表，将会自动创建。同时，您可以通过设置表（库）名的映射规则定义最终写入目标端的schema或表名称。实现将多张表数据写入到同一个表中，或统一将源端某固定前缀的库名或表名在写入目标库或表时更新为其他前缀。

• 源表名和目标表名转换规则：源端表名支持通过正则表达式转换为目标端最终写入的表名。

  • 示例1：将源端doc_前缀的表数据，写入前缀为pre_的目标表中。

  • 示例2：将多张表数据写入到一张目标表。

    将源端名称为 "table_01"，"table_02"，"table_03" 的表同步至一张名为 "my_table" 的表中。配置正则表名转换规则为：源：table.*，目标：my_table。

• 目标表名规则：支持您使用内置的变量组合生成目标表名，同时，对转换后的目标表名支持添加前缀和后缀。可使用的内置变量有：

  • ${db_table_name_src_transed}：“源表名和目标表名转换规则”中的转换完成之后的表名。

  • ${db_name_src_transed}：“源库名和目标Schema名转换规则”中的转换完成之后的目标Schema名。

  • ${ds_name_src}：源数据源名。

  示例：对上一步源表名和目标表名转换规则转换后的表名做进一步字符串拼接处理，使用${db_table_name_src_transed}代表上一步的处理结果“my_table”，再为该内置变量增加前缀和后缀，例如，pre_${db_table_name_src_transed}_post，最终就映射到了名为“pre_my_table_post”的目标表。

• 源库名和目标Schema名转换规则：源端schema名支持通过正则表达式转换为目标端最终写入的schema名。

  示例：将源端doc_前缀的库名替换为pre_前缀。

您可以定义写入目标表的相关属性，例如，写入模式、是否写入分区表以及分区的字段名称、选择写入目标端已有表还是新建表、以及是否需要编辑字段并为目标字段赋值等。

此步骤根据选择的同步方案类型不同，需要进行的配置存在一定差异：

• DDL或DML消息处理规则（一键实时同步任务）：

  来源数据源会包含许多DDL或DML操作，为保障数据符合预期，您可以根据写入的目标端数据源类型配置DDL或DML消息处理策略。DDL消息处理策略详情请参见：DDL消息处理规则、DML消息处理策略。

• 同步规则设置（整库离线同步）：

  当使用整库离线同步时，需要定义同步策略。例如，增量同步的过滤条件设置、同步任务的调度周期设置等。

  • 增量同步：您可通过where语句对待同步的数据表进行过滤，且只需在增量条件框中填写where子句，无需写where关键字。同时，在写where子句时，您可以使用系统内置变量，例如使用${bdp.system.bizdate}指代业务日期、使用${bdp.system.cyctime}指代定时时间等。

    说明

    您可以使用调度参数来指定同步源表及目标表的数据范围，调度参数使用说明请参见：数据集成使用调度参数的相关说明。

  • 周期设置：由于需要进行周期性调度，所以需要定义周期性调度任务时的相关属性，包括调度周期、生效日期、暂停调度等。当前方案的调度配置与DataWorks中节点的调度配置一致，参数详情可参见时间属性配置说明。

在此步骤中，您可以配置任务名称及任务执行所使用的资源组，同时，数据集成提供数据库最大连接数、并发数等配置的默认值，如果您需要对任务做精细化配置，您可通过高级配置进行修改。

• 如果您选择一键实时同步方案，该方案将分别创建用于同步全量数据的离线同步任务，和用于同步增量数据的实时同步任务。您需要在运行资源设置界面分别配置离线同步任务的及实时同步任务的相关属性。包括实时同步子任务和离线同步子任务的任务名称、实时增量同步及离线全量同步使用的独享数据集成资源组、离线同步任务所使用的调度资源组。

• 如果您选择整库离线同步方案，您需要配置离线任务名称及使用的调度资源组与数据集成任务执行资源组。