全增量实时同步至Hologres

注意事项

同步数据至Hologres时，目前仅支持将数据写入分区表子表，暂不支持写入数据至分区表父表。

操作流程

• 步骤一：选择同步方案

• 步骤二：网络与资源配置

• 步骤三：选择要同步的表

• 步骤四：目标表映射

• 步骤五：报警配置

• 步骤六：高级参数配置

• 步骤七：DDL能力配置

• 步骤八：资源组配置

• 步骤九：执行同步解决方案任务

步骤一：选择同步方案

在此步骤中，您需要进入数据集成页面配置同步解决方案。

1. 进入数据集成页面。

   登录DataWorks控制台，单击左侧导航栏的数据集成，在下拉框中选择对应工作空间后单击进入数据集成。

2. 在数据集成同步任务页任务列表中单击请创建，进入同步方案配置页面。

   • 数据来源与去向：选择待同步的源端数据源类型，目标端数据源选择Hologres。

   • 新任务名称：配置当前方案名称。

   • 同步类型：选择整库实时。

   • 同步步骤：按需选择。

步骤二：网络与资源配置

步骤三：选择要同步的表

此步骤中，您可以在源端库表区域选择源端数据源下需要同步的表，并单击图标，将其移动至已选库表。同时，支持通过正则表达式过滤库与表。

步骤四：目标表映射

在上一步骤选择完需要同步的表后，将自动在此界面展示当前待同步的表，但目标表的相关属性默认为待映射状态，需要您定义并确认源表与目标表映射关系，即数据的读取与写入关系，然后单击刷新映射后才可进入下一步操作。您可以直接刷新映射，或自定义目标表规则后，再刷新映射。

定义目标schema名与表名

1. 定义目标schema名与表名映射规则。

   需求	配置入口	配置
   自定义目标Schema名映射规则	在目标Schema名映射自定义列，单击编辑按钮。	可以使用内置变量和手动输入的字符串拼接成为最终目标Schema名。其中，支持您编辑内置变量，例如，做字符串替换。 如上图所示，使用源端数据库名将源端数据库名作为目标schema名称，并且将所有满足order_db.*正则表达式的源库写入目标Hologres名为order_db的schema中。
   自定义目标表名映射规则	在目标表名映射自定义列，单击编辑按钮。	可以使用内置变量和手动输入的字符串拼接成为最终目标表名。其中，支持您编辑内置变量，例如，做字符串替换。 如上图所示，使用源端表名将源端表名作为目标表名称，并且将源端表名中符合t_order.*正则表达式的表数据写入到Hologres名为t_order表中。

2. 应用目标schema名与表名映射规则。

   选中待同步的所有表，单击批量修改>目标Schema名映射自定义或批量修改>目标表名映射自定义，并分别选择已创建的规则，使规则生效。

编辑字段类型映射

同步任务存在默认的源端字段类型与目标端字段类型映射，您可以单击表格右上角的编辑字段类型映射，自定义源端表与目标端表字段类型映射关系，配置完后单击应用并刷新映射。

编辑目标表结构并添加字段。

当目标Hologres表为待建立状态时，您可以为目标表在原有表结构基础上新增字段。操作如下：

1. 为目标表添加字段。

   • 单表新增字段：单击目标表名列的按钮添加字段。

   • 批量新增字段：在表格底部选择批量修改>目标表结构_批量修改和新增字段。

2. 为字段赋值。

   您可以通过以下操作为上述步骤中新增的字段赋值。

   • 单表赋值：单击目标表字段赋值列的编辑按钮，为目标表字段赋值。

   • 批量赋值：在列表底部选择批量修改>目标表字段赋值为目标表中相同的字段批量赋值。

   说明

   在赋值时支持赋值常量与变量，您可通过图标切换赋值模式。

配置DML规则

步骤五：报警配置

为避免任务出错导致业务数据同步延迟，您可以对实时同步子任务设置不同的报警策略。操作如下：

1. 单击页面右上方的报警设置，进入实时同步子任务报警设置页面。

2. 单击新增报警，配置报警规则。

   说明

   此处定义的报警规则，将对该任务产生的实时同步子任务生效，您可在任务配置完成后，进入实时同步任务界面查看并修改该实时同步子任务的监控报警规则。

3. 管理报警规则。

   对于已创建的报警规则，您可以通过报警开关控制报警规则是否开启，同时，您可以根据报警级别报警给不同的人员。

步骤六：高级参数配置

1. 单击界面右上方的高级参数配置，进入高级参数配置页面。

2. 在高级参数配置页面基于业务需要与资源组、数据库实际情况配置各项参数。

   配置区域	参数	说明
   读端配置	离线任务源端最大连接数	支持您通过该参数控制当前同步方案所产生的所有离线子同步任务可占用的源端数据库连接数，即同一时间内，当前同步解决方案所产生的所有离线子同步任务读取数据库的并发数上限。 说明 实际执行时，当前任务同时运行的离线子任务并发度将不会超过此值。 配置运行时配置中的离线同步任务并发数时请参考该值。
   写端配置	实时任务写端最大连接数	支持通过该参数控制当前同步方案所产生的所有实时子任务可占用的写端数据库最大连接数。 说明 实际执行时，当前任务所产生的实时同步子任务并发度将不会超过此值。 配置运行时配置中的实时任务并发数时请参考该值。
   	离线任务写端最大连接数	支持通过该参数控制当前同步方案所产生的单个离线同步子任务可占用的写端数据库最大连接数。
   运行时配置	离线同步任务并发度	单个离线同步子任务的并发数，建议按照对应规格的资源组支持的最大并发数合理分配。 说明 因为离线同步任务个体配置差异较大，实际执行时不一定可以达到此处配置的并发数。收费将按照实际执行的并发数收费。详情请参见：性能指标。
   	离线任务是否开启限流	提供限流功能控制同步流量。 不限流：默认不限流，在不限流的情况下，任务将在所配置的并发数的限制基础上，提供现有硬件环境下最大的传输性能。 限流：考虑到速度过高可能对数据库造成过大的压力从而影响生产，数据集成同时提供了限速选项，您可以通过限流控制同步速率，从而保护读取端数据库，避免抽取速度过大，给数据库造成太大的压力。限速最小配置为1MB/S，最高上限为30MB/s。
   	离线任务限流大小	当开启限流场景下，您可以在此配置单个离线子任务流量大小。 说明 流量度量值是数据集成本身的度量值，不代表实际网卡流量。通常，网卡流量往往是通道流量膨胀的1至2倍，实际流量膨胀取决于具体的数据存储系统传输序列化情况。
   	实时任务并发度	单个实时同步子任务并发数。
   	是否支持自动创建Schema	定义当前任务是否允许自动创建Hologres Schema。

步骤七：DDL能力配置

来源数据源会包含许多DDL操作，您可以根据业务需求，单击界面右上方DDL能力配置，进入DDL能力配置页面对不同的DDL消息设置同步至目标端的处理策略。不同DDL消息处理策略请参见：DDL消息处理规则。

步骤八：资源组配置

运行当前同步解决方案将产生多个离线同步子任务和一个实时同步子任务，您可以单击界面右上方的资源组配置，查看并切换当前的任务所使用的离线同步资源组和实时同步资源组。

步骤九：执行同步解决方案任务

1. 进入数据集成 > 同步任务界面，找到已创建的同步方案。

2. 单击操作列的启动/提交执行按钮，启动同步的运行。

3. 单击操作列的执行详情，查看任务的详细执行过程。