完成数据源、网络、资源的准备配置后,您可创建实时同步节点,同步数据至DataHub。本文为您介绍如何创建数据实时同步任务,并在创建完成后查看任务运行情况。
前提条件
已完成数据源配置。您需要在数据集成同步任务配置前,配置好您需要同步的源端和目标端数据库,以便在同步任务配置过程中,可通过选择数据源名称来控制同步任务的读取和写入数据库。实时同步支持的数据源及其配置详情请参见实时同步支持的数据源。
说明数据源相关能力介绍详情请参见:数据源概述。
已购买合适规格的独享数据集成资源组。详情请参见:新增和使用独享数据集成资源组。
独享数据集成资源组与数据源网络已打通。详情请参见:配置资源组与网络连通。
使用限制
实时数据同步任务仅支持使用独享数据集成资源组。
实时同步节点目前仅支持同步PolarDB、OceanBase、MySQL及Oracle数据源至DataHub。
使用说明
DataHub不同数据类型对应操作的支持情况,不同数据类型的分片策略、数据格式及相关消息示例。详情请参见:附录:DataHub消息格式。
创建实时同步任务
设置同步来源和规则。
在数据来源区域,选择要同步的数据源类型和数据源名称等信息。
选择要同步的表。
在选择同步的源表区域,为您展示所选数据源下所有的表,您可以在源端库表区域选中需要同步的整库全表或部分表,并单击图标,将其移动至已选库表。
重要如果选中的表没有主键,将无法进行实时同步。
在设置表名到Topic的映射规则区域,单击添加规则,选择相应的规则进行添加。
同步时默认将源端数据表写入DataHub同名Topic中,同时,您可以通过添加映射规则定义最终写入目的端的Topic名称,实现将多张表数据写入到同一个Topic中,或统一将源端某固定前缀的表名在写入目标Topic时更新为其他前缀。支持通过正则表达式转换写入的Topic名,还支持使用内置变量拼接目标Topic名。配置逻辑请参见:设置来源和同步规则。
设置目标Topic。
在设置目标Topic页面,选择目标DataHub数据源、DataHub写入模式及分片策略。
如果您需要同步无主键的来源表,则可以勾选支持源表无主键同步。
选择目标数据源并配置目标Topic格式。
在设置目标Topic页面,选择目标DataHub数据源、DataHub写入模式及分片策略。
如果您需要同步无主键的来源表,则可以勾选支持源表无主键同步。
刷新源表与目标Topic映射。
单击刷新源表和DataHub Topic映射将根据您在步骤3配置的表名到Topic的映射规则来生成目标Topic,若步骤3未配置映射规则,将默认写入与源表同名的目标Topic,若目标端不存在该同名Topic,将默认新建。同时,您可以修改Topic建立方式、为目标Topic在源有表字段基础上增加附加字段。
功能
描述
为非主键表选择主键
若您在上一步骤中未勾选支持源表无主键同步,但源端部分无主键表需要同步,您可以单击同步主键列的按钮,为无主键表设置自选主键。
选择表建立方式
支持自动建Topic和使用已有Topic:
当Topic建立方式选择使用已有Topic时,您可以在DataHub Topic列对应的下拉列表中选择需要使用的Topic名称。
当Topic建立方式选择自动建Topic时,DataHub Topic列显示自动创建的DataHub Topic名称。
编辑附加字段
单击操作列的编辑附加字段,可以为目标Topic在源端字段的基础上增加字段并为字段赋值。支持手动赋值常量与变量。
说明仅在Topic建立方式为自动建Topic时,可以使用此功能。
编辑目标Topic结构
目前自动建表生成的DataHub Topic生命周期默认只有7天,并且可能存在字段类型转换,即若目标端数据库中没有与源端一致的数据类型时,同步任务在自动创建目标Topic时,将自动为源端字段匹配目标端可写入的字段类型。若您需要修改DataHub Topic生命周期或修改目标表字段类型映射,您可单击DataHub Topic列的目标Topic名进行修改。
说明仅在表建立方式为自动建Topic时,可以使用此功能。
单击下一步。
如果您前一步中目标数据源使用的Topic建立方式为自动建Topic,则需要在弹出的自动建表对话框,单击开始建表,批量创建目标DataHub Topic。
- 运行资源设置。
- 在运行资源设置页面,配置各项参数。
参数 描述 来源端读取支持最大连接数 读取端的最大连接数,即来源端数据库的JDBC连接数。请根据数据库资源的实际情况合理配置。默认为15。 目标端写入并发数 数据同步任务内,可以从来源表并行读取或写入数据至目标端的最大线程数。最大并发数为32。请根据您的资源组大小和目标端实际规模合理设置。 - 单击完成配置。
- 在运行资源设置页面,配置各项参数。
提交并发布实时同步任务
- 单击工具栏中的图标,保存节点。
- 单击工具栏中的图标,提交节点任务。
- 在提交新版本对话框中,输入变更描述。
- 单击确定。如果您使用的是标准模式的工作空间,任务提交成功后,需要将任务发布至生产环境进行发布。请单击顶部菜单栏左侧的任务发布。具体操作请参见发布任务。