数据同步

更新时间:
复制 MD 格式

云消息队列 Kafka 版支持通过数据同步功能,将源 Kafka 实例中的消息数据同步至目标 Kafka 实例。您可以在同账号或跨账号场景下创建同步任务,并按需选择同步的 Topic、运行资源、任务并发数、压缩类型和消息位点重置策略。数据同步能力用于长期两实例间的数据传输场景,如数据分发,数据备份,容灾场景。

使用限制

该能力当前通过工单开放,如有需要,请提交工单。

计费说明

数据同步按照CU计费,详见CU后付费

若存在跨账号/跨VPC的数据同步,额外需支付VPC数据传输费用,详见VPC数据传输后付费

前提条件

在创建跨账号数据同步任务前,请确保源实例或目标实例所属账号已完成授权,详见授权管理。授权完成后,被授权账号才可以在创建任务时选择对应实例作为源端或目标端。

创建数据同步任务

  1. 登录云消息队列 Kafka 版控制台

  2. 在左侧导航栏,选择数据同步

  3. 在数据同步页面,单击创建任务

  4. 创建同步任务页面,按向导完成以下配置。

步骤一:配置基本信息

参数

说明

任务名称

输入数据同步任务的名称。建议使用能够标识业务、源实例和目标实例的名称,便于后续运维和排查。

配置完成后,单击下一步

步骤二:配置源服务

参数

说明

是否跨账号实例

选择源实例是否属于其他阿里云账号。如果选择跨账号实例,需要源实例所属账号提前在授权管理中完成授权。

源集群实例

选择需要读取数据的源 Kafka 实例。

是否同步所有 Topic

选择是否同步源实例中的所有 Topic。如果选择否,需要按页面提示选择或填写需要同步的 Topic。

CU

选择同步任务使用的计算资源规格。CU 越高,可承载的同步能力通常越强,具体以页面可选规格为准。

任务数

选择同步数据的任务数。

压缩类型

选择同步写入目标端时使用的消息压缩类型。请根据业务兼容性和压缩收益选择。

消息位点重置策略

任务选择消息位点的重置策略。

配置完成后,单击下一步

步骤三:配置目标服务

参数

说明

目标集群

选择接收同步数据的目标 Kafka 实例。如果目标实例属于其他账号,需要目标实例所属账号提前在授权管理中完成授权。

确认配置无误后,单击创建同步任务

授权管理

在跨账号数据同步场景中,实例所属账号需要先为其他账号授权。被授权账号获得权限后,才能在创建同步任务时选择该实例作为源端或目标端。

  1. 在数据同步页面,进入授权管理

  2. 单击创建授权

  3. 配置以下参数。

参数

说明

被授权方 UID

输入需要被授权的阿里云账号 UID。授权后,该账号可以在数据同步任务中使用当前账号下指定实例。

授权用途

选择授权实例在数据同步中的用途。可选择作为源端读取作为目标端写入

授权实例

选择当前账号下需要授权给对方使用的 Kafka 实例。

单击确定完成授权。

后续操作

任务创建完成后,您可以在数据同步页面查看任务状态、同步进度和运行信息。建议在正式切流前,确认目标实例中的 Topic、消息写入情况和消费链路符合预期。