云消息队列 Kafka 版支持通过数据同步功能,将源 Kafka 实例中的消息数据同步至目标 Kafka 实例。您可以在同账号或跨账号场景下创建同步任务,并按需选择同步的 Topic、运行资源、任务并发数、压缩类型和消息位点重置策略。数据同步能力用于长期两实例间的数据传输场景,如数据分发,数据备份,容灾场景。
使用限制
该能力当前通过工单开放,如有需要,请提交工单。
计费说明
数据同步按照CU计费,详见CU后付费。
若存在跨账号/跨VPC的数据同步,额外需支付VPC数据传输费用,详见VPC数据传输后付费。
前提条件
在创建跨账号数据同步任务前,请确保源实例或目标实例所属账号已完成授权,详见授权管理。授权完成后,被授权账号才可以在创建任务时选择对应实例作为源端或目标端。
创建数据同步任务
在左侧导航栏,选择数据同步。
在数据同步页面,单击创建任务。
在创建同步任务页面,按向导完成以下配置。
步骤一:配置基本信息
参数 | 说明 |
任务名称 | 输入数据同步任务的名称。建议使用能够标识业务、源实例和目标实例的名称,便于后续运维和排查。 |
配置完成后,单击下一步。
步骤二:配置源服务
参数 | 说明 |
是否跨账号实例 | 选择源实例是否属于其他阿里云账号。如果选择跨账号实例,需要源实例所属账号提前在授权管理中完成授权。 |
源集群实例 | 选择需要读取数据的源 Kafka 实例。 |
是否同步所有 Topic | 选择是否同步源实例中的所有 Topic。如果选择否,需要按页面提示选择或填写需要同步的 Topic。 |
CU | 选择同步任务使用的计算资源规格。CU 越高,可承载的同步能力通常越强,具体以页面可选规格为准。 |
任务数 | 选择同步数据的任务数。 |
压缩类型 | 选择同步写入目标端时使用的消息压缩类型。请根据业务兼容性和压缩收益选择。 |
消息位点重置策略 | 任务选择消息位点的重置策略。 |
配置完成后,单击下一步。
步骤三:配置目标服务
参数 | 说明 |
目标集群 | 选择接收同步数据的目标 Kafka 实例。如果目标实例属于其他账号,需要目标实例所属账号提前在授权管理中完成授权。 |
确认配置无误后,单击创建同步任务。
授权管理
在跨账号数据同步场景中,实例所属账号需要先为其他账号授权。被授权账号获得权限后,才能在创建同步任务时选择该实例作为源端或目标端。
在数据同步页面,进入授权管理。
单击创建授权。
配置以下参数。
参数 | 说明 |
被授权方 UID | 输入需要被授权的阿里云账号 UID。授权后,该账号可以在数据同步任务中使用当前账号下指定实例。 |
授权用途 | 选择授权实例在数据同步中的用途。可选择作为源端读取或作为目标端写入。 |
授权实例 | 选择当前账号下需要授权给对方使用的 Kafka 实例。 |
单击确定完成授权。
后续操作
任务创建完成后,您可以在数据同步页面查看任务状态、同步进度和运行信息。建议在正式切流前,确认目标实例中的 Topic、消息写入情况和消费链路符合预期。