全部产品

使用 DTS 将数据库数据同步至消息队列 Kafka

更新时间:2019-05-24 21:22:44

消息队列 Kafka 是应用较为广泛的分布式、高吞吐量、高可扩展性消息队列服务,普遍用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域,是大数据生态中不可或缺的产品之一。使用数据传输服务(Data Transmission Service,简称 DTS)的数据同步功能,您可以将通过专线/VPN 网关/智能网关接入的数据库的数据同步至自建消息队列 Kafka 集群,扩展消息处理能力。

具体的前提条件、注意事项、操作步骤等信息,请参见通过专线/VPN 网关/智能网关接入的自建 MySQL 数据同步至自建 Kafka 集群

当您操作到操作步骤二 配置数据同步实例时,请注意以下事项:

字段 说明
实例类型 选择通过专线/VPN网关/智能网关接入的自建数据库
对端专有网络 选择消息队列 Kafka 实例的 VPC。
IP地址 选择消息队列 Kafka 实例接入点的任意一个 IP 地址即可,目前仅仅支持填写单个 IP 地址。
端口 选择消息队列 Kafka 实例接入点对应 IP 的对应端口。
数据库账号 请不要填写。
数据库密码 请不要填写。
Topic 获取 Topic 列表后选择对应 Topic,Topic 建议创建单个分区,以便保证全局顺序。
Kafka版本 选择消息队列 Kafka 实例对应的开源版本,目前主要是 0.10 版本。

说明:当前 DTS 仅支持通过默认接入点导入数据到消息队列 Kafka,假设消息队列 Kafka 实例的默认接入点为 “172.16.X.X1:9092,172.16.X.X2:9092,172.16.X.X3:9092”,选择第一个 IP 地址和端口填写即可,也即上表中的 IP地址填写 “172.16.X.X1”,端口填写 “9092”。

配置结果如下图所示。

DTS同步至Kafka配置结构