本文介绍通过创建Lindorm Streams实现数据订阅功能,数据订阅功能的Push模式是将云原生多模数据库 Lindorm表格的增量数据推送至下游消息队列Kafka,您可以根据自身业务需求自由消费增量数据,搭建或实现多种业务场景。
推送流程
数据订阅功能将云原生多模数据库 Lindorm表格的增量数据消息主动推送至下游Kafka,推送流程如下。
前提条件
已将客户端IP添加至白名单中,具体操作请参见设置白名单。
确保源实例、目标实例和LTS服务网络互通,详细信息请参见网络互通。
已添加Lindorm宽表数据源,具体操作请参见Lindorm宽表数据源。
已添加Kafka数据源,具体操作请参见Kafka数据源。
已开通数据订阅功能,具体操作请参见开通数据订阅。
创建Lindorm Streams
进入LTS(原BDS)页面,在左侧导航栏中,选择数据订阅 > Push模式。
单击create,并配置以下参数。
参数
描述
Lindorm集群
选择已添加Lindorm宽表数据源。
表名
需要填写数据订阅的表名,格式为:namespace.tablename,举例如下。
ns1.table1表示订阅空间名称为ns1中的表table1数据。
ns2.*表示订阅空间名称为ns2中的所有表数据。
黑名单表(可选)
填写黑名单表名。该表中的增量数据不会被推送。
MessageStorage Type
选择KAFKA。
Storage Datasource
选择已添加Kafka数据源。
MessageStorage Config
kafka_topic表示需要填写Kafka Topic的名称。
kafka_ttl:无需填写,请忽略。
kafka_partition_num:无需填写,请忽略。
重要Push模式下Topic需要在Kafka中提前建好。
MessageVersion
消费格式,默认格式为DebeziumV2。
Message Config
old_image
表示消息中是否包含当前行修改前的值,需填写为true
,无需填写false
。new_image
表示消息中是否包含修改后整行的值,需填写为true
,无需填写false
。with_schema
表示消息中是否携带表的Schema信息,建议填写为false
,避免Schema造成消息膨胀。ignore_family_prefix
表示导出的列名是否去掉列族,例如完整列名为f:name
,将该参数配置为true
后导出的列名为name
。
单击提交。