通过Push模式创建数据订阅

本文介绍通过创建Lindorm Streams实现数据订阅功能,数据订阅功能的Push模式是将云原生多模数据库 Lindorm表格的增量数据推送至下游消息队列Kafka,您可以根据自身业务需求自由消费增量数据,搭建或实现多种业务场景。

推送流程

数据订阅功能将云原生多模数据库 Lindorm表格的增量数据消息主动推送至下游Kafka,推送流程如下。

image

前提条件

创建Lindorm Streams

  1. 进入LTS(原BDS)页面,在左侧导航栏中,选择数据订阅 > Push模式

    Lindorm Streams

  2. 单击create,并配置以下参数。

    参数

    描述

    Lindorm集群

    选择已添加Lindorm宽表数据源。

    表名

    需要填写数据订阅的表名,格式为:namespace.tablename,举例如下。

    • ns1.table1表示订阅空间名称为ns1中的表table1数据。

    • ns2.*表示订阅空间名称为ns2中的所有表数据。

    黑名单表(可选)

    填写黑名单表名。该表中的增量数据不会被推送。

    MessageStorage Type

    选择KAFKA。

    Storage Datasource

    选择已添加Kafka数据源。

    MessageStorage Config

    • kafka_topic表示需要填写Kafka Topic的名称。

    • kafka_ttl:无需填写,请忽略。

    • kafka_partition_num:无需填写,请忽略。

    重要

    Push模式下Topic需要在Kafka中提前建好。

    MessageVersion

    消费格式,默认格式为DebeziumV2。

    Message Config

    • old_image表示消息中是否包含当前行修改前的值,需填写为true,无需填写false

    • new_image表示消息中是否包含修改后整行的值,需填写为true,无需填写false

    • with_schema表示消息中是否携带表的Schema信息,建议填写为false,避免Schema造成消息膨胀。

    • ignore_family_prefix表示导出的列名是否去掉列族,例如完整列名为f:name,将该参数配置为true后导出的列名为name

  3. 单击提交