新增消费组

更新时间:2025-03-13 11:05:33

数据订阅功能支持创建消费组。通过创建多个消费组,您可以对同一个数据源的数据进行重复消费,从而降低数据订阅的使用成本。

前提条件

已创建订阅实例,且实例的运行状态为正常。更多信息,请参见订阅方案概览

注意事项

  • 若您需要消费的单行数据超过16MB,则可能会导致消费客户端内存OOM(Out of Memory)。

  • 一个数据订阅实例最多可以创建20个消费组,通过创建多个消费组可以实现数据的重复消费。

  • 一个消费组只能创建一个消费者(consumer),并通过该消费者执行数据消费。

  • DTS增量数据采集模块或者客户端切换,则可能会导致数据重复。

操作步骤

  1. 进入目标地域的订阅任务的列表页面(二选一)。

    通过DTS控制台进入
    通过DMS控制台进入
    1. 登录数据传输服务DTS控制台

    2. 在左侧导航栏,单击数据订阅

    3. 在页面左上角,选择订阅实例所属地域。

    说明

    实际操作可能会因DMS的模式和布局不同,而有所差异。更多信息。请参见极简模式控制台自定义DMS界面布局与样式

    1. 登录DMS数据管理服务

    2. 在顶部菜单栏中,选择Data + AI > 数据传输(DTS) > 数据订阅

    3. 订阅任务右侧,选择订阅实例所属地域。

  2. 定位至目标的订阅实例,并单击实例ID。

  3. 单击左侧导航栏的数据消费

  4. 数据消费页面,单击左上角的新增消费组

  5. 在弹出的新增消费组对话框,设置消费组信息。

    配置

    说明

    配置

    说明

    消费组名称

    您可以根据需要修改消费组名称,建议配置具有业务意义的名称,便于后续识别。

    账号

    设置该消费组的账号信息。

    • 由大写字母、小写字母、数字、下划线中的任意一种或多种组成。

    • 最长16个字符。

    密码

    设置该消费组账号对应的密码信息。

    • 由大写字母、小写字母、数字、特殊字符中的任意两种或两种以上组成。

    • 密码长度为8~32个字符。

    确认密码

    再次填入相同的密码。

  6. 单击确定

后续步骤

新增消费组后,根据源库类型、消费客户端类型等,选择订阅数据的消费方式。

消费方式

适用的数据库类型

使用说明

消费方式

适用的数据库类型

使用说明

使用SDK消费PolarDB-X 1.0订阅数据

PolarDB-X 1.0DMS LogicDB

适用于数据库类型为PolarDB-X 1.0DMS LogicDB的订阅实例。

说明

数据库类型为PolarDB-X 1.0DMS LogicDB的订阅实例,仅支持此消费方式。

使用SDK消费订阅数据

MySQLPolarDB for MySQLPostgreSQLOraclePolarDB(兼容Oracle)PolarDB for PostgreSQLPolarDB-X 2.0

适用于大多数场景。

说明

满足数据库类型要求的订阅实例,均建议采用此消费方式。

使用flink-dts-connector消费订阅数据

适用于使用分布式流处理框架Apache Flink的场景。

使用Kafka客户端消费订阅数据

适用于有自己的Kafka客户端,且具备源码开发能力的场景。

  • 本页导读 (1)
  • 前提条件
  • 注意事项
  • 操作步骤
  • 后续步骤