数据订阅功能支持创建消费组。通过创建多个消费组,您可以对同一个数据源的数据进行重复消费,从而降低数据订阅的使用成本。
前提条件
已创建订阅实例,且实例的运行状态为正常。更多信息,请参见订阅方案概览。
注意事项
若您需要消费的单行数据超过16MB,则可能会导致消费客户端内存OOM(Out of Memory)。
一个数据订阅实例最多可以创建20个消费组,通过创建多个消费组可以实现数据的重复消费。
一个消费组只能创建一个消费者(consumer),并通过该消费者执行数据消费。
若DTS增量数据采集模块或者客户端切换,则可能会导致数据重复。
操作步骤
进入目标地域的订阅任务的列表页面(二选一)。
通过DTS控制台进入通过DMS控制台进入登录数据传输服务DTS控制台。
在左侧导航栏,单击数据订阅。
在页面左上角,选择订阅实例所属地域。
实际操作可能会因DMS的模式和布局不同,而有所差异。更多信息。请参见极简模式控制台和自定义DMS界面布局与样式
登录DMS数据管理服务。
在顶部菜单栏中,选择
。在订阅任务右侧,选择订阅实例所属地域。
定位至目标的订阅实例,并单击实例ID。
单击左侧导航栏的数据消费。
在数据消费页面,单击左上角的新增消费组。
在弹出的新增消费组对话框,设置消费组信息。
配置
说明
配置
说明
消费组名称
您可以根据需要修改消费组名称,建议配置具有业务意义的名称,便于后续识别。
账号
设置该消费组的账号信息。
由大写字母、小写字母、数字、下划线中的任意一种或多种组成。
最长16个字符。
密码
设置该消费组账号对应的密码信息。
由大写字母、小写字母、数字、特殊字符中的任意两种或两种以上组成。
密码长度为8~32个字符。
确认密码
再次填入相同的密码。
单击确定。
后续步骤
新增消费组后,根据源库类型、消费客户端类型等,选择订阅数据的消费方式。
消费方式 | 适用的数据库类型 | 使用说明 |
消费方式 | 适用的数据库类型 | 使用说明 |
PolarDB-X 1.0、DMS LogicDB | 适用于数据库类型为PolarDB-X 1.0或DMS LogicDB的订阅实例。 数据库类型为PolarDB-X 1.0或DMS LogicDB的订阅实例,仅支持此消费方式。 | |
MySQL、PolarDB for MySQL、PostgreSQL、Oracle、PolarDB(兼容Oracle)、PolarDB for PostgreSQL、PolarDB-X 2.0 | 适用于大多数场景。 满足数据库类型要求的订阅实例,均建议采用此消费方式。 | |
适用于使用分布式流处理框架Apache Flink的场景。 | ||
适用于有自己的Kafka客户端,且具备源码开发能力的场景。 |
- 本页导读 (1)
- 前提条件
- 注意事项
- 操作步骤
- 后续步骤