应急预案:专有云V3环境如何修改dts_drc_cmha容器CM和HA服务的内存配置

应急预案:专有云V3环境如何修改dts_drc_cmha容器CM和HA服务的内存配置

更新时间:2020-06-04 22:43:11

1. 概述

本文主要介绍在专有云V3环境中,如何修改dts_drc_cmha容器CM和HA服务的内存配置。

1.1. 适用范围

  • 专有云V3企业版,DTS

1.2. 用户告知

  • 适用平台:x86、ARM
  • 授权级别:L1(一线驻场工程师)、L2(二线技术支持工程师)、L3(产品研发工程师)
  • 临时或固化方案:临时
  • 操作复杂度:低
  • 预估执行时长:30分钟
  • 业务影响:否
    说明:此问题预计在V3.13版本修复,若现场环境进行升级、重拉容器、物理机克隆操作时配置会回滚,在客户端不重启的情况下无影响。
  • 风险等级:低
    说明:修改配置之前请注意以下事项:
    • 两台同服务角色的容器均异常,可直接进行操作。
    • 两台同服务角色的容器已有一个异常,先操作异常容器,正常后再操作另一个正常的容器。
    • 两台同角色的容器均正常,可轮流操作,一个正常后方可操作下一个。
    • 操作期间禁止客户端重启。

2. 问题描述

在专有云V3环境dts_drc_cmha容器中,haServer.sh脚本中-Xmx参数的值为16,但是容器只有4G内存。如果业务量处于高峰,会出现申请不到内存的情况,可能出现HA进程出现OOM或者夯机的情况,ha.log日志不输出时,说明HA进程已经不可用。HA不可用影响订阅Partition的分配,订阅任务的Client一旦重启,重新分配Partition,出现分配不到的情况。最终导致订阅任务消费位点不推进消费而没有数据。对于这个问题,暂时采用修改haServer.sh脚本中的-Xmx参数值的方式来解决此问题。该问题会在后期的版本彻底修复。

3. 解决方案

详情请参见以下KB文档。

  • KB 161521 通用方案:专有云V3环境如何修改dts_drc_cmha容器CM和HA服务的内存配置