• 首页 > 
  • 通用方案:专有云V3.3之前环境调整盘古日志轮转策略的方法

通用方案:专有云V3.3之前环境调整盘古日志轮转策略的方法

KB: 199540

 · 

更新时间:2021-01-13 20:05

1. 概述

本文主要介绍在专有云V3.3之前环境中,调整盘古日志轮转策略的方法。

方案总览

类别 内容
国产化
风险等级(方案执行的影响)
操作方式 灰屏
操作复杂度
预估执行时长 N/A
客户业务的影响
可监控性 不支持
有效性(重启、重拉、补丁、升级、扩容等配置是否丢失) 固化
数据修订(变更是否涉及增删改操作)
执行灰度策略 请向产品侧咨询,明确灰度策略
首次发布时间 N/A
预计完成时间 N/A

1.1. 适用范围

  • 专有云版本:V3.*
  • 产品:盘古

说明:适用于专有云V3.0~V3.3环境,不包含V3.3环境。

1.1. 适用范围

  • 专有云V3,盘古

1.2. 风险说明

  • 本方案属于变更方案,需提交变更申请,与现场技术支持沟通确认后操作。

  • 需确认集群已达终态,本方案需要进行Rolling操作,避免因其他原因造成服务未达终态导致此Rolling出现意外情况。

  • 调整盘古日志轮转策略,对集群的运行无影响。

1.3. 用户告知

  • 本文以AnalyticDB集群为例进行介绍。
  • 调整pangu_master日志轮转策略时,如果配置文件找不到,可以在pangu服务PanguMaster#服务角色的VM中查看apsara_log_conf.json文件,具体路径为/apsara/pangu_master/apsara_log_conf.json
  • 调整pangu_chunkserver日志轮转策略时,如果配置文件找不到,可以在pangu服务PanguChunkserver#服务角色的物理机中查看apsara_log_conf.json文件,具体路径为/apsara/pangu_chunkserver/apsara_log_conf.json

2. 问题描述

盘古日志文件占用磁盘空间较大,需要调整日志轮转策略。

3. 解决方案

3.1. 环境检查

3.1. 环境检查

检查集群终态

  1. 登录天基控制台,在左侧Project框中搜索ads,选择集群,单击集群右侧的集群运维中心,进入集群运维中心页面。

  2. 确认集群已达终态,且没有运行任务。

检查盘古服务

Web界面操作
  1. 通过以下地址登录盘古汇聚控制台,确认目标集群的集群Portal状态为OK。
    http://[$IP]:8620/
    说明:[$IP]为OPS的IP地址。
  1. 如果要进入某个集群的Pangu Portal,单击对应集群右侧的详情
  2. 依次单击集群运维>Master运维,获取PRIMARYSECONDARY角色的信息。
    image.png
命令行操作
  1. 登录集群AG服务器,确认/apsara/deploy/puadmin文件存在。
  2. 执行以下命令,获取PRIMARYSECONDARY角色信息。
    puadmin gems
    系统显示类似如下,盘古服务正常。
    image.png

获取集群pangu服务使用的模板

  1. 登录天基控制台,在Project框中搜索ads,单击集群右侧的集群运维中心,进入集群配置页面。
  2. 依次选择service>pangu>template.conf,记录TemplateName值。

3.2. 实施步骤

下载模板

  1. 登录OPS1服务器,关于如何登录OPS1服务器,请参见专有云如何登录OPS服务器
  2. 切换至admin用户,进入/cloud/tool/tianji/目录,执行以下命令,下载服务模板。
    ./tianji_clt service_template -g -t [$Template_Name] --dir [$Service_Name]-[$Template_Name] -s [$Service_Name] --config /cloud/data/bootstrap_controller/BootstrapController#/bootstrap_controller/tianji_dest.conf
    说明
    • [$Service_Name]为服务名,如pangu。
    • [$Project]为产品名,如ECS、Maxcompute。
    系统显示类似如下。

编辑模板

调整pangu_master日志轮转策略
  1. 进入[$Service_Name]-[$Template_Name]/user/pangu_master/conf/目录,执行以下命令,备份文件。
    说明apsara_log_conf.json文件的绝对路径以实际环境为准。
    cp apsara_log_conf.json /tmp/apsara_log_conf.json.`date +%s`
  2. 编辑apsara_log_conf.json文件,联系阿里云技术支持,将MaxLogFileNum的数值根据现场实际情况进行调整,参考以下数值调整。
    • pangu_master.LOG日志调整为100。
    • pangu_master_monitor.LOG 日志调整为50。
    • pangu_event.LOG日志调整为50。
      说明:非上述3个日志,请勿调整。
调整pangu_chunkserver日志轮转策略
  1. 登录OPS1服务器,切换至admin用户,进入/cloud/tool/tianji/[$Service_Name]-[$Template_Name]/user/pangu_chunkserver/conf/目录,执行以下命令,备份文件。
    cp apsara_log_conf.json /tmp/apsara_log_conf.json.`date +%s`
  2. 编辑apsara_log_conf.json文件,联系阿里云技术支持,将MaxLogFileNum的数值根据现场实际情况进行调整,参见以下数值调整。
    • pangu_chunkserver.LOG日志调整为100。
    • record_operation.LOG日志调整为50。
    • rpc_service.LOG日志调整为50。
      说明:非上述3个日志,请勿调整。

上传模板

进入/cloud/tool/tianji/目录,执行以下命令,提交服务模板。

./tianji_clt service_template -u -m "reduce the pangu_log_num" -t [$Template_Name] --dir [$Service_Name]-[$Template_Name] -s [$Service_Name] /cloud/data/bootstrap_controller/BootstrapController#/bootstrap_controller/tianji_dest.conf

系统显示类似如下。

批量使用模板

  1. 在pangu服务的详情页面中,单击更多>批量使用模板,进入批量应用模板升级页面。
  2. 找到要添加的集群,单击选择。通过预览功能可以确认该模板是否为前面步骤所修改的内容。
    • 调整pangu_master日志轮转策略。单击右侧预览,查看usr/pangu_master/conf/apsara_log_conf.json文件,确认该模板内容修改正确,如有异常,请联系阿里云技术支持,配置总览如下。

      配置对比如下。
    • 调整pangu_chunkserver日志轮转策略。查看usr/pangu_chunkserver/conf/apsara_log_conf.json文件,确认该模板内容修改正确,如有异常,请联系阿里云技术支持,配置总览如下。

      配置对比如下。
  3. 然后单击确认,进入操作确认页面,在请输入"BATCH"来确认操作框中填写BATCH,单击确认升级,等待Rolling完成。

手动删除旧日志

以上操作只是调整日志文件的保存数量,也就是调整了Rolling生效后新产生日志文件的数量上限,之前产生的日志文件不会自动删除,联系阿里云技术支持,需手动清理日志文件,需要清理多少日志文件,以实际环境为准。

说明:本文的日志目录仅供参考,实际路径以实际环境为准。

删除pangu_master日志文件

登录问题pangu_master机器,切换至admin用户,参考以下命令,进入指定目录并清理日志文件。

cd /apsara/pangu_master/log/
for i in `seq 100 999`;do rm -f  pangu_master.LOG.${i};done
删除pangu_chunkserver日志文件

登录问题pangu_chunkserver机器,切换至admin用户,参考以下命令,进入指定目录并清理日志文件。

cd /apsara/pangu_chunkserver/log/
for i in `seq 50 999`;do rm -f rpc_service.LOG.${i};done
for i in `seq 100 999`;do rm -f pangu_chunkserver.LOG.${i};done
for i in `seq 50 999`;do rm -f record_operation.LOG.${i};done

3.3. 结果验证

pangu_master日志文件

在天基控制台的集群配置页面,选择pangu>user>pangu_master>conf>apsara_log_conf.json,确认MaxLogFileNum的值符合预期。

pangu_chunkserver日志文件

参见pangu_master日志文件步骤,在集群配置页面,选择pangu>user>pangu_chunkserver>conf>apsara_log_conf.json,确认MaxLogFileNum的值符合预期。

4. 回滚方案

请参考实施步骤,将备份的apsara_log_conf.json文件恢复后,重新提交Rolling。

5. 补充说明

文件目录结构介绍

根据现场实际情况调整pangu_master和pangu_chunkserver的日志轮转。变更过程中发现没有conf/apsara_log_conf.json目录结构,则需要逐级新建。

  • 如需调整pangu_master的日志轮转
    • 天基控制台中,目录结构如下:
      Service/pangu/user/pangu_master/conf/apsara_log_conf.json
      系统显示类似如下。
    • pangu_master的VM中apsara_log_conf.json文件路径如下:
      说明:新创建的user/pangu_master/conf/apsara_log_conf.json文件没有日志轮转策略,需要到该集群任意的pangu_master节点获取apsara_log_conf.json文件并复制其内容。
      /apsara/pangu_master/apsara_log_conf.json
  • 如需调整pangu_chunkserver的日志轮转
    • 天基控制台中,目录结构如下:
      Service/pangu/user/pangu_chunkserver/conf/apsara_log_conf.json
      系统显示类似如下。
    • pangu_chunkserver节点apsara_log_conf.json文件路径如下:
      说明:新创建的user/pangu_chunkserver/conf/apsara_log_conf.json文件没有日志轮转策略,需要到该集群任意的pangu_chunkserver节点获取apsara_log_conf.json文件并复制其内容。
      /apsara/pangu_chunkserver/apsara_log_conf.json

如何新建目录及文件

  1. 在编辑服务模板页面,单击pangu_chunkserver右侧的新增文件,先创建conf文件夹,单击提交
  2. 单击conf文件夹右侧的新增文件,创建apsara_log_conf.json文件,单击提交