通用方案:专有云V3环境调整盘古日志轮转策略

通用方案:专有云V3环境调整盘古日志轮转策略

更新时间:2020-06-09 10:29:27

1. 概述

本文主要介绍在专有云V3环境中调整盘古日志轮转策略的方法。

1.1. 适用范围

  • 专有云V3,盘古

1.2. 风险说明

  • 操作复杂度:低
  • 风险等级:低
  • 本方案属于变更方案,需提交变更申请,与现场技术支持沟通确认后操作。

  • 需确认集群已达终态,本方案需要进行Rolling操作,避免因其他原因造成服务未达终态导致此Rolling出现意外情况。

  • 调整盘古日志轮转策略,对集群的运行无影响。

1.3. 用户告知

  • 本文以AnalyticDB集群为例进行介绍。
  • 调整pangu_master日志轮转策略时,如果配置文件找不到,可以在pangu服务PanguMaster#服务角色的VM中查看apsara_log_conf.json文件,具体路径为/apsara/pangu_master/apsara_log_conf.json
  • 调整pangu_chunkserver日志轮转策略时,如果配置文件找不到,可以在pangu服务PanguChunkserver#服务角色的物理机中查看apsara_log_conf.json文件,具体路径为/apsara/pangu_chunkserver/apsara_log_conf.json

2. 问题描述

盘古日志文件占用磁盘空间较大,需要调整日志轮转策略。

3. 解决方案

3.1. 环境检查

检查集群终态

  1. 登录天基控制台,在左侧Project中搜索ads,选择集群,单击集群右侧的集群运维中心,进入集群运维中心页面。

  2. 确认集群已达终态,且没有运行任务。

检查盘古服务

Web界面操作
  1. 通过以下地址登录盘古汇聚控制台,确认目标集群的集群Portal状态为OK。
    http://[$IP]:8620/
    说明:[$IP]为OPS的IP地址。
  1. 如果要进入某个集群的Pangu Portal,单击对应集群右侧的详情
  2. 依次单击集群运维>Master运维,获取PRIMARYSECONDARY角色的信息。
    image.png
命令行操作
  1. 登录集群AG服务器,确认/apsara/deploy/puadmin文件存在。
  2. 执行以下命令,获取PRIMARYSECONDARY角色信息。
    puadmin gems
    系统显示类似如下,盘古服务正常。
    image.png
获取集群pangu服务使用的模板
  1. 登录天基控制台,在Project中搜索ads,单击集群右侧的集群运维中心,进入集群配置页面。
  2. 依次选择service>pangu>template.conf,记录TemplateName值。

3.2. 实施步骤

专有云3.3之前版本修改模板

下载模板
  1. 登录OPS1服务器,关于如何登录OPS1服务器,请参见专有云如何登录OPS服务器
  2. 切换至admin用户,进入/cloud/tool/tianji/目录,执行以下命令,下载服务模板。
    ./tianji_clt service_template -g -t [$Template_Name] --dir [$Service_Name]-[$Template_Name] -s [$Service_Name] --config /cloud/data/bootstrap_controller/BootstrapController#/bootstrap_controller/tianji_dest.conf
    说明
    • [$Service_Name]为服务名,如pangu。
    • [$Project]为产品名,如ECS、Maxcompute。
    系统显示类似如下。
编辑模板
调整pangu_master日志轮转策略
  1. 进入[$Service_Name]-[$Template_Name]/user/pangu_master/conf/目录,执行以下命令,备份文件。
    说明apsara_log_conf.json文件的绝对路径以实际环境为准。
    cp apsara_log_conf.json /tmp/apsara_log_conf.json.`date +%s`
  2. 编辑apsara_log_conf.json文件,联系阿里云技术支持,将MaxLogFileNum的数值根据现场实际情况进行调整,参考以下数值调整。
    • pangu_master.LOG日志调整为100。
    • pangu_master_monitor.LOG 日志调整为50。
    • pangu_event.LOG日志调整为50。
      说明:非上述3个日志,请勿调整。
调整pangu_chunkserver日志轮转策略
  1. 登录OPS1服务器,切换至admin用户,进入/cloud/tool/tianji/[$Service_Name]-[$Template_Name]/user/pangu_chunkserver/conf/目录,执行以下命令,备份文件。
    cp apsara_log_conf.json /tmp/apsara_log_conf.json.`date +%s`
  2. 编辑apsara_log_conf.json文件,联系阿里云技术支持,将MaxLogFileNum的数值根据现场实际情况进行调整,参见以下数值调整。
    • pangu_chunkserver.LOG日志调整为100。
    • record_operation.LOG日志调整为50。
    • rpc_service.LOG日志调整为50。
      说明:非上述3个日志,请勿调整。
上传模板

进入/cloud/tool/tianji/目录,执行以下命令,提交服务模板。

./tianji_clt service_template -u -m "reduce the pangu_log_num" -t [$Template_Name] --dir [$Service_Name]-[$Template_Name] -s [$Service_Name] /cloud/data/bootstrap_controller/BootstrapController#/bootstrap_controller/tianji_dest.conf

系统显示类似如下。

批量使用模板
  1. 在pangu服务的详情页面中,单击更多>批量使用模板,进入批量应用模板升级页面。
  2. 找到要添加的集群,单击选择。通过预览功能可以确认该模板是否为前面步骤所修改的内容。
    • 调整pangu_master日志轮转策略。单击右侧预览,查看usr/pangu_master/conf/apsara_log_conf.json文件,确认该模板内容修改正确,如有异常,请联系阿里云技术支持,配置总览如下。

      配置对比如下。
    • 调整pangu_chunkserver日志轮转策略。查看usr/pangu_chunkserver/conf/apsara_log_conf.json文件,确认该模板内容修改正确,如有异常,请联系阿里云技术支持,配置总览如下。

      配置对比如下。
  3. 然后单击确认,进入操作确认页面,在请输入"BATCH"来确认操作框中填写BATCH,单击确认升级,等待Rolling完成。

专有云3.3及之后版本修改模板

编辑模板
调整pangu_master日志轮转策略
  1. 登录天基控制台,选择运维>服务运维,单击右侧管理
  2. 在pangu服务的详情页面中单击服务模板,在模糊搜索框中搜索ads,找到服务模板,单击编辑,进入编辑服务模板页面,然后单击下一步
  3. 选择user>pangu_master>conf>apsara_log_conf.json,联系阿里云技术支持,将MaxLogFileNum的数值根据现场实际情况进行调整,单击预览并提交
    注意:如果文件不存在,需要逐级新建,包括目录,如何新建目录和文件请参见补充说明
  4. 确认修改的内容符合预期,则单击提交
调整pangu_chunkserver日志轮转策略
  1. 登录天基控制台,选择运维>服务运维,模糊查询pangu,单击右侧管理
  2. 在pangu服务的详情页面中单击服务模板,在模糊搜索框中搜索ads,找到服务模板,单击编辑,进入编辑服务模板页面,然后单击下一步
  3. 选择user>pangu_chunkserver>conf>apsara_log_conf.json,联系阿里云技术支持,将MaxLogFileNum的数值根据现场实际情况进行调整,单击预览并提交
    注意:如果文件不存在,需要逐级新建,包括目录。
  4. 确认修改的内容符合预期,则单击提交
批量使用模板
  1. 在pangu服务的详情页面中,单击更多>批量使用模板,进入批量应用模板升级页面。
  2. 找到要添加的集群,单击选择。通过预览功能可以确认该模板是否为前面步骤所修改的内容。
    • 调整pangu_master日志轮转策略。单击右侧预览,查看usr/pangu_master/conf/apsara_log_conf.json文件,确认该模板内容修改正确,如有异常,请联系阿里云技术支持,配置总览如下。

      配置对比如下。
    • 调整pangu_chunkserver日志轮转策略。查看usr/pangu_chunkserver/conf/apsara_log_conf.json文件,确认该模板内容修改正确,如有异常,请联系阿里云技术支持,配置总览如下。

      配置对比如下。
  3. 然后单击确认,进入操作确认页面,在请输入"BATCH"来确认操作框中填写BATCH,单击确认升级,等待Rolling完成。

3.2.3. 手动删除旧日志

以上操作只是调整日志文件的保存数量,也就是调整了Rolling生效后新产生日志文件的数量上限,之前产生的日志文件不会自动删除,联系阿里云技术支持,需手动清理日志文件,需要清理多少日志文件,以实际环境为准。

说明:本文的日志目录仅供参考,实际路径以实际环境为准。

删除pangu_master日志文件

登录问题pangu_master机器,切换至admin用户,参考以下命令,进入指定目录并清理日志文件。

cd /apsara/pangu_master/log/
for i in `seq 100 999`;do rm -f  pangu_master.LOG.${i};done
删除pangu_chunkserver日志文件

登录问题pangu_chunkserver机器,切换至admin用户,参考以下命令,进入指定目录并清理日志文件。

cd /apsara/pangu_chunkserver/log/
for i in `seq 50 999`;do rm -f rpc_service.LOG.${i};done
for i in `seq 100 999`;do rm -f pangu_chunkserver.LOG.${i};done
for i in `seq 50 999`;do rm -f record_operation.LOG.${i};done

3.3. 结果验证

pangu_master日志文件

在天基控制台的集群配置页面,选择pangu>user>pangu_master>conf>apsara_log_conf.json,确认MaxLogFileNum的值符合预期。

pangu_chunkserver日志文件

参见pangu_master日志文件步骤,在集群配置页面,选择pangu>user>pangu_chunkserver>conf>apsara_log_conf.json,确认MaxLogFileNum的值符合预期。

4. 回滚方案

  • 对于专有云3.3之前版本,请参考实施步骤,将备份的文件恢复后,重新提交并Rolling。

  • 对于专有云3.3及之后版本,请参考实施步骤,将MaxLogFileNum的值改为修改之前的值,重新提交并Rolling。

5. 补充说明

文件目录结构介绍

根据现场实际情况调整pangu_master和pangu_chunkserver的日志轮转。变更过程中发现没有conf/apsara_log_conf.json目录结构,则需要逐级新建。

  • 如需调整pangu_master的日志轮转
    • 天基控制台中,目录结构如下:
      Service/pangu/user/pangu_master/conf/apsara_log_conf.json
      系统显示类似如下。
    • pangu_master的VM中apsara_log_conf.json文件路径如下:
      说明:新创建的user/pangu_master/conf/apsara_log_conf.json文件没有日志轮转策略,需要到该集群任意的pangu_master节点获取apsara_log_conf.json文件并复制其内容。
      /apsara/pangu_master/apsara_log_conf.json
  • 如需调整pangu_chunkserver的日志轮转
    • 天基控制台中,目录结构如下:
      Service/pangu/user/pangu_chunkserver/conf/apsara_log_conf.json
      系统显示类似如下。
    • pangu_chunkserver节点apsara_log_conf.json文件路径如下:
      说明:新创建的user/pangu_chunkserver/conf/apsara_log_conf.json文件没有日志轮转策略,需要到该集群任意的pangu_chunkserver节点获取apsara_log_conf.json文件并复制其内容。
      /apsara/pangu_chunkserver/apsara_log_conf.json

如何新建目录及文件

  1. 在编辑服务模板页面,单击pangu_chunkserver右侧的新增文件,先创建conf文件夹,单击提交
  2. 单击conf文件夹右侧的新增文件,创建apsara_log_conf.json文件,单击提交