通过企业监控大盘实现本地日志监控

云监控插件将本地日志根据配置解析成具体的监控指标后,将其上报到云监控的指标仓库,并以图表形式展示。之后您还可以通过企业云监控提供的监控大盘(简称企业监控大盘)创建多样化的监控图表,并设置Prometheus报警,接收报警通知。

前提条件

背景信息

通过企业监控大盘实现本地日志监控的流程如下图所示。通过企业监控大盘实现本地日志监控流程图

步骤一:在输出本地日志的主机上安装云监控插件

您可以通过手动安装和自动安装两种方式在输出本地日志的主机上安装云监控插件。

手动安装云监控插件

当您需要通过云监控的本地日志监控功能监控多台主机时,如果主机自动安装云监控插件失败或主机不能访问公网,则需要您手动为主机安装云监控插件。然后创建应用分组,并将主机加入该应用分组,对主机进行统一管理。

  1. 为输出本地日志的主机手动安装云监控插件。

    您安装的云监控插件版本必须大于或等于3.5.5,推荐您安装最新版本的云监控插件。具体操作,请参见脚本安装

  2. 查看输出本地日志主机的云监控插件的安装结果。

    在左侧导航栏,选择云资源监控 > 主机监控,您可以查看目标主机的插件版本和插件状态。

  3. 为输出本地日志的主机创建应用分组。

    1. 在左侧导航栏,选择云资源监控 > 应用分组

    2. 应用分组页签,单击左上角的创建应用分组

    3. 创建应用分组面板,选择创建实例方法手动创建,输入应用分组名称,关闭初始化安装监控插件开关,选择报警联系人组

    4. 单击确定

  4. 将输出本地日志的主机加入应用分组。

    1. 在目标应用分组的组内资源页面,单击管理产品和资源

    2. 添加/修改组资源面板,选择目标应用分组关联的云产品及其实例。

    3. 单击确定

      在目标应用分组的组内资源页面,您可以查看添加的云产品及其实例信息。

自动安装云监控插件

当您需要通过云监控的本地日志监控功能监控多台主机时,您可以通过创建应用分组,并将主机加入该应用分组,实现主机自动安装云监控插件,对主机进行自动化管理。

说明

通过应用分组自动安装的云监控插件均为最新版本。

  1. 为输出本地日志的主机创建应用分组。

    1. 登录云监控控制台

    2. 在左侧导航栏,选择云资源监控 > 应用分组

    3. 应用分组页签,单击左上角的创建应用分组

    4. 创建应用分组面板,选择创建实例方法手动创建,输入应用分组名称,打开初始化安装监控插件开关,选择报警联系人组

    5. 单击确定

  2. 将输出本地日志的主机加入应用分组。

    1. 在目标应用分组的组内资源页面,单击管理产品和资源

    2. 添加/修改组资源面板,选择目标应用分组关联的云产品及其实例。

    3. 单击确定

      在目标应用分组的组内资源页面,您可以查看添加的云产品及其实例信息。

  3. 查看输出本地日志主机的云监控插件的安装结果。

    选择云资源监控 > 主机监控,您可以查看目标主机的插件版本和插件状态。

步骤二:创建本地日志的数据接入任务

通过创建本地日志的数据接入任务,云监控插件将本地日志根据配置解析为具体的监控指标后,将其上报到云监控的指标仓库,并以图表形式进行展示。

  1. 在左侧导航栏,选择企业云监控 > 业务监控

  2. 单击本地日志监控页签。

  3. 单击左上角的接入数据

  4. 本地日志监控页签,设置本地日志的相关参数。

    • 任务名:根据提示输入本地日志的数据接入任务名称。

    • 应用分组:选择步骤一中新建的应用分组。

    • 主机:主机中实例名称的匹配规则为默认值全部

    • 日志路径:本地日志保存的路径。

      • Windows:仅支持盘符开头,例如:C:\UserData\logs\pre.cms.console.aliyun.com.@FUNC__DateFormat__YYYY-MM-DD@.log(不支持通配路径)。

      • Linux:仅支持以“/”开头,例如:/home/logs/pre.cms.console.aliyun.com.@FUNC__DateFormat__YYYY-MM-DD@.log

      说明

      pre.cms.console.aliyun.com.YYYY-MM-DD.log是目标日志文件。如果您需要排除错误日志文件error.log,则使用@FUNC__DateFormat__YYYY-MM-DD@过滤出日志名称中包含日期的日志文件。

    • 日志解析:本地日志解析为具体的监控指标。解析模式如下:

      • 完整正则模式

        1. 示例日志中输入日志。

        2. 先单击确定输入,然后单击生成正则示例日志

        3. 日志抽取结果区域,单击目标Key对应的列值翻译日志抽取结果

        4. 输入列名翻译值,单击确定

          将解析出来的监控指标值更换为另外一个值进行展示。翻译值

      • 分隔符模式

        1. 示例日志中输入日志。

        2. 先单击确定输入,然后单击增加列

        3. 先输入列名,再在示例日志中选中待解析的字段,系统自动计算出列值采样提取规则,然后设置翻译值,单击确定

          将解析出来的监控指标值更换为另外一个值进行展示。

      • JSON模式

        1. 示例日志中输入JSON格式的日志。

        2. 单击确定输入

        3. 日志抽取结果区域,单击目标字段名称对应的列值翻译

        4. 输入翻译值,单击确定

          将解析出来的监控指标值更换为另外一个值进行展示。

    • 监控项设置:对日志中解析出来的监控项进行统计和计算,通过监控图表进行展示。监控项

    • 数据存入指标仓库:选择本地日志数据存入的指标仓库。

    • 标签:对监控指标进行分类。

  5. 单击确定

步骤三:查看本地日志数据的监控图表

您可以查看本地日志数据中指定监控指标的监控图表。

  1. 本地日志监控页签,单击目标任务对应操作列的查看数据

  2. 查看数据页面,选择监控指标。

步骤四:为本地日志数据自定义监控图表

您可以通过企业监控大盘为本地日志数据中的监控指标创建监控大盘,并自定义监控图表。

  1. 在左侧导航栏,选择企业云监控 > 监控大盘

  2. 监控大盘页签,单击查看大盘

  3. 在监控大盘的左侧导航栏,先单击image.png图标,再单击Add an empty panel

  4. Edit Panel页面,设置监控指标和监控图表。

    • Query页签,先选择目标指标仓库,再选择监控指标。

    • 在右上方的Panel页签,设置监控图表的名称、类型、展示样式等。

  5. Edit Panel页面,单击右上角的Apply

    创建监控图表成功。

  6. 单击右上角的保存监控大盘图标,设置监控大盘的名称和归属目录。

  7. 单击Save

    创建监控大盘成功。

  8. 在监控大盘的左侧导航栏,选择Dashboard > Manage,单击目标监控大盘的名称,查看监控大盘。

步骤五:为本地日志数据设置报警规则

您可以为本地日志数据的监控指标设置报警规则,当其达到报警条件时,您会收到报警通知。

  1. 在左侧导航栏,选择企业云监控 > 指标仓库

  2. 指标仓库页签,单击左上角的创建报警

  3. 创建报警规则面板,输入规则名称,选择报警规则作用的指标仓库,设置报警表达式,选择报警联系人组

  4. 单击确定