配置Monitoring监控日志

通过配置Monitoring监控日志,您可以查看阿里云Elasticsearch实例的监控日志并配置监控索引,避免因监控日志占用空间过大而影响实例的正常使用。本文介绍如何配置Monitoring监控日志。

背景信息

默认情况下,X-Pack监控客户端会每隔10s采集一次集群的监控信息,并保存到对应阿里云Elasticsearch实例的以.monitoring-*为前缀的索引中。目前主要有.monitoring-es-6-*.monitoring-kibana-6-*这两种索引,以天为单位滚动创建。采集完的信息会保存在以.monitoring-es-6-为前缀,以当前日期为后缀的索引中。

其中.monitoring-es-6-*索引占用磁盘空间较大,主要存放了集群状态、集群统计、节点统计、索引统计等信息。

前提条件

已创建阿里云Elasticsearch实例,具体操作请参见创建阿里云Elasticsearch实例。本文以通用商业版6.7版本为例。

操作步骤

  1. 登录目标阿里云Elasticsearch实例的Kibana控制台,根据页面提示进入Kibana主页。
    登录Kibana控制台的具体操作,请参见登录Kibana控制台
    说明 本文以阿里云Elasticsearch 6.7.0版本为例,其他版本操作可能略有差别,请以实际界面为准。
  2. 在左侧导航栏,单击Monitoring

  3. Elasticsearch区域,单击Indices

    indices入口

  4. Indices页签,开启System indices,查看监控索引所占的空间大小。

    查看监控索引信息

  5. 在左侧导航栏,单击Dev Tools

  6. Console中,执行以下命令配置监控索引。

    Elasticsearch自动生产的系统监控索引(.monitoring-es-*) 默认保留近7天的监控数据,且索引创建时间为北京时间早上8点整。系统监控索引的大小与实例中的索引个数(包含系统索引)和节点个数有关,会占用阿里云Elasticsearch实例的存储空间。为了避免实例的大部分空间被监控索引占用,可通过以下两种方式进行优化(实际使用中,可以将以上两种方案结合使用):

    • 设置监控索引的保留天数。

      PUT _cluster/settings
      {"persistent": {"xpack.monitoring.history.duration":"1d"}}

      您可以按照需求自定义监控索引的保留天数,最少保留一天。

    • 设置需要采集的监控索引。

      通过调用API设置哪些索引需要监控以及哪些索引不需要监控,以减少.monitoring-es-6-*索引所占用的磁盘空间。以下命令以禁掉采集系统索引为例。

      PUT _cluster/settings
      {"persistent": {"xpack.monitoring.collection.indices": "*,-.*"}}
      说明

      禁掉的索引监控信息将不会在Kibana控制台的Monitoring页面(索引列表及索引监控信息页面)中显示。但是会在GET _cat/indices获取的索引列表中显示,并且可查看索引的状态是open还是close。