阿里云Elasticsearch提供开源 Elasticsearch 5.5.3版本,及商业版 x-pack 插件服务,致力于数据分析、数据搜索等场景服务。在开源 Elasticsearch 基础上提供企业级权限管控、安全监控告警、自动报表生成等功能。

Monitoring日志配置

日志采集

默认情况下 x-pack 监控客户端,会每隔10s采集集群的监控信息到您购买实例的以.monitoring-*为前缀的索引中。

目前主要有.monitoring-es-6-*.monitoring-kibana-6-*这两种索引,以天为单位滚动创建。采集完的信息会保存在以.monitoring-es-6-为前缀,加当前日期为后缀的索引中。

其中.monitoring-es-6-*索引相对占用磁盘空间较大,主要存放了集群状态、集群统计、节点统计、索引统计等信息。

显示系统索引

可在Kibana页面中,选中Show system indices查看对应监控索引,占用空间大小。



日志保留设置

默认保留最近7天的监控索引,此类.monitoring-es-6-*索引会占用您购买的阿里云ES实例存储空间。索引的大小跟您集群中索引个数(包含系统索引)节点个数有关系。为了避免您购买的实例大部分空间被监控索引所占用,可通过以下两种方案优化。

  1. 可通过以下 API 设置监控索引保留天数。
    PUT _cluster/settings
    {"persistent": {"xpack.monitoring.history.duration":"1d"}}
    # 需要保留的天数按照您的需求而定,最少保留一天。
  2. 设置需要采集监控的索引。

    可以通过 API 设置,哪些索引需要监控及哪些索引不需要监控。以减少 .monitoring-es-6-*索引占用磁盘空间,本文以禁掉采集系统索引为例。
    PUT _cluster/settings
    {"persistent": {"xpack.monitoring.collection.indices": "*,-.*"}}
    # 禁掉的索引监控信息将不会在Kibana页面中Montioring模块中看到,比如在索引列表及索引监控信息页面,都看不到禁掉的索引信息。就会出现_cat/indices获取的索引列表,跟在Kibana页面中Montioring模块中看到的索引列表不同的情况。
说明 实际使用中,您可以参考以上2种方案结合使用,以节省您购买的磁盘空间。