您可使用Telegraf采集Elasticsearch监控数据,再通过日志服务Logtail将Telegraf数据上传到MetricStore中,搭建Elasticsearch可视化监控方案。本文介绍如何通过日志服务来完成Elasticsearch监控数据的采集和可视化。
前提条件
Telegraf所在的服务器可通过内网连接Elasticsearch服务器。
已创建Project和MetricStore。具体操作,请参见创建项目Project和创建MetricStore。
使用限制
只有Linux Logtail 0.16.48及以上版本的Logtail支持采集Elasticsearch监控数据。如果您已在服务器上安装旧版本的Logtail,需先升级。具体操作,请参见安装Logtail(Linux系统)。
操作步骤
登录日志服务控制台。
在接入数据区域的监控数据页签下,选择Elasticsearch监控。
选择目标Project和MetricStore,单击下一步。
在创建机器组页签中。
如果已有可用的机器组,请单击使用现有机器组。
如果您还没有可用的机器组,请执行以下操作(以ECS为例)。
在ECS机器页签中,通过手动选择实例方式选择目标ECS实例,单击创建。
具体操作,请参见安装Logtail(ECS实例)。
重要如果您的服务器是与日志服务属于不同账号的ECS、其他云厂商的服务器和自建IDC时,您需要手动安装Logtail。具体操作,请参见安装Logtail(Linux系统)。手动安装Logtail后,您必须在该服务器上手动配置用户标识。具体操作,请参见配置用户标识。
安装完成后,单击确认安装完毕。
在创建机器组页面,输入名称,单击下一步。
日志服务支持创建IP地址机器组和用户自定义标识机器组,详细参数说明请参见创建IP地址机器组和创建用户自定义标识机器组。
确认目标机器组已在应用机器组区域,单击下一步。
重要创建机器组后立刻应用,可能因为连接未生效,导致心跳为FAIL,您可单击自动重试。如果还未解决,请参见Logtail机器组无心跳进行排查。
在数据源设置页签中,配置如下参数。
参数名称
说明
配置名称
自定义设置Logtail采集配置名称。
集群名称
自定义设置Elasticsearch集群的名称。
设置该参数后,日志服务会为通过该Logtail采集配置采集到的Elasticsearch监控数据添加
cluster=集群名称
的标签。重要请确保该集群名称唯一,否则可能出现数据冲突。
服务器列表
添加Elasticsearch的信息,具体配置项如下:
地址:Elasticsearch的地址,可以为服务器的IP地址、主机名或域名。
端口:Elasticsearch的端口号,默认为9200。
您可以根据业务需求,添加多台Elasticsearch的信息。
是否需要密码
当目标Elasticsearch被设置了鉴权时,此处需要输入Elasticsearch的账户和密码。
索引名称
添加Elasticsearch的索引名称。配置为_all,表示采集Elasticsearch中所有索引的指标数据。
自定义标签
为采集到的Elasticsearch监控数据添加自定义标签,该标签为键值对形式。
设置该参数后,日志服务会为通过该Logtail采集配置采集到的Elasticsearch监控数据添加标签。
自定义Telegraf配置
日志服务基于开源指标采集工具Telegraf采集Elasticsearch监控数据,如果上述默认参数不满足您的采集需求,您可以使用自定义Telegraf配置功能,进行个性化配置。相关的配置示例,请参见Configuration。
支持采集的指标列表,请参见Metrics。
常见问题
如何查看Telegraf采集是否正常?
您可以在服务器上查看/etc/ilogtail/telegraf/telegraf.log文件中记录的日志进行判断,还可以将该日志采集到日志服务中进行查询。
后续步骤
查询和分析
配置完成后,Telegraf将采集到的监控数据通过Logtail上传到日志服务MetricStore中,您可以在MetricStore中进行查询和分析操作。具体操作,请参见查询和分析时序数据。
可视化
配置完成后,日志服务自动在对应Project中生成名为Elasticsearch监控_集群名称的仪表盘,您可以直接使用该仪表盘,还可以进行告警设置等操作。