您可使用Telegraf采集Kafka监控数据,再通过日志服务Logtail将Telegraf数据上传到MetricStore中,搭建Kafka可视化监控方案。本文介绍如何通过日志服务来完成Kafka监控数据的采集和可视化。
前提条件
- 已在服务器上安装Linux Logtail 0.16.48或以上版本。更多信息,请参见安装Logtail(Linux系统)。
- 已在服务器上安装Java 1.6或以上版本 。
步骤1:创建Logtail采集配置
步骤2:配置JavaAgent
完成Logtail采集配置后,您还需要将JMX协议转换为HTTP协议。日志服务支持使用Jolokia将JMX协议转换为HTTP协议。您可以按照Jolokia官方文档下载及加载Jolokia,也可以使用日志服务Logtail自带的Jolokia JavaAgent。Logtail自带的Jolokia
JavaAgent位于/etc/logtail/telegraf/javaagent/jolokia-jvm.jar
中。
您需要在kafka所在机器上设置
KAFKA_JVM_PERFORMANCE_OPTS
环境变量,例如export KAFKA_JVM_PERFORMANCE_OPTS=-javaagent:/etc/logtail/telegraf/javaagent/jolokia-jvm.jar=port=7777
,其中7777为服务器的端口号,与步骤1:创建Logtail采集配置中配置的端口号保持一致。
说明 默认Jolokia JavaAgent只在127.0.0.1上监听,即只允许本机请求。如果您的Logtail和被监控的应用不在相同的机器上,您可以在添加的脚本中补充host=字段,使其可监听其他IP地址。如果设置为host=0.0.0.0,则表示监听所有IP地址。相关命令如下所示:
-javaagent:/tmp/jolokia-jvm.jar=port=7777,host=0.0.0.0
设置完成后,需重启应用。如果您暂时无法重启应用,可使用如下命令将Jolokia JavaAgent连接到指定的Java进程,实现实时生效。其中进程PID请根据实际值替换。
说明 该操作仅用于测试,请确保按照上述操作完成配置,否则重启后将失效。
java -jar /etc/ilogtail/telegraf/javaagent/jolokia-jvm.jar --port 7777 start 进程PID
如果返回如下信息则表示连接成功。
Jolokia is already attached to PID 752
http://127.0.0.1:7777/jolokia/
连接成功后,您可以访问该URL,验证连接是否正常。
curl http://127.0.0.1:7777/jolokia/
# 返回参考
{"request":{"type":"version"},"value":{"agent":"1.6.2","protocol":"7.2","config":{"listenForHttpService":"true","maxCollectionSize":"0","authIgnoreCerts":"false","agentId":"30.43.124.186-752-5b091b5d-jvm","debug":"false","agentType":"jvm","policyLocation":"classpath:\/jolokia-access.xml","agentContext":"\/jolokia","serializeException":"false","mimeType":"text\/plain","maxDepth":"15","authMode":"basic","authMatch":"any","discoveryEnabled":"true","streaming":"true","canonicalNaming":"true","historyMaxEntries":"10","allowErrorDetails":"true","allowDnsReverseLookup":"true","realm":"jolokia","includeStackTrace":"true","maxObjects":"0","useRestrictorService":"false","debugMaxEntries":"100"},"info":{"product":"tomcat","vendor":"Apache","version":"8.5.57"}},"timestamp":1602663330,"status":200}⏎
常见问题
如何查看Telegraf采集是否正常?
您可以在服务器上查看/etc/ilogtail/telegraf/telegraf.log文件中记录的日志进行判断,还可以将该日志采集到日志服务中进行查询。
后续步骤
- 查询分析
配置完成后,Telegraf将采集到的监控数据通过Logtail上传到日志服务MetricStore中。您可以在MetricStore查询分析页面进行查询分析操作,详情请参见查询分析时序数据。
- 可视化
配置完成后,日志服务自动在对应Project中生成名为kafka监控_集群名称的仪表盘,您可以直接使用该仪表盘,还可以进行告警设置等操作。
在文档使用中是否遇到以下问题
更多建议
匿名提交