接入Kafka监控数据

步骤1：创建Logtail采集配置

1. 登录日志服务控制台。
2. 在接入数据区域，选择Kafka监控。
3. 在选择日志空间页签中，选择目标Project和MetricStore，单击下一步。
   您也可以单击立即创建，重新创建Project和MetricStore。更多信息，请参见创建Project和创建MetricStore。
4. 在创建机器组页签中，创建机器组。
   • 如果您已有可用的机器组，请单击使用现有机器组。
   • 如果您还没有可用的机器组，请执行以下操作（以ECS为例）：
     1. 选择ECS实例安装Logtail。更多信息，请参见安装Logtail（ECS实例）。
        如果已在ECS上安装Logtail，请单击确认安装完毕。

        说明 如果是自建集群、其他云厂商服务器，需要手动安装Logtail。更多信息，请参见安装Logtail（Linux系统）。
     2. 安装完成后，单击确认安装完毕。
     3. 创建机器组。

        如何创建机器组，请参见创建IP地址机器组或创建用户自定义标识机器组。

5. 选中目标机器组，将该机器组从源机器组移动到应用机器组，单击下一步。
   注意 如果创建机器组后立刻应用，可能因为连接未生效，导致心跳为FAIL，您可单击自动重试。如果还未解决，请参见Logtail机器组无心跳进行排查。
6. 在数据源设置页签中，配置如下参数。

   参数名称	说明
   配置名称	Logtail配置名称。
   集群名称	Kafka集群名称。配置该参数后，日志服务会为您的数据添加cluster=集群名称的标签。 说明 请确保该集群名称唯一，否则可能出现数据冲突。
   服务器列表	单击+，添加Kafka服务器信息。 地址：Kafka服务器的连接地址。 端口：Kafka服务器的端口号，您可自定义配置，但要与步骤2：配置JavaAgent中配置的端口号一致。 您可以根据业务需求，添加多台Kafka服务器信息。
   自定义标签	一个MetricStore下可创建多个Logtail配置，您可以使用自定义标签为通过该Logtail配置采集到的数据添加标签。 单击+，添加自定义标签，支持添加多个标签。添加的标签将加入到每一条数据中。

步骤2：配置JavaAgent

完成Logtail采集配置后，您还需要将JMX协议转换为HTTP协议。日志服务支持使用Jolokia将JMX协议转换为HTTP协议。您可以按照Jolokia官方文档下载及加载Jolokia，也可以使用日志服务Logtail自带的Jolokia JavaAgent。Logtail自带的Jolokia JavaAgent位于/etc/logtail/telegraf/javaagent/jolokia-jvm.jar中。

-javaagent:/tmp/jolokia-jvm.jar=port=7777,host=0.0.0.0

java -jar /etc/ilogtail/telegraf/javaagent/jolokia-jvm.jar --port 7777 start 进程PID

Jolokia is already attached to PID 752
http://127.0.0.1:7777/jolokia/

curl http://127.0.0.1:7777/jolokia/
# 返回参考
{"request":{"type":"version"},"value":{"agent":"1.6.2","protocol":"7.2","config":{"listenForHttpService":"true","maxCollectionSize":"0","authIgnoreCerts":"false","agentId":"30.43.124.186-752-5b091b5d-jvm","debug":"false","agentType":"jvm","policyLocation":"classpath:\/jolokia-access.xml","agentContext":"\/jolokia","serializeException":"false","mimeType":"text\/plain","maxDepth":"15","authMode":"basic","authMatch":"any","discoveryEnabled":"true","streaming":"true","canonicalNaming":"true","historyMaxEntries":"10","allowErrorDetails":"true","allowDnsReverseLookup":"true","realm":"jolokia","includeStackTrace":"true","maxObjects":"0","useRestrictorService":"false","debugMaxEntries":"100"},"info":{"product":"tomcat","vendor":"Apache","version":"8.5.57"}},"timestamp":1602663330,"status":200}⏎

常见问题

如何查看Telegraf采集是否正常？

您可以在服务器上查看/etc/ilogtail/telegraf/telegraf.log文件中记录的日志进行判断，还可以将该日志采集到日志服务中进行查询。