采集Syslog

简介

在Linux服务器中，您可以通过rsyslog等syslog agent将本地的syslog数据转发到指定服务器IP地址和端口上。为指定服务器添加Logtail配置后，Logtail会以TCP协议或UDP协议接收转发过来的syslog数据，并根据指定的syslog协议进行解析，提取日志中的facility、tag（program）、severity、content等字段。syslog协议支持RFC3164和RFC5424。

实现原理

操作步骤

1. 登录日志服务控制台。

2. 在接入数据区域，选择自定义数据插件。

3. 选择目标Project和Logstore，单击下一步。

4. 创建机器组。

   • 如果您已有可用的机器组，请单击使用现有机器组。

   • 如果您还没有可用的机器组，请执行以下操作（以ECS为例）。

     1. 在ECS机器页签中，通过手动选择实例方式选择目标ECS实例，单击创建。

        具体操作，请参见安装Logtail（ECS实例）。

        重要

        如果您的服务器是与日志服务属于不同账号的ECS、其他云厂商的服务器和自建IDC时，您需要手动安装Logtail。具体操作，请参见安装Logtail（Linux系统）或安装Logtail（Windows系统）。手动安装Logtail后，您必须在该服务器上手动配置用户标识。具体操作，请参见配置用户标识。

     2. 确认参数配置无误后，单击确定。

     3. 安装完成后，单击确认安装完毕。

     4. 在创建机器组页面，输入名称，单击下一步。

        日志服务支持创建IP地址机器组和用户自定义标识机器组，详细参数说明请参见创建IP地址机器组和创建用户自定义标识机器组。

5. 确认目标机器组已在应用机器组区域，单击下一步。

   重要

   创建机器组后立刻应用，可能因为连接未生效，导致心跳为FAIL，您可单击自动重试。如果还未解决，请参见Logtail机器组无心跳进行排查。

6. 在数据源设置页签中，设置配置名称和插件配置，然后单击下一步。

   同时监听UDP和TCP的示例配置如下：

   {
        "inputs": [
            {
                "type": "service_syslog",
                "detail": {
                    "Address": "tcp://0.0.0.0:9000",
                    "ParseProtocol": "rfc3164"
                }
            },
            {
                "type": "service_syslog",
                "detail": {
                    "Address": "udp://0.0.0.0:9001",
                    "ParseProtocol": "rfc3164"
                }
            }
        ]
    }

   参数	类型	是否必选	说明
   type	string	是	数据源类型，固定为service_syslog。
   Address	string	否	指定Logtail监听的协议、地址和端口，Logtail会根据Logtail配置进行监听并获取日志数据。格式为[tcp/udp]://[ip]:[port]。不配置时，默认为tcp://127.0.0.1:9999，即表示（只能接收本地转发的日志。 说明 Logtail配置中设置的监听协议、地址和端口号必须与rsyslog配置文件设置的转发规则相同。 如果安装Logtail的服务器有多个IP地址可接收日志，可以将地址配置为0.0.0.0，表示监听服务器的所有IP地址。
   ParseProtocol	string	否	指定解析日志所使用的协议，默认为空，表示不解析。其中： 空：不解析。 rfc3164：指定使用RFC3164协议解析日志。 rfc5424：指定使用RFC5424协议解析日志。 auto：指定Logtail根据日志内容自动选择合适的解析协议。
   IgnoreParseFailure	boolean	否	指定解析失败后的操作，不配置时，默认为true，表示放弃解析，直接填充所返回的content字段。配置为false ，表示解析失败时丢弃日志。

7. 预览数据及创建索引，然后单击下一步。
   日志服务默认开启全文索引。您也可以根据采集到的日志，手动创建字段索引，或者单击自动生成索引，日志服务将自动生成字段索引。更多信息，请参见创建索引。

   重要 如果您要查询和分析日志，那么全文索引和字段索引必须至少启用一种。同时启用时，以字段索引为准。
8. 单击查询日志，系统将跳转至Logstore查询分析页面。
   您需要等待1分钟左右，待索引生效后，才能在原始日志页签中，查看已采集到的日志。更多信息，请参见查询和分析日志。

问题排查

使用Logtail采集数据后，如果预览页面或查询页面无数据，您可以使用logger命令向本地Logtail发送数据，用于判断是写入端问题、网络问题还是Logtail端问题。

如果本地Logtail能接收到数据，则可能是写入端问题或网络问题。

logger -n localhost -P 9000 -T "This is a TCP syslog message"
logger -n localhost -P 9001 -d "This is a UDP syslog message"

此外，您还可以参见Logtail采集日志失败的排查思路进行排查。

日志样例

Syslog样例如下所示。