本文档为您介绍如何创建Logstash采集配置。

背景信息

相关插件

  • logstash-input-file
    该插件通过tail方式收集日志文件，详细信息请参考 logstash-input-file。
    说明 path 填写文件路径时请使用UNIX 模式的分隔符，如：C:/test/multiline/*.log，否则无法支持模糊匹配。
  • logstash-output-logservice
    通过该插件可以将 input 插件采集的日志写出到日志服务。
    参数 说明
    endpoint 日志服务入口。如 http://regionid.example.com。
    project 日志服务项目名称。
    logstore 日志库名称。
    topic 日志主题名称，默认设置空即可。
    source 日志来源，如为空则自动取本机 IP，否则以设置值为准。
    access_key_id 阿里云云账号密钥 ID。
    access_key_secret 阿里云云账号密钥 secret。
    max_send_retry 数据包发送到日志服务时发生异常的最大重试次数，重试不成功的数据包则被丢弃，重试间隔为 200 毫秒。

操作步骤

  1. 创建采集配置。
    新增配置文件到 C:\logstash-2.2.2-win\conf\ 目录后，重启Logstash生效。

    可以为每种日志新建一个配置文件，格式为 *.conf。建议统一保存于 C:\logstash-2.2.2-win\conf\ 目录下，以方便管理。

    说明 配置文件格式必须以 UTF-8 无 BOM 格式编码，可以通过 notepad++ 修改文件编码格式。
  2. 验证配置语法。
    1. 执行PowerShell 或 cmd.exe，进入Logstash安装目录。执行以下命令验证配置。 
      PS C:\logstash-2.2.2-win\bin> .\logstash.bat agent --configtest --config C:\logstash-2.2.2-win\conf\iis_log.conf
    2. 修改收集配置文件，在 output 阶段临时添加一行 rubydebug 配置以输出采集结果到控制台。配置中 type 字段请自行设置。 
      output {
if [type] == "***" {
  stdout { codec => rubydebug }
  logservice {
  ...
  }
 }
}
    3. 执行PowerShell或cmd.exe，进入Logstash安装目录启动进程。执行以下命令。 
      PS C:\logstash-2.2.2-win\bin> .\logstash.bat agent -f C:\logstash-2.2.2-win\conf
    验证完成后，请结束 logstash.bat进程并删除 rubydebug 临时配置项。

后续步骤

在PowerShell下启动 logstash.bat，logstash进程会在前台工作，一般用于配置测试和采集调试。建议调试通过后把 Logstash 设置为Windows Service，可以保持后台运行以及开机自启动。有关如何将Logstash设置为Windows Service，参见 配置 Logstash 为 Windows Service。