创建 Logstash 采集配置_使用 Logstash 采集日志_数据采集_用户指南

相关插件

logstash-input-file

通过该插件tail方式收集日志文件，详细信息请参考 logstash-input-file。

注意：path 填写文件路径时请使用 UNIX 模式的分隔符，如：C:/test/multiline/*.log，否则无法支持模糊匹配。

logstash-output-logservice

通过该插件可以 input 插件采集的日志写出到日志服务。

参数	说明
endpoint	如 `http://cn-shenzhen.log.aliyuncs.com`，参考：日志服务入口
project	日志服务项目名称
logstore	日志库名称
topic	日志主题名称，默认设置空即可
source	日志来源，如为空则自动取本机 IP，否则以设置值为准
access_key_id	阿里云云账号秘钥 ID
access_key_secret	阿里云云账号秘钥 secret
max_send_retry	数据包发送日志服务发生异常时最大重试次数，重试不成功的数据包丢弃，重试间隔为 200 毫秒

配置步骤

1 创建采集配置

新增配置文件到 C:\logstash-2.2.2-win\conf\ 目录后，重启Logstash生效。

可以为每种日志新建一个配置文件，格式为 *.conf。建议统一保存于 C:\logstash-2.2.2-win\conf\ 目录下，以方便管理。

注意：配置文件格式必须以 UTF-8 无 BOM 格式编码，可以通过 notepad++ 修改文件编码格式。

IIS 日志

请参考 IIS 日志配置。
CSV 日志

使用采集日志的系统时间作为上传日志时间，请参考 CSV 日志配置。
自带时间日志

以CSV日志格式为例，以日志内容中的时间作为上传日志时间，请参考 CSV 日志配置。
通用日志

默认使用采集日志的系统时间作为上传的日志时间，日志不解析字段，支持单行、多行日志格式。请参考通用日志配置。

2 验证配置语法

执行 PowerShell 或 cmd.exe，进入Logstash安装目录：

PS C:\logstash-2.2.2-win\bin> .\logstash.bat agent --configtest --config C:\logstash-2.2.2-win\conf\iis_log.conf

修改收集配置文件，在 output 阶段临时添加一行 rubydebug 配置以输出采集结果到 Console。配置中 type 字段请自行设置。

output {
if [type] == "***" {
  stdout { codec => rubydebug }
  logservice {
    ...
    }
  }
}

执行 PowerShell 或 cmd.exe，进入Logstash安装目录启动进程：

PS C:\logstash-2.2.2-win\bin> .\logstash.bat agent -f C:\logstash-2.2.2-win\conf

验证完成后，请结束 logstash.bat 进程并删除 rubydebug 临时配置项。

后续操作

在 PowerShell 下启动 logstash.bat，logstash 进程会在前台工作，一般用于配置测试和采集调试。建议调试通过后把Logstash设置为 Windows Service，可以保持后台运行以及开机自启动。有关如何将Logstash设置为 Windows Service，参见配置 Logstash 为 Windows Service。