全部产品
存储与CDN 数据库 安全 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网 钉钉智能硬件
日志服务

创建 Logstash 采集配置

更新时间:2017-07-06 19:31:44

相关插件

logstash-input-file

通过该插件tail方式收集日志文件,详细信息请参考 logstash-input-file

注意:path 填写文件路径时请使用 UNIX 模式的分隔符,如:C:/test/multiline/*.log,否则无法支持模糊匹配。

logstash-output-logservice

通过该插件可以 input 插件采集的日志写出到日志服务。

参数 说明
endpoint http://cn-shenzhen.log.aliyuncs.com, 参考:日志服务入口
project 日志服务项目名称
logstore 日志库名称
topic 日志主题名称,默认设置空即可
source 日志来源,如为空则自动取本机 IP,否则以设置值为准
access_key_id 阿里云云账号秘钥 ID
access_key_secret 阿里云云账号秘钥 secret
max_send_retry 数据包发送日志服务发生异常时最大重试次数,重试不成功的数据包丢弃,重试间隔为 200 毫秒

配置步骤

1 创建采集配置

新增配置文件到 C:\logstash-2.2.2-win\conf\ 目录后,重启Logstash生效。

可以为每种日志新建一个配置文件,格式为 *.conf。建议统一保存于 C:\logstash-2.2.2-win\conf\ 目录下,以方便管理。

注意:配置文件格式必须以 UTF-8 无 BOM 格式编码,可以通过 notepad++ 修改文件编码格式。

  • IIS 日志

    请参考 IIS 日志配置

  • CSV 日志

    使用采集日志的系统时间作为上传日志时间,请参考 CSV 日志配置

  • 自带时间日志

    以CSV日志格式为例,以日志内容中的时间作为上传日志时间,请参考 CSV 日志配置

  • 通用日志

    默认使用采集日志的系统时间作为上传的日志时间,日志不解析字段,支持单行、多行日志格式。请参考 通用日志配置

2 验证配置语法

执行 PowerShellcmd.exe,进入Logstash安装目录:

  1. PS C:\logstash-2.2.2-win\bin> .\logstash.bat agent --configtest --config C:\logstash-2.2.2-win\conf\iis_log.conf

修改收集配置文件,在 output 阶段临时添加一行 rubydebug 配置以输出采集结果到 Console。配置中 type 字段请自行设置。

  1. output {
  2. if [type] == "***" {
  3. stdout { codec => rubydebug }
  4. logservice {
  5. ...
  6. }
  7. }
  8. }

执行 PowerShellcmd.exe,进入Logstash安装目录启动进程:

  1. PS C:\logstash-2.2.2-win\bin> .\logstash.bat agent -f C:\logstash-2.2.2-win\conf

验证完成后,请结束 logstash.bat 进程并删除 rubydebug 临时配置项。

后续操作

在 PowerShell 下启动 logstash.bat,logstash 进程会在前台工作,一般用于配置测试和采集调试。建议调试通过后把Logstash设置为 Windows Service,可以保持后台运行以及开机自启动。有关如何将Logstash设置为 Windows Service,参见 配置 Logstash 为 Windows Service

本文导读目录