Logstash配置文件说明

配置文件结构

# This is a comment. You should use comments to describe
# parts of your configuration.
input {
  ...
}

filter {
  ...
}

output {
  ...
}

每个配置部分，可以包含一个或多个插件。例如，指定多个filter插件，Logstash会按照它们在配置文件中出现的顺序，进行处理。

插件配置

input {
  file {
    path => "/var/log/messages"
    type => "syslog"
  }

  file {
    path => "/var/log/apache/access.log"
    type => "apache"
  }
}

插件支持的配置因插件类型而异，各插件详情请参见输入插件输出插件过滤器插件编解码器插件

值类型

配置插件时，您可以设置插件的值类型，例如布尔值、列表、哈希等。插件支持以下值类型。

数组

users => [ {id => 1, name => bob}, {id => 2, name => jane} ]

列表

path => [ "/var/log/messages", "/var/log/*.log" ]
uris => [ "http://elastic.co", "http://example.net" ]

以上示例，将path配置为一个列表，该列表中包含2个字符串。uris也为一个列表，如果所包含的URL无效，会导致事件处理失败。

布尔类型

ssl_enable => true

字节类型

 my_bytes => "1113"   # 1113 bytes
 my_bytes => "10MiB"  # 10485760 bytes
 my_bytes => "100kib" # 102400 bytes
 my_bytes => "180 mb" # 180000000 bytes

编解码器

编解码器是用于对数据进行编码，或者解码后的目标数据类型，在输入和输出插件中都可以使用。

输入编解码器，提供了在数据输入之前对其进行解码的功能。输出编解码器，提供了在数据输出之前对其进行编码的功能。使用输入或输出编解码器后，您不需要在Logstash管道中，单独使用过滤器。

您可以参考官方提供的编译解释器插件文档，查找可用的编解码器。

例如：

codec => "json"

哈希

哈希格式指定键值对的集合，例如"field1" => "value1"。

match => {
  "field1" => "value1"
  "field2" => "value2"
  ...
}
# or as a single line. No commas between entries:
match => { "field1" => "value1" "field2" => "value2" }

数值

必须是有效的数值（浮点数或整数）。

例如：

port => 33

密码

密码是一个没有记录或打印的单值字符串。

例如：

my_password => "password"

URL

URL可以是任何内容，从完整的URL到简单的标识符（如foobar）。如果URL中包含类似http://user:paas@example.net的密码，那么密码部分不会被记录或打印。

 my_uri => "http://foo:bar@example.net"

路径

路径是代表有效操作系统路径的字符串。

例如：

my_path => “/tmp/logstash” 

字符串

字符串必须是单个字符序列，且必须用双引号或单引号括起来。

转义序列

默认情况下，Logstash不启用转义序列。如果您希望在带引号的字符串使用转义序列，需要在logstash.yml中设置config.support_escapes: true。当设置为true时，带引号的字符串（双精度和单精度）可以进行一下转换。

例如：

name => 'It\'s a beautiful day'