全部产品
弹性计算 会员服务 网络 安全 移动云 数加·大数据分析及展现 数加·大数据应用 管理与监控 云通信 阿里云办公 培训与认证 更多
存储与CDN 数据库 域名与网站(万网) 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网 智能硬件
日志服务

Logstash 收集 IIS 日志

更新时间:2017-10-26 15:02:47

日志样例

查看 IIS 日志配置,选择格式为 W3C(默认字段设置)保存生效。

  1. 2016-02-25 01:27:04 112.74.74.124 GET /goods/list/0/1.html - 80 - 66.249.65.102 Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html) 404 0 2 703

采集配置

  1. input {
  2. file {
  3. type => "iis_log_1"
  4. path => ["C:/inetpub/logs/LogFiles/W3SVC1/*.log"]
  5. start_position => "beginning"
  6. }
  7. }
  8. filter {
  9. if [type] == "iis_log_1" {
  10. #ignore log comments
  11. if [message] =~ "^#" {
  12. drop {}
  13. }
  14. grok {
  15. # check that fields match your IIS log settings
  16. match => ["message", "%{TIMESTAMP_ISO8601:log_timestamp} %{IPORHOST:site} %{WORD:method} %{URIPATH:page} %{NOTSPACE:querystring} %{NUMBER:port} %{NOTSPACE:username} %{IPORHOST:clienthost} %{NOTSPACE:useragent} %{NUMBER:response} %{NUMBER:subresponse} %{NUMBER:scstatus} %{NUMBER:time_taken}"]
  17. }
  18. date {
  19. match => [ "log_timestamp", "YYYY-MM-dd HH:mm:ss" ]
  20. timezone => "Etc/UTC"
  21. }
  22. useragent {
  23. source=> "useragent"
  24. prefix=> "browser"
  25. }
  26. mutate {
  27. remove_field => [ "log_timestamp"]
  28. }
  29. }
  30. }
  31. output {
  32. if [type] == "iis_log_1" {
  33. logservice {
  34. codec => "json"
  35. endpoint => "***"
  36. project => "***"
  37. logstore => "***"
  38. topic => ""
  39. source => ""
  40. access_key_id => "***"
  41. access_key_secret => "***"
  42. max_send_retry => 10
  43. }
  44. }
  45. }

注意:

  • 配置文件格式必须以 UTF-8 无 BOM 格式编码,可以通过notepad++修改文件编码格式。
  • path 填写文件路径时请使用UNIX模式的分隔符,如:C:/test/multiline/*.log,否则无法支持模糊匹配。
  • type 字段需要统一修改并在该文件内保持一致,如果单台机器存在多个 Logstash 配置文件,需要保证各配置 type 字段唯一,否则会导致数据处理的错乱。

相关插件:filegrok

重启 Logstash 生效

创建配置文件到 conf 目录,参考 配置Logstash 重启 Logstash 生效。

本文导读目录