全部产品
弹性计算 会员服务 网络 安全 移动云 数加·大数据分析及展现 数加·大数据应用 管理与监控 云通信 阿里云办公 培训与认证 更多
存储与CDN 数据库 域名与网站(万网) 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网 智能硬件
日志服务

Logstash 收集其它日志

更新时间:2018-03-07 13:41:23

日志样例

  1. 2016-02-25 15:37:01 [main] INFO com.aliyun.sls.test_log4j - single line log
  2. 2016-02-25 15:37:11 [main] ERROR com.aliyun.sls.test_log4j - catch exception !
  3. java.lang.ArithmeticException: / by zero
  4. at com.aliyun.sls.test_log4j.divide(test_log4j.java:23) ~[bin/:?]
  5. at com.aliyun.sls.test_log4j.main(test_log4j.java:13) [bin/:?]
  6. 2016-02-25 15:38:02 [main] INFO com.aliyun.sls.test_log4j - normal log

采集配置

  1. input {
  2. file {
  3. type => "common_log_1"
  4. path => ["C:/test/multiline/*.log"]
  5. start_position => "beginning"
  6. codec => multiline {
  7. pattern => "^\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}"
  8. negate => true
  9. auto_flush_interval => 3
  10. what => previous
  11. }
  12. }
  13. }
  14. output {
  15. if [type] == "common_log_1" {
  16. logservice {
  17. codec => "json"
  18. endpoint => "***"
  19. project => "***"
  20. logstore => "***"
  21. topic => ""
  22. source => ""
  23. access_key_id => "***"
  24. access_key_secret => "***"
  25. max_send_retry => 10
  26. }
  27. }
  28. }

注意:

  • 配置文件格式必须以 UTF-8 无 BOM 格式编码,可以下载 notepad++ 修改文件编码格式。
  • path 填写文件路径时请使用 UNIX 模式的分隔符,如:C:/test/multiline/*.log,否则无法支持模糊匹配。
  • type 字段需要统一修改并在该文件内保持一致,如果单台机器存在多个Logstash配置文件,需要保证各配置 type 字段唯一,否则会导致数据处理的错乱。

相关插件:filemultiline(若日志文件是单行日志,可以去掉 codec => multiline 配置)。

重启Logstash生效

创建配置文件到 conf 目录,参考配置Logstash重启Logstash生效。

本文导读目录