全部产品
存储与CDN 数据库 安全 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网 钉钉智能硬件
日志服务

Logstash 收集 CSV 日志

更新时间:2017-07-10 15:35:45

使用系统时间作为日志时间上传

日志样例

  1. 10.116.14.201,-,2/25/2016,11:53:17,W3SVC7,2132,200,0,GET,project/shenzhen-test/logstore/logstash/detail,C:\test\csv\test_csv.log

采集配置

  1. input {
  2. file {
  3. type => "csv_log_1"
  4. path => ["C:/test/csv/*.log"]
  5. start_position => "beginning"
  6. }
  7. }
  8. filter {
  9. if [type] == "csv_log_1" {
  10. csv {
  11. separator => ","
  12. columns => ["ip", "a", "date", "time", "b", "latency", "status", "size", "method", "url", "file"]
  13. }
  14. }
  15. }
  16. output {
  17. if [type] == "csv_log_1" {
  18. logservice {
  19. codec => "json"
  20. endpoint => "***"
  21. project => "***"
  22. logstore => "***"
  23. topic => ""
  24. source => ""
  25. access_key_id => "***"
  26. access_key_secret => "***"
  27. max_send_retry => 10
  28. }
  29. }
  30. }

注意:

  • 配置文件格式必须以 UTF-8 无 BOM 格式编码,可以下载 notepad++ 修改文件编码格式。
  • path 填写文件路径时请使用 UNIX 模式的分隔符,如:C:/test/multiline/*.log,否则无法支持模糊匹配。
  • type 字段需要统一修改并在该文件内保持一致,如果单台机器存在多个Logstash配置文件,需要保证各配置 type 字段唯一,否则会导致数据处理的错乱。

相关插件:filecsv

重启Logstash生效

创建配置文件到 conf 目录,参考配置Logstash重启Logstash生效。

使用日志字段内容作为日志时间上传

日志样例

  1. 10.116.14.201,-,Feb 25 2016 14:03:44,W3SVC7,1332,200,0,GET,project/shenzhen-test/logstore/logstash/detail,C:\test\csv\test_csv_withtime.log

采集配置

  1. input {
  2. file {
  3. type => "csv_log_2"
  4. path => ["C:/test/csv_withtime/*.log"]
  5. start_position => "beginning"
  6. }
  7. }
  8. filter {
  9. if [type] == "csv_log_2" {
  10. csv {
  11. separator => ","
  12. columns => ["ip", "a", "datetime", "b", "latency", "status", "size", "method", "url", "file"]
  13. }
  14. date {
  15. match => [ "datetime" , "MMM dd YYYY HH:mm:ss" ]
  16. }
  17. }
  18. }
  19. output {
  20. if [type] == "csv_log_2" {
  21. logservice {
  22. codec => "json"
  23. endpoint => "***"
  24. project => "***"
  25. logstore => "***"
  26. topic => ""
  27. source => ""
  28. access_key_id => "***"
  29. access_key_secret => "***"
  30. max_send_retry => 10
  31. }
  32. }
  33. }

注意:

  • 配置文件格式必须以 UTF-8 无 BOM 格式编码,可以下载 notepad++ 修改文件编码格式。
  • path 填写文件路径时请使用 UNIX 模式的分隔符,如:C:/test/multiline/*.log,否则无法支持模糊匹配。
  • type 字段需要统一修改并在该文件内保持一致,如果单台机器存在多个Logstash配置文件,需要保证各配置 type 字段唯一,否则会导致数据处理的错乱。

相关插件:filecsvdate

重启Logstash生效

创建配置文件到 conf 目录,参考配置Logstash重启Logstash生效。

本文导读目录