全部产品
弹性计算 会员服务 网络 安全 移动云 数加·大数据分析及展现 数加·大数据应用 管理与监控 云通信 阿里云办公 培训与认证 更多
存储与CDN 数据库 域名与网站(万网) 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网 智能硬件
日志服务

Logstash 收集 CSV 日志

更新时间:2017-07-10 15:35:45

使用系统时间作为日志时间上传

日志样例

  1. 10.116.14.201,-,2/25/2016,11:53:17,W3SVC7,2132,200,0,GET,project/shenzhen-test/logstore/logstash/detail,C:\test\csv\test_csv.log

采集配置

  1. input {
  2. file {
  3. type => "csv_log_1"
  4. path => ["C:/test/csv/*.log"]
  5. start_position => "beginning"
  6. }
  7. }
  8. filter {
  9. if [type] == "csv_log_1" {
  10. csv {
  11. separator => ","
  12. columns => ["ip", "a", "date", "time", "b", "latency", "status", "size", "method", "url", "file"]
  13. }
  14. }
  15. }
  16. output {
  17. if [type] == "csv_log_1" {
  18. logservice {
  19. codec => "json"
  20. endpoint => "***"
  21. project => "***"
  22. logstore => "***"
  23. topic => ""
  24. source => ""
  25. access_key_id => "***"
  26. access_key_secret => "***"
  27. max_send_retry => 10
  28. }
  29. }
  30. }

注意:

  • 配置文件格式必须以 UTF-8 无 BOM 格式编码,可以下载 notepad++ 修改文件编码格式。
  • path 填写文件路径时请使用 UNIX 模式的分隔符,如:C:/test/multiline/*.log,否则无法支持模糊匹配。
  • type 字段需要统一修改并在该文件内保持一致,如果单台机器存在多个Logstash配置文件,需要保证各配置 type 字段唯一,否则会导致数据处理的错乱。

相关插件:filecsv

重启Logstash生效

创建配置文件到 conf 目录,参考配置Logstash重启Logstash生效。

使用日志字段内容作为日志时间上传

日志样例

  1. 10.116.14.201,-,Feb 25 2016 14:03:44,W3SVC7,1332,200,0,GET,project/shenzhen-test/logstore/logstash/detail,C:\test\csv\test_csv_withtime.log

采集配置

  1. input {
  2. file {
  3. type => "csv_log_2"
  4. path => ["C:/test/csv_withtime/*.log"]
  5. start_position => "beginning"
  6. }
  7. }
  8. filter {
  9. if [type] == "csv_log_2" {
  10. csv {
  11. separator => ","
  12. columns => ["ip", "a", "datetime", "b", "latency", "status", "size", "method", "url", "file"]
  13. }
  14. date {
  15. match => [ "datetime" , "MMM dd YYYY HH:mm:ss" ]
  16. }
  17. }
  18. }
  19. output {
  20. if [type] == "csv_log_2" {
  21. logservice {
  22. codec => "json"
  23. endpoint => "***"
  24. project => "***"
  25. logstore => "***"
  26. topic => ""
  27. source => ""
  28. access_key_id => "***"
  29. access_key_secret => "***"
  30. max_send_retry => 10
  31. }
  32. }
  33. }

注意:

  • 配置文件格式必须以 UTF-8 无 BOM 格式编码,可以下载 notepad++ 修改文件编码格式。
  • path 填写文件路径时请使用 UNIX 模式的分隔符,如:C:/test/multiline/*.log,否则无法支持模糊匹配。
  • type 字段需要统一修改并在该文件内保持一致,如果单台机器存在多个Logstash配置文件,需要保证各配置 type 字段唯一,否则会导致数据处理的错乱。

相关插件:filecsvdate

重启Logstash生效

创建配置文件到 conf 目录,参考配置Logstash重启Logstash生效。

本文导读目录