全部产品
存储与CDN 数据库 安全 应用服务 数加·人工智能 数加·大数据基础服务 互联网中间件 视频服务 开发者工具 解决方案 物联网 钉钉智能硬件
日志服务

日志采集基本问题

更新时间:2017-07-19 16:23:55

问题列表

  1. 日志采集失败,应如何解决?
  2. 采集到的日志数据是乱码,应如何解决?
  3. 日志服务可以采集哪些日志?
  4. 日志服务有哪些渠道采集日志?应该如何选择这些渠道?
  5. 日志服务如何采集ECS上的日志?
  6. 日志服务可以采集历史日志吗?
  7. 日志服务采集数据的能力如何?有何限制?
  8. Logtail采集NAS上的日志需要注意什么?

1. 日志采集失败,应如何解决?

  1. 请检查匹配规则是否已通过(比较常见的是设置时候的日志和实际日志存在不一致)。
  2. log文件是否实时更新,如果以前的老日志会不被采集。
  3. 时间要含年份等日期信息。
  4. 有延迟(日志服务读取大约1-2分钟)请耐心等待。
  5. 机器组里查看对应的机器心跳是否fail。
  6. 不支持非UTF-8编码的数据。
  7. 请核实一下日志内的时间,比较常见因为时区问题导致时间过久被丢弃。

如果问题仍未解决,请联系售后技术支持。

2. 采集到的日志数据是乱码,应如何解决?

日志服务插入的数据要求是UTF-8编码的,如果是其他的字符集可能出现乱码的情况。

如果用户的数据是通过SDK插入的,可以在代码写入的时候做字符集转码;如果用户的数据是通过Logtail写入的,可以检查一下Logtail监控的日志文件的编码。

如问题还未解决,请联系售后技术支持

3. 日志服务可以采集哪些日志?

日志服务支持带有时间戳的文本日志和syslog,日志的时间必须是最近7天以内的,并且不能超过当前时间15分钟。

4. 日志服务有哪些渠道采集日志?应该如何选择这些渠道?

日志服务支持用户直接使用API写入;同时提供Linux和Windows版本的Logtail,用于采集磁盘文件上实时更新的日志。

  1. 如果应用程序生成的日志不落磁盘,则可直接使用API写入到日志服务。
  2. 实时写入磁盘的日志,可以通过Logtail来采集。

5. 日志服务如何采集ECS上的日志?

可以使用Logtail来采集ECS上落在磁盘上的日志,过程如下:

  1. 在日志服务控制台上,首先创建一个Logstore
  2. 配置Logtail采集的配置
  3. 创建机器分组
  4. 通过安装脚本自助安装Logtail客户端
  5. 将Logtail的配置应用到需要的机器分组即可

6. 日志服务可以采集历史日志吗?

用户可以通过API写入7天以内的数据,7天之前的数据写入会失败。但是,Logtail暂不支持采集历史数据。

7. 日志服务采集数据的能力如何?有何限制?

用户可根据需求调整日志库(Logstore)的分区(Shard)数量。在ECS环境,Logtail采集的速率被限制在1MB/秒。

8. Logtail采集NAS上的日志需要注意什么?

例如Nginx accesslog采集场景,Web Server的nginx配置一般来说都是相同的,传统的方式会写在不同机器上相同名称的文件(Logtail可以正常采集)。使用NAS后,如果多台机器的Nginx日志写入了NAS的相同文件(并发写相同文件场景),Logtail采集日志会缺失或出错。因此,请注意在使用NAS时,保证不同Web Server的日志写入NAS中的不同文件。

本文导读目录