文本日志是日志的最基本类型,本文介绍使用Logtail采集ECS主机文本日志、查询与分析日志等步骤,帮助您快速上手使用日志服务。
前提条件
已有可用的ECS。更多信息,请参见云服务器ECS快速入门。
已开通日志服务。具体操作,请参见开通日志服务。
背景信息
本示例中待采集的日志路径为/var/log/nginx/access.log
。
access.log
文件中的日志内容如下:
127.0.*.1 - - [20/Mar/2023:12:00:01 +0000] "GET / HTTP/1.1" 200 612 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.60 Safari/537.36"
192.168.*.1 - - [20/Mar/2023:12:00:02 +0000] "GET /about.html HTTP/1.1" 200 1435 "http://example.com/" "Mozilla/5.0 (iPhone; CPU iPhone OS 15_4 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/15.4 Mobile/15E148 Safari/604.1"
10.0.*.1 - - [20/Mar/2023:12:00:03 +0000] "POST /login HTTP/1.1" 302 0 "http://example.com/login.html" "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.88 Safari/537.36"
127.0.*.1 - - [20/Mar/2023:12:00:04 +0000] "GET /images/logo.png HTTP/1.1" 200 45678 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
192.168.*.2 - - [20/Mar/2023:12:00:05 +0000] "GET /contact.html HTTP/1.1" 404 155 "http://example.com/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/15.4 Safari/605.1.15"
10.0.*.2 - - [20/Mar/2023:12:00:06 +0000] "GET /style.css HTTP/1.1" 200 12345 "http://example.com/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.82 Safari/537.36"
127.0.*.1 - - [20/Mar/2023:12:00:07 +0000] "GET /favicon.ico HTTP/1.1" 404 554 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.60 Safari/537.36"
192.168.*.3 - - [20/Mar/2023:12:00:08 +0000] "GET / HTTP/1.1" 200 612 "-" "curl/7.79.1"
10.0.*.3 - - [20/Mar/2023:12:00:09 +0000] "POST /api/data HTTP/1.1" 201 123 "http://example.com/dashboard" "PostmanRuntime/7.
针对该日志样例,本文介绍主机文本日志采集的操作步骤。
方案概览
采集主机指定文件的文本日志,分为3步:
创建Project和Logstore:项目(Project)是日志服务中的资源管理单元,用于资源隔离和控制。日志库(Logstore)是日志服务中日志数据的采集、存储和查询单元。
添加Logtail采集配置:通过进行Logtail采集配置,可以将Logtail安装至ECS服务器并开始采集日志,日志会发送到对应的Logstore中。
查询和分析日志:您可以在控制台查询和分析日志,例如日志检索、日志聚合、日志统计等。
说明添加Logtial采集配置后,您需要等待1分钟左右,待索引生效后,才能在原始日志页签中,查看已采集到的日志。更多信息,请参见查询语法。
Logtail只采集增量日志。如果添加Logtail采集配置后,日志文件无更新,则Logtail不会采集该文件中的日志。您可以在日志文件中增加一行日志。更多信息,请参见Logtail采集详情。
1. 创建Project和Logstore
1.1 创建Project
登录日志服务控制台。
在Project列表区域,单击创建Project,在创建Project面板中,选择所属地域(和ECS所属地域相同),输入Project名称,其余参数保持默认。更多配置,请参见创建项目Project。
1.2 创建Logstore
创建Project完成后,系统会提示您创建一个Logstore。
在Logstore面板中,输入Logstore名称,其余参数保持默认。更多参数配置,请参见创建Logstore。
2. 添加Logtail采集配置
通过进行Logtail采集配置,可以将Logtail安装至ECS服务器并开始采集日志,日志会发送到对应的Logstore中。
2.1 选择日志空间
在创建成功对话框中,单击确定。
在快速数据接入对话框的自建开源/商业软件页签下,单击单行-文本日志对应的立即接入。
2.2 机器组配置
- ,在创建机器组面板中,选择ECS实例,单击安装并创建为机器组。Project和ECS不同地域,请参见
页面中Logtail安装情况提示成功,则表示安装成功。如果安装失败,单击重建安装任务,重新选择ECS实例,安装Logtail。
Logtail安装完成后,输入机器组名称,IP地址会自动填充已安装Logtail的实例IP,无需填写。更多信息,请参见创建IP地址机器组。
检测机器组心跳。创建机器组大约需要2分钟。创建未生效,将导致心跳为FAIL。请2分钟后单击自动重试刷进行重试,直到机器组心跳为OK。机器组心跳排查请参见Logtail机器组无心跳。
2.3 Logtail配置
参考下图,输入配置名称,文件路径,添加背景信息中的1条日志样例(一共9条日志样例)。更多配置,请参见全局配置。
2.4 查询分析配置
Logtail配置生效需要3分钟左右,自动刷新后,出现预览数据,则说明Logtail配置生效。 配置生效后,单击下一步,Logtail采集配置全部完成。
3. 查询与分析日志
在配置向导的结束步骤中,单击查询日志。跳转到目标Logstore的查询分析页面,可以查看access.log
文件中的日志内容。在输入框中输入任意字符(如HTTP
),选择时间范围,就可以查询所有包含该字符的日志。
相关文档
采集主机文本日志的详细步骤请参见采集主机文本日志。
采集K8s日志请参见通过DaemonSet方式采集Kubernetes容器文本日志和通过Sidecar方式采集Kubernetes容器文本日志。
采集云产品日志请参见云产品日志概述。
您可以将重要的查询和分析结果保存成仪表盘(可视化工具)。具体操作,请参见创建仪表盘。
如需对日志配置告警,请参见快速设置日志告警。
下载日志请参见下载日志。
常见问题
仅创建Project和Logstore,会产生费用吗?
当您在创建Logstore时,日志服务默认预留Shard资源,因此可能产生活跃Shard租用费用。更多信息,请参见为什么会产生活跃Shard租用费用?
采集日志失败,如何排查?
使用Logtail采集日志失败,可能是因为Logtail心跳异常、采集错误、Logtail采集配置错误等原因。如何排查,请参见Logtail采集日志失败的排查思路。
在Logstore查询与分析页面,可以查询日志但无法分析日志,如何解决?
如果您要分析日志,需要为日志字段配置字段索引并开启统计功能。更多信息,请参见创建索引。