快速入门

文本日志是日志的最基本类型,本文介绍使用Logtail采集ECS主机文本日志、查询与分析日志等步骤,帮助您快速上手使用日志服务。

前提条件

背景信息

本示例中待采集的日志路径为/var/log/nginx/access.log

access.log文件中的日志内容如下:

127.0.*.1 - - [20/Mar/2023:12:00:01 +0000] "GET / HTTP/1.1" 200 612 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.60 Safari/537.36"  
192.168.*.1 - - [20/Mar/2023:12:00:02 +0000] "GET /about.html HTTP/1.1" 200 1435 "http://example.com/" "Mozilla/5.0 (iPhone; CPU iPhone OS 15_4 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/15.4 Mobile/15E148 Safari/604.1"  
10.0.*.1 - - [20/Mar/2023:12:00:03 +0000] "POST /login HTTP/1.1" 302 0 "http://example.com/login.html" "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.88 Safari/537.36"  
127.0.*.1 - - [20/Mar/2023:12:00:04 +0000] "GET /images/logo.png HTTP/1.1" 200 45678 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"  
192.168.*.2 - - [20/Mar/2023:12:00:05 +0000] "GET /contact.html HTTP/1.1" 404 155 "http://example.com/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/15.4 Safari/605.1.15"  
10.0.*.2 - - [20/Mar/2023:12:00:06 +0000] "GET /style.css HTTP/1.1" 200 12345 "http://example.com/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.82 Safari/537.36"  
127.0.*.1 - - [20/Mar/2023:12:00:07 +0000] "GET /favicon.ico HTTP/1.1" 404 554 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.60 Safari/537.36"  
192.168.*.3 - - [20/Mar/2023:12:00:08 +0000] "GET / HTTP/1.1" 200 612 "-" "curl/7.79.1"  
10.0.*.3 - - [20/Mar/2023:12:00:09 +0000] "POST /api/data HTTP/1.1" 201 123 "http://example.com/dashboard" "PostmanRuntime/7.

针对该日志样例,本文介绍主机文本日志采集的操作步骤。

方案概览

image

采集主机指定文件的文本日志,分为三步:

  1. 创建Project和Logstore:项目(Project)是日志服务中的资源管理单元,用于资源隔离和控制。日志库(Logstore)是日志服务中日志数据的采集、存储和查询单元。

  2. 添加Logtail采集配置:通过进行Logtail采集配置,可以将Logtail安装至ECS服务器并开始采集日志,日志会发送到对应的Logstore中。

  3. 查询和分析日志:您可以在控制台查询和分析日志,例如日志检索、日志聚合、日志统计等。

    说明
    • 添加Logtial采集配置后,您需要等待1分钟左右,待索引生效后,才能在原始日志页签中,查看已采集到的日志。更多信息,请参见查询语法

    • Logtail只采集增量日志。如果添加Logtail采集配置后,日志文件无更新,则Logtail不会采集该文件中的日志。您可以在日志文件中增加一行日志。更多信息,请参见Logtail采集详情

1. 创建Project和Logstore

1.1 创建Project

登录日志服务控制台

在Project列表区域,单击创建Project,在创建Project面板中,选择所属地域(和ECS所属地域相同),输入Project名称,其余参数保持默认。更多配置,请参见创建项目Project

image

1.2 创建Logstore

创建Project完成后,系统会提示您创建一个Logstore。

Logstore面板中,输入Logstore名称,其余参数保持默认。更多参数配置,请参见创建Logstore

image

2. 添加Logtail采集配置

通过进行Logtail采集配置,可以将Logtail安装至ECS服务器并开始采集日志,日志会发送到对应的Logstore中。

2.1 选择日志空间

  1. 创建成功对话框中,单击确定

    image

  2. 快速数据接入对话框的自建开源/商业软件页签下,单击单行-文本日志对应的立即接入

    image

2.2 机器组配置

  1. 单击主机场景 > ECS > 创建机器组,在创建机器组面板中,选择ECS实例,单击安装并创建为机器组。Project和ECS不同地域,请参见安装Logtail(Linux系统)

    image

  2. 页面中Logtail安装情况提示成功,则表示安装成功。如果安装失败,单击重建安装任务,重新选择ECS实例,安装Logtail。

    image

  3. Logtail安装完成后,输入机器组名称IP地址会自动填充已安装Logtail的实例IP,无需填写。更多信息,请参见创建IP地址机器组

    image

  4. 检测机器组心跳。创建机器组大约需要2分钟。创建未生效,将导致心跳为FAIL。请2分钟后单击自动重试进行重试,直到机器组心跳为OK。机器组心跳排查请参见Logtail机器组无心跳

    image

2.3 Logtail配置

参考下图,输入配置名称文件路径,添加背景信息中的1条日志样例(一共9条日志样例)。更多配置,请参见全局配置image

2.4 查询分析配置

Logtail配置生效需要3分钟左右,自动刷新后,出现预览数据,则说明Logtail配置生效。 配置生效后,单击下一步,Logtail采集配置全部完成。

日志服务默认开启全文索引。您也可以根据采集到的日志,手动创建字段索引,或者单击自动生成索引,日志服务将自动生成字段索引。更多信息,请参见创建索引

image

3. 查询与分析日志

在配置向导的结束步骤中,单击查询日志。跳转到目标Logstore的查询分析页面,可以查看access.log文件中的日志内容。在输入框中输入任意字符(如HTTP),选择时间范围,就可以查询所有包含该字符的日志。

image

相关文档

常见问题

仅创建Project和Logstore,会产生费用吗?

当您在创建Logstore时,日志服务默认预留Shard资源,因此可能产生活跃Shard租用费用。更多信息,请参见为什么会产生活跃Shard租用费用?

采集日志失败,如何排查?

使用Logtail采集日志失败,可能是因为Logtail心跳异常、采集错误、Logtail采集配置错误等原因。如何排查,请参见Logtail采集日志失败的排查思路

在Logstore查询与分析页面,可以查询日志但无法分析日志,如何解决?

如果您要分析日志,需要为日志字段配置字段索引并开启统计功能。更多信息,请参见创建索引