日志服务提供JSON模式快速采集JSON日志。采集到日志后,您可以进行多维度分析、加工、投递等操作。本文介绍如何通过日志服务控制台创建JSON模式的Logtail配置采集日志。
方案概览
假设您的JSON原始日志为:
{"@timestamp":"2024-08-16T16:23:22+08:00","server_addr":"127.0.0.1","remote_addr":"127.0.0.1","scheme":"http","request_method":"POST","request_uri": "/wp-admin/admin-ajax.php","request_length": "1161","uri": "/wp-admin/admin-ajax.php", "request_time":1.099,"body_bytes_sent":78,"bytes_sent":675,"status":"200","upstream_time":"1.097","upstream_host":"unix:/dev/shm/php-cgi.sock","upstream_status":"200","host":"www.example.com","http_referer":"http://www.example.com/wp-admin/index.php","http_user_agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0"}
经过JSON解析插件处理后的结果是:
采集指定文件的文本日志,分为5步:
前提条件
已创建Logtail机器组并添加相应服务器,创建机器组的步骤,请参见创建用户自定义标识机器组(推荐)或创建IP地址机器组。
安装Logtail的主机需开放80(HTTP)端口和443(HTTPS)端口。ECS实例的端口由安全组规则控制,添加安全组规则的步骤请参见添加安全组规则。
服务器日志的内容持续新增。Logtail只采集增量日志,如果下发Logtail配置后日志文件无更新,则Logtail不会采集该文件中的日志。更多信息,请参见读取日志。
1. 选择Project和Logstore
登录日志服务控制台。
单击控制台右侧的快速接入数据卡片。
在接入数据页面,查找JSON - 文本日志并单击。
选择目标Project和Logstore,日志会被采集到对应的Logstore。
2. 机器组配置
Logtail配置会应用到指定的机器组,从而采集服务器上的数据。无论是否已有机器组,都必须根据实际需求正确选择使用场景和安装环境,这将影响后续的页面配置。
已有机器组
从源机器组列表选择目标机器组,单击下一步。
没有可用机器组
单击创建机器组,在创建机器组面板设置相关参数。机器组标识分为IP地址和用户自定义标识,更多信息请参见创建用户自定义标识机器组(推荐)或创建IP地址机器组。
创建机器组后立刻应用,可能因为连接未生效,导致心跳为FAIL,您可单击重试。如果还未解决,请参见Logtail机器组无心跳进行排查。
3. Logtail配置
3.1 全局配置
3.2 输入配置
文件路径
最大目录监控深度
3.3 处理配置
日志样例,支持多条日志;添加日志样例可协助您配置日志处理相关参数,降低配置难度,建议添加。
多行模式,如果日志为多行日志,请使用该选项。
类型,选择多行JSON。
切分失败处理方式,选择保留单行。
处理模式
使用JSON解析处理插件,单击JSON解析可进入处理插件详细配置页面。您可在此页面做进一步配置(本示例使用默认配置)。
Logtail配置生效时间最长需要3分钟,请耐心等待。
4. 查询分析配置
日志服务默认开启全文索引。您也可以根据采集到的日志,手动创建字段索引,或者单击自动生成索引,日志服务将自动生成字段索引。更多信息,请参见创建索引。
5. 查询日志
单击查询日志,系统将跳转至Logstore查询分析页面。
您需要等待1分钟左右,待索引生效后,才能在原始日志页签中,查看已采集到的日志。查询和分析日志的详细步骤,请参见查询和分析日志。
如果需要查询日志中的所有字段,建议使用全文索引。如果只需查询部分字段、建议使用字段索引,减少索引流量。如果需要对字段进行分析(SELECT语句),必须创建字段索引。
后续步骤
- 本页导读 (1)
- 方案概览
- 前提条件
- 1. 选择Project和Logstore
- 2. 机器组配置
- 3. Logtail配置
- 3.1 全局配置
- 3.2 输入配置
- 3.3 处理配置
- 4. 查询分析配置
- 5. 查询日志
- 后续步骤