Logtail最佳实践
分类 文档链接 安装部署 使用OOS批量安装或升级Logtail 采集 通过Logtail跨阿里云账号采集日志 通过Logtail跨阿里云账号采集容器日志 通过Logtail采集Zabbix数据 采集企业内网服务器日志 主机场景下如何使用Logtail采集超大规模文件 ...
数据采集常见问题
如何使用Logtail自动诊断工具 Logtail机器组问题排查思路（主机场景）ECS经典网络切换为VPC后，如何更新Logtail配置 Logtail服务的app_info.json文件中IP地址为空导致机器组心跳检测失败 如何采集企业内网服务器日志 如何排查容器日志采集...
机器组简介
用户标识 如果您的服务器与日志服务属于不同账号的ECS实例、其他云厂商的服务器和自建IDC时，并且需要通过Logtail采集该服务器日志。首先，在服务器上安装Logtail，然后配置日志服务Project所属的阿里云账号ID为用户标识，授权该云账号通过...
服务器迁移中问题
Linux服务器日志错误提示check rsync failed或者rsync not found，怎么办？Linux服务器日志报错提示check virtio failed错误，怎么办？Linux服务器日志错误提示check selinux failed，怎么办？Linux服务器日志错误提示Do Grub Failed，...
通过Logtail跨阿里云账号采集日志
本文介绍跨阿里云账号采集服务器日志的操作步骤。背景信息 您要通过Logtail采集服务器日志时，在服务器上安装Logtail后，还需配置日志服务所在阿里云账号ID为用户标识，表示该账号有权限通过Logtail采集该服务器日志。否则在机器组中会显示...
Logtail常见问题
如何采集企业内网服务器日志 如何使用Logtail自动诊断工具 Windows场景 Windows实例安装Logtail服务日志提示异常信息 容器场景 如何采集K8s集群的容器日志 日志格式解析问题 如何调试正则表达式 如何优化正则表达式的性能 如何通过完整正则...
Logstore相关问题
对于 服务器日志，请参见 Logtail机器组问题排查思路。对于 容器日志，首先 预览容器元信息，确认是否配置过滤条件、容器元信息是否能匹配容器，然后按照 如何排查容器日志采集异常 进行排查。日志服务欠费 停服超过7天，将视为您主动放弃...
IIS模式解析
配置说明 参数名称 说明 日志格式 选择您的IIS服务器日志采用的日志格式，具体说明如下：IIS：Microsoft IIS日志文件格式。NCSA：NCSA公用日志文件格式。W3C：W3C扩展日志文件格式。IIS配置字段 配置IIS配置字段，具体说明如下：日志格式为...
常见问题
如何采集企业内网服务器日志 如何排查容器日志采集异常 查询本地采集状态 如何在日志样例中设置不可见字符 如何查看Logtail采集错误信息 日志服务采集数据常见的错误类型 如何调试正则表达式 如何优化正则表达式的性能 如何通过完整正则...
常见问题
支持接入云产品日志、开源系统日志、多云环境日志、本地服务器日志。提供一站式平台服务：支持采集、分析、加工、可视化、投递、告警等一站式的数据生命周期管理功能。具备智能、高效的数据分析能力：秒级分析百亿级数据能力、智能运维...
多源Logstore数据汇总
日志1"request_id:1 http_host: example.com http_status: 200 request_method: GET request_uri: /pic/icon.jpg "日志2"request_id:2 http_host: aliyundoc.com http_status: 301 request_method: POST request_uri: /data/data.php 账号...
过滤日志
配置示例 只采集 ip 以 10 开头、method 为 POST 且 browser 不为 aliyun.*的日志，配置示例如下：原始日志 日志1"ip":"10.*.*.*""method":"POST""browser":"aliyun-sdk-java"日志2"ip":"10.*.*.*""method":"POST""browser":"chrome"日志3...
调用函数清洗数据
示例如下所示：原始日志#日志1_source_:192.168.0.1_tag_:_client_ip_:192.168.0.2_tag_:_receive_time_:1597214851_topic_:app class:test_case id:7992 test_string:<function test1 at 0x1027401e0>#日志2_source_:192.168.0.1 class:...
使用资源函数增量获取数据
使用增量拉取模式获取数据时，日志服务每次只拉取新增或更新的数据，效率高。本文介绍如何使用res_rds_mysql函数增量获取RDS MySQL数据库中的数据。前提条件 日志服务 已上传数据到日志服务源Logstore中。具体操作，请参见 数据采集。已...
事件判断
通过事件判断可以更好地对符合特定条件的数据进行相应操作，让加工逻辑更...加工结果"日志1"type:normal http_host: example.com status: 200 request_method: GET scheme: https header_length: 700 body_length: 1200 "日志2"type:normal ...
创建流日志
Netflow服务器地址：存储日志信息的服务器IP地址，例如192.168.0.2。Netflow服务器端口：存储日志信息的服务器端口号，默认值为 9995。Netflow协议版本：支持 V5、V9 和 V10，默认值为 V9。将日志信息同时存储在阿里云日志服务和您的...
Apache模式解析
Apache日志简介 Apache服务器会根据Apache日志配置文件中指定的日志打印格式、日志文件路径和名称输出Apache日志。例如 CustomLog"/var/log/apache2/access_log"combined，表示日志打印时使用combined格式，日志文件路径为/var/log/apache2...
日志类别及字段说明
主机日志 日志类型_topic_描述 采集周期 登录流水日志 aegis-log-login 记录用户登录服务器的日志，包括登录时间、登录用户、登录方式、登录IP地址等信息。登录流水日志可以帮助您监控用户的活动，及时识别和响应异常行为，从而保障系统的...
采集Systemd Journal日志
Logtail支持从原始的二进制文件中采集Linux系统的Systemd Journal日志。本文介绍如何通过日志服务控制台创建Logtail采集配置采集Systemd Journal日志。前提条件 已在服务器上安装Linux Logtail 0.16.18及以上版本。具体操作，请参见 安装...
Linux系统的ECS实例内部无法正常解析域名
公网地址的DNS服务器 nameserver 223.5.5.5 nameserver 223.6.6.6 内网地址的DNS服务器 nameserver 100.100.2.136 nameserver 100.100.2.138 执行以下命令，查看防火墙是否添加了53端口的相关规则。iptables-L 若防火墙存在53端口的相关...
日志采集Agent对比
日志采集场景下客户端测评 DT时代，数以亿万计的服务器、移动终端、网络设备每天产生海量的日志。中心化的日志处理方案有效地解决了在完整生命周期内对日志的消费需求，而日志从设备采集上云是始于足下的第一步。三款日志采集工具 Logstash...
分析Nginx访问日志
日志服务支持采集Nginx日志，并进行多维度分析。本文介绍分析网站访问情况、诊断及调优网站和重要场景告警的分析案例。前提条件 已采集Nginx访问日志，详情请参见 使用Nginx配置模式采集日志。在日志采集配置向导中，已根据日志字段自动...
如何查看服务器日志
如何进入查看服务器日志？首先进入部署好的服务器。docker ps 查看所有镜像。进入到rpa-base镜像。docker exec-it 镜像CONTAINER ID/bin/bash 执行cd 切换到根目录 切换到rpa-base的logs文件夹下。cd rpa-base/logs/此路径下，无日期为今日...
创建IP地址机器组
如果需要采集服务器日志，必须创建机器组并添加相应服务器。日志服务 支持使用服务器IP地址定义机器组，本文介绍创建IP地址机器组的操作步骤。前提条件 已创建Project和Logstore。更多信息，请参见 创建项目Project 和 创建Logstore。已...
各源环境迁移至阿里云
轻量应用服务器 如果您已购买轻量应用服务器，可以将源服务器迁移至轻量应用服务器，源服务器和已购买的轻量应用服务器的存储、操作系统等需要适配。迁移至轻量应用服务器最佳实践，请参见 源服务器迁移至轻量应用服务器。配置项说明如下：...
选择网络
全球加速 如果业务服务器、日志服务Project分别属于国内地域和国外地域，使用公网传输数据可能会出现网络延迟高、传输不稳定等问题，您可以选择全球加速传输数据。更多信息，请参见 全球加速。场景 网络类型 ECS实例和Project属于同一地域 ...
查询分析程序日志
分布的服务器多：大部分应用为无状态模式，运行在不同框架中，例如云服务器、容器服务等，对应的实例数从几个到数千个，需要有一种跨服务器的日志采集方案。运行环境复杂：程序运行在不同的环境中，产生的日志也保存在不同的环境中，例如...
使用前须知
阿里云日志服务联合云安全中心联合推出日志分析功能，提供风险威胁数据的实时采集、查询与分析、加工、消费等一站式服务，帮助您全面了解、有效处理服务器的安全隐患，实现对云上资产的集中安全管理。本文介绍云安全中心日志分析功能相关的...
采集-IoT/嵌入式日志
树莓派平台结果 在树莓派的测试中，由于CPU的频率只有600 MHz，性能差不多是服务器的1/10左右，每秒可发送最多2万条日志。树莓派在20条/s的时候，发送数据对于CPU基本无影响（降低到0.01%以内）。客户线程发送一条数据（输出一条日志）的...
API网关
instanceId API服务所在的网关实例ID initialRequestId API网关自调用时，例如API-1调用API-2，那么API-2的日志会用initialRequestId来记录API-1的requestid。clientNonce 客户端X-Ca-Nonce头 requestQueryString 客户端请求的查询字符串 ...
快速入门
本文以采集分析ECS的Nginx访问日志为例，介绍开通日志服务、创建日志项目与Logstore、Logtail采集日志、查询与分析日志等步骤，帮助您快速上手使用日志服务。前提条件 已有可用的ECS。更多信息，请参见 云服务器ECS快速入门。ECS服务器持续...
日志字段详情
本文介绍API网关访问日志的字段详情。日志项 描述 apiGroupUid API的分组ID apiGroupName API分组名称 apiUid API的ID apiName API名称 apiStageUid API环境ID apiStageName API环境名称 httpMethod 调用的HTTP方法 path 请求的PATH domain...
Logtail采集详情
本文介绍Logtail的采集过程，包括监听日志、读取日志、处理日志、过滤日志、聚合日志和发送日志。采集过程 Logtail采集数据的过程如下：监听日志 读取日志 处理日志 过滤日志 聚合日志 发送日志 说明 更多关于Logtail采集原理的介绍，请...
创建用户自定义标识机器组
日志服务支持使用用户自定义标识动态定义机器组，本文介绍创建自定义标识机器组的操作步骤。前提条件 已创建Project和Logstore。更多信息，请参见 创建项目Project 和 创建Logstore。已安装Logtail，安装步骤请参见 安装Logtail（Linux系统...
日志类型
internal-diagnostic_log 消费组延迟日志 消费组的消费延时日志，2分钟上报一次。指定查询消费组延迟日志时，需要在查询语句中指定_topic_:consumergroup_log。Logtail告警日志 Logtail的错误日志。每30秒记录一次，30秒内重复出现的错误...
如何使用Windows事件查看器查看实例运行日志
查看Windows日志 在事件查看器中，比较常用的Windows日志有系统日志、安全日志、应用程序日志这三个日志内容。系统日志 系统日志记录系统异常引起的事件。可以查看系统更新，内存资源不足等系统日志。感叹号！表示警告，一般不会严重影响...
分析IIS日志
日志服务支持采集IIS日志，并进行多维度分析。本文通过PV、UV、访问地域分布、错误请求、请求方法等维度分析IIS日志，以评估网站访问情况。前提条件 已采集IIS日志。具体操作，请参见 使用IIS配置模式采集日志。说明 在采集过程中，日志...
查询和分析网站日志
本文以查询和分析网站日志为例，帮助您快速上手查询和分析操作。前提条件 已采集到网站访问日志。具体操作，请参见 使用完整正则模式采集日志。步骤一：创建索引 登录 日志服务控制台。在Project列表区域，单击目标Project。在 日志存储>...
术语表
本文介绍日志服务所涉及的术语。基础资源 术语 说明 项目（Project）项目是日志服务的资源管理单元，是进行多用户隔离与访问控制的主要边界。更多信息，请参见 项目（Project）。日志库（Logstore）日志库是日志服务中日志数据的采集、存储...
日志（Log）
日志服务采用半结构化的数据模式定义一条日志，包含日志主题、日志时间、日志内容、日志来源和日志标签五个数据域。日志服务对各个数据域的格式要求不同，详细说明如下表所示。数据域 说明 格式 日志主题 日志服务保留字段（_topic_）用于...
- 产品推荐
- 这些文档可能帮助您