本文介绍如何在控制台上创建Logtail配置,并以DaemonSet方式采集容器文件日志。
前提条件
功能特点
Logtail支持将容器产生的文本日志和容器相关的元数据信息一起上传到日志服务。Logtail具备以下功能特点。
- 只需配置容器内的日志文件路径,无需关心该路径到宿主机的映射。
- 支持通过容器Label白名单指定待采集的容器。
- 支持通过容器Label黑名单排除不要采集的容器。
- 支持通过环境变量白名单指定待采集的容器。
- 支持通过环境变量黑名单排除不要采集的容器。
- 支持采集多行日志(例如Java Stack日志)。
- 支持上报容器日志时自动关联Meta信息(例如容器名、镜像、Pod、Namespace、环境变量等)。
- 当容器运行于Kubernetes时,Logtail还具有以下功能。
- 支持通过Kubernetes Namespace名称、Pod名称、容器名称指定待采集的容器。
- 支持通过Kubernetes Label白名单指定待采集的容器。
- 支持通过Kubernetes Label黑名单排除不要采集的容器。
- 支持上报容器日志时自动关联Kubernetes Label信息。
限制说明
- 采集停止策略:当容器被停止后,Logtail监听到容器
die
的事件后会停止该容器日志的采集。如果此时采集出现延迟,则可能丢失停止前的部分日志。 - Docker存储驱动限制:目前只支持overlay、overlay2,其他存储驱动需将日志所在目录通过数据卷挂载为临时目录。
如果日志目录是以PVC方式挂载到NAS,则不支持使用Daemonset方式采集日志,建议使用Sidecar方式采集。
- 不支持采集软链接:目前Logtail无法访问业务容器的软链接,请按真实路径配置采集目录。
- 如果业务容器的数据目录是通过数据卷(Volume)挂载的,则不支持采集它的父目录,需设置采集目录为完整的数据目录。
例如/var/log/service目录是数据卷挂载的路径,则设置采集目录为/var/log将采集不到该目录下的日志,需设置采集目录为/var/log/service。
- Kubernetes默认将宿主机根目录挂载到Logtail容器的
/logtail_host
目录。如果您要采集宿主机文本日志,则配置日志文件路径时,需加上/logtail_host
前缀。例如需要采集宿主机上
/home/logs/app_log/
目录下的日志,则设置日志路径为/logtail_host/home/logs/app_log/
。 - Logtail支持Docker和Containerd两种容器引擎的数据采集,访问路径说明如下:
- Docker:Logtail通过/run/docker.sock访问Docker,请确保该路径存在且具备访问权限。
- Containerd:Logtail通过/run/containerd/containerd.sock访问Containerd,请确保该路径存在且具备访问权限。