LoongCollector简介

LoongCollector是日志服务提供的新一代采集Agent,本文将为您介绍LoongCollector的概念与优势。

LoongCollector概述

LoongCollector 是一款集卓越性能、超强稳定性和灵活可编程性于一身的数据采集器,专为构建下一代可观测 Pipeline 设计。在继承了Logtail 强大的日志采集与处理能力的基础上,进行了全面的功能升级与扩展。功能将从原来的单一日志场景,逐步扩展为可观测数据采集、本地计算、服务发现的统一体。

核心优势

丰富的数据源

image.png

LoongCollector 坚信 All-in-One 的设计理念,致力于所有的采集工作只用一个 Agent 实现 ,包括Logs、Metric、Traces、Events、Profiles 的采集、处理、路由、发送等功能。在未来,LoongCollector 将着重强化其 Prometheus 抓取能力,深度融入 eBPF(Extended Berkeley Packet Filter)技术以实现无侵入式采集,提供原生的指标采集功能,做到真正的 OneAgent。

K8s 采集场景的能力是 LoongCollector 的核心能力所在。众所周知在可观测领域,K8s 元数据(例如 Namespace、Pod、Container、Labels 等)对于可观测数据分析往往起着至关重要的作用。LoongCollector 基于标准 CRI API 与 Pod 的底层定义进行交互,实现 K8s 下各类元数据信息获取,从而无侵入地实现采集时的 K8s 元信息 AutoTagging 能力。

灵活的编程管道

LoongCollector 通过 SPL 与多语言 Plugin 双引擎加持,构建完善的可编程体系。不同引擎都可以相互打通,通过灵活的组合实现预期的计算能力。

image.png

用户可以根据自身需求灵活选择引擎。如果看重执行效率,可以优先选择原生插件,辅以扩展插件;如果看重算子全面性,需要处理复杂数据,可以选择 SPL 引擎。

可编程引擎

分类

特点

多语言 Plugin 引擎

原生插件

C++实现

性能高,资源开销极低

较完善的算子能力

扩展插件

Golang实现

较高的性能,资源开销低

较完善的算子能力

SPL 引擎

SPL 引擎

C++实现

列式模型,向量化执行

性能高,资源开销低

全面的算子能力

管道式设计,灵活组合,可以处理复杂数据

高性能与高可靠

LoongCollector 始终将追求极致的采集性能和超强可靠性放在首位,LoongCollector 的核心价值在于为大规模分布式系统提供稳固、高效的可观测性数据统一采集 Agent 与端到端 Pipeline。不管在过去、现在还是未来,LoongCollector 都将持续通过技术革新与优化,实现资源利用效率的提升与在极端场景下的稳定运行。image.png