阿里云Logstash(简称Logstash)作为服务器端的数据处理管道,提供了100%兼容开源Logstash的能力。Logstash能够动态地从多个来源采集数据、转换数据,并且将数据存储到所选择的位置。通过输入、过滤和输出插件,Logstash可以对任何类型的事件加工和转换。

为什么选择阿里云Logstash

阿里云Logstash除了支持所有官方预置插件外,还致力于打造包含logstash-input-sls、logstash-input-oss、logstash-output-oss等适用各类场景的插件中心,为您提供更为强大的数据处理和搬迁能力,实现云上数据生态打通。

在阿里云ELK(Elasticsearch、Logstash、Kibana)生态下,Elasticsearch作为实时分布式搜索和分析引擎,Logstash提供了数据采集、转换、优化和输出的能力,Kibana提供了强大的可视化界面,可以被广泛应用于实时日志处理、全文搜索和数据分析等领域。

Logstash数据传输原理

  1. 数据采集与输入:Logstash支持各种输入选择,能够以连续的流式传输方式,轻松地从日志、指标、Web应用以及数据存储中采集数据。
  2. 实时解析和数据转换:通过Logstash过滤器解析各个事件,识别已命名的字段来构建结构,并将它们转换成通用格式,最终将数据从源端传输到存储库中。
  3. 存储与数据导出:Logstash提供多种输出选择,可以将数据发送到指定的地方。

产品特性

特性 相关文档
快速部署、轻松管理、简化复杂的运维操作,支持灵活扩容。
部署在逻辑隔离的专有网络中,提高产品的安全性。 创建阿里云Logstash实例
支持上传自定义扩展文件,提供对所有扩展文件进行管理的能力。 配置扩展文件
开放灵活的插件中心,集成官方全部Input、Output、Filter插件。同时支持日志服务SLS、OSS等阿里云产品输入或输出插件。 插件配置概述
支持通过配置NAT网关,实现与公网的连通。 配置NAT公网数据传输
通过配置文件集中式管理管道。支持在管道配置完成后,直接在控制台上查看管道配置的输出结果。

相关文档

数据同步

数据迁移

日志分析

使用Filebeat+Kafka+Logstash+Elasticsearch构建日志分析系统