什么是阿里云Logstash

阿里云Logstash作为服务器端的数据处理管道,提供了100%兼容开源Logstash的能力。Logstash能够动态地从多个来源采集数据、转换数据,并且将数据存储到所选位置。通过输入、过滤和输出插件,Logstash可以加工和转换任何类型的事件。

为什么选择阿里云Logstash

阿里云Logstash除了支持所有官方预置插件外,还致力于打造包含logstash-input-sls、logstash-input-oss、logstash-output-oss等适用各类场景的插件中心,为您提供更为强大的数据处理和搬迁能力,实现云上数据生态打通。

在阿里云ELK(Elasticsearch、Logstash、Kibana)生态下,Elasticsearch作为实时分布式搜索和分析引擎,Logstash提供了数据采集、转换、优化和输出的能力,Kibana提供了强大的可视化界面,可以被广泛应用于实时日志处理、全文搜索和数据分析等领域。

重要

阿里云Logstash基于开源Logstash提供托管服务,功能与开源版本保持一致。如遇服务相关问题,可通过工单与我们联系。

若因Logstash或其第三方组件存在缺陷,或因为配置和使用不当导致业务受损,我们无法对此类问题承担责任。遇到此类情况,建议优先查阅Logstash官方/社区文档或在社区求助。

Logstash数据传输原理

  1. 数据采集与输入:Logstash支持各种输入选择,能够以连续的流式传输方式,轻松地从日志、指标、Web应用以及数据存储中采集数据。

  2. 实时解析和数据转换:通过Logstash过滤器解析各个事件,识别已命名的字段来构建结构,并将它们转换成通用格式,最终将数据从源端传输到存储库中。

  3. 存储与数据导出:Logstash提供多种输出选择,可以将数据发送到指定的地方。

产品特性

特性

相关文档

快速部署、轻松管理、简化复杂的运维操作,支持灵活扩容。

部署在逻辑隔离的专有网络中,提高产品的安全性。

创建阿里云Logstash实例

支持上传自定义扩展文件,提供对所有扩展文件进行管理的能力。

配置扩展文件

开放灵活的插件中心,集成官方全部Input、Output、Filter插件。同时支持日志服务SLS、OSS等阿里云产品输入或输出插件。

插件配置

支持通过配置NAT网关,实现与公网的连通。

配置NAT公网数据传输

通过配置文件集中式管理管道。支持在管道配置完成后,直接在控制台上查看管道配置的输出结果。

相关文档

数据同步

数据迁移

日志分析

使用Filebeat+Kafka+Logstash+Elasticsearch构建日志分析系统