全部产品
云市场

概述

更新时间:2019-11-04 18:19:48

背景信息

Logstash是开源的服务器端数据处理管道,能够同时从多个数据源采集数据,然后对数据进行转换,最后将数据写入指定的存储中。

AnalyticDB for MySQL完全兼容MySQL,因此您可以将Logstash Input插件支持的任一数据源中的数据写入AnalyticDB for MySQL。本文介绍如何通过logstash-input-kafka插件将Kafka数据写入到AnalyticDB for MySQL。

Logstash组件介绍

输入-采集各种样式、大小和来源的数据

在实际业务中,数据往往以各种各样的形式分散或集中地存储在多个系统中,Logstash支持多种数据输入方式,可以在同一时间从多种数据源采集数据。Logstash能够以连续的流式传输方式轻松地从用户的日志、指标、Web应用、数据存储以及AWS服务采集数据。

过滤-实时解析和转换数据

数据从源传输到目标存储的过程中,Logstash过滤器能够解析各个事件,识别已命名的字段来构建结构,并将它们转换成通用格式,从而更轻松、快速地分析和实现商业价值。

  • 使用Grok从非结构化数据中派生出结构化数据。

  • 从IP地址破译出地理坐标。

  • 将PII数据匿名化,完全排除敏感字段。

  • 简化整体处理,不受数据源、格式或架构的影响

输出-导出数据

除了AnalyticDB for MySQL以外,Logstash提供多种数据输出方向,灵活解锁众多下游用例。

示例

Kafka是一个高吞吐量的分布式发布、订阅日志服务,具有高可用、高性能、分布式、高扩展、持久性等特点。目前Kafka已经被各大公司广泛使用,同时logstash也可以快速接入业务中,免去重复建设的麻烦。

使用Logstash将Kafka数据写入AnalyticDB for MySQL