Logstash是开源的服务器端数据处理管道，能够同时从多个数据源采集数据，然后对数据进行转换，并将数据写入指定的存储中。AnalyticDB for MySQL完全兼容MySQL，您可以将Logstash Input插件支持的任一数据源中的数据写入AnalyticDB for MySQL。本文介绍如何通过logstash-input-kafka插件将Kafka数据写入到AnalyticDB for MySQL。

Logstash组件介绍

  • 输入-采集各种样式、大小和来源的数据

    在实际业务中，数据往往以各种各样的形式分散或集中地存储在多个系统中，Logstash支持多种数据输入方式，可以在同一时间从多种数据源采集数据。Logstash能够以连续的流式传输方式轻松地从用户的日志、指标、Web应用、数据存储以及AWS服务采集数据。

  • 过滤-实时解析和转换数据

    数据从源传输到目标存储的过程中，Logstash过滤器能够解析各个事件，识别已命名的字段来构建结构，并将它们转换成通用格式，从而更轻松、快速地分析和实现商业价值。

    • 使用Grok从非结构化数据中派生出结构化数据。
    • 从IP地址破译出地理坐标。
    • 将PII数据匿名化，完全排除敏感字段。
    • 简化整体处理，不受数据源、格式或架构的影响
  • 输出-导出数据

    除了AnalyticDB for MySQL以外，Logstash提供多种数据输出方向，灵活解锁众多下游用例。

示例

Kafka是一个高吞吐量的分布式发布、订阅日志服务，具有高可用、高性能、分布式、高扩展、持久性等特点。目前Kafka已经被各大公司广泛使用，同时logstash也可以快速接入业务中，免去重复建设的麻烦。

详情请参见使用Logstash将Kafka数据写入AnalyticDB for MySQL。