本文档介绍Logstash使用过程中的常见问题。

公网数据导入和导出常见问题

问题:如何将公网数据导入或导出到Logstash中?

解决方法:Logstash实例部署在用户账号的VPC下,可以通过配置NAT网关实现与公网的连通。

  1. 创建NAT网关
  2. 创建弹性公网IP,并绑定NAT。

    详细操作方法请参见绑定弹性公网IP

  3. 按照需求配置SNAT(适用于Logstash主动访问公网)或DNAT(适用于公网服务向Logstash节点推送数据)。

    详细操作方法请参见创建DNAT条目创建SNAT条目

Logstash访问Kafka常见问题

下文为您介绍当Logstash使用Kafka作为输入或者输出时,遇到的问题及处理方法。

  • 问题:当使用自建Kafka时,出现如下No entry found for connection错误日志,如何处理?
    [2019-09-22T10:01:55,914][INFO ][org.apache.kafka.clients.consumer.internals.AbstractCoordinator] [Consumer clientId=logstash-3, groupId=group_1] Discovered group coordinator iZbp15qsax98n3hoiwn8d0Z:9092 (id: 2147483646 rack: null)
    // 省略若干行日志
    Error: No entry found for connection 2147483646
    Exception: Java::JavaLang::IllegalStateException

    原因:Logstash节点无法解析到Kafka服务的hostname对应的IP地址。

    解决方法:请在server.properties中添加如下配置(假设Kafka服务运行在10.10.10.10的9092端口)。
    listeners=PLAINTEXT://10.10.10.10:9092
    advertised.listeners=PLAINTEXT://10.10.10.10:9092
    注意 推荐您使用阿里云Kafka服务,并且需要保证,Logstash所在节点的IP地址位于Kafka访问控制白名单内。
  • 问题:出现could not be established. Broker may not be available错误日志,如何处理?

    原因:Kafka服务不存在或者无法连接。

    解决方法:请检查Kafka服务是否正常运行,或者pipline配置中的bootstrap_servers配置是否正确。