什么是Logstash?

Logstash是一个强大而灵活的工具,可以读取、处理和传送任何类型的数据。Logstash提供了许多功能,这些功能目前还不可用,或者通过Beats执行成本太高,例如通过对外部数据源执行查找来丰富文档。不管采用哪种方式,Logstash的这种功能和灵活性都是有代价的。此外,Logstash的硬件要求也显著高于Beats。严格来说,Logstash通常不应部署在低资源设备上。因此,在Beats功能不足以满足特定用例要求的情况下,可将Logstash用作其替代选择。

一种常见的架构模式是将Beats和Logstash组合起来,使用Beats来收集数据,并使用Logstash来执行Beats无法执行的数据处理任务。

使用阿里云Logstash进行RDS MySQL到ES数据迁移时,pipeline日志报错,并不停重启 ,报错显示没权限,如何处理?

请按照以下步骤进行排查:
  1. 检查RDS MySQL白名单是否开启,并且添加了Logstash集群的IP地址。

    Logstash集群的IP地址可在Logstash实例的基本信息页面获取。

    • 是,继续执行下一步。
    • 否,开启RDS白名单,并添加Logstash集群的IP地址,详情请参见访问白名单
  2. 检查RDS MySQL与Logstash是否在同一VPC下。
    • 是,可能是其他问题,请联系阿里云技术支持工程师解决。
    • 否,可配置NAT网关,实现VPC网络下的Logstash与公网连通,详情请参见NAT公网数据传输配置。或者重新创建同一VPC下的Logstash集群。

ECS上搭建的Logstash接入到阿里云ES上,启动时报错status:400 NotAcceptable,如何处理?

请按照以下步骤进行排查:
  1. 检查ECS和ES是否在同一VPC下。
    • 是,继续执行下一步。
    • 否,请配置NAT网关,实现经典网络互通,详情请参见通过经典网络访问ES常见问题。或者新建一个与ECS在同一VPC下的ES。
  2. 使用telnet <ECS IP地址> 9200,检查ECS是否开启了9200端口。
    • 是,继续执行下一步。
    • 否,请开启ECS的9200端口。
  3. 检查Logstash和阿里云ES的版本是否一致?
    • 是,可能是其他问题导致,请联系阿里云技术工程师解决。
    • 否,请使用相同版本的Logstash和阿里云ES实例,详情请参见产品兼容性