本文以Filebeat为例,介绍安装和管理采集器(Beats)的方法。通过采集器,您可以收集ECS中的日志文件、网络数据、服务器指标等数据,发送到阿里云Elasticsearch(简称ES)或Logstash中,进行监控、分析等操作。

前提条件

  • 准备目标ECS实例,实例必须为Linux系统。
    注意
    • 安装Beats所在的ECS,必须与Logstash和阿里云ES处于同一VPC下。
    • Beats默认安装目录为/opt/aliyunbeats/。安装后,ECS上会生成conflogsdata这3个目录,分别映射了配置文件、Beats日志文件和Beats数据文件。不建议删除或修改这3个文件中的内容,否则可能出现异常或者导致数据不正确。当出现问题时,您可以在logs目录下查看Beats日志,来定位问题。
  • 确保目标ECS上安装了云助手
  • 确保目标ECS上安装了Docker服务
  • 开通阿里云ES或Logstash服务。

    详情请参见创建阿里云Elasticsearch实例创建Logstash实例

  • 开启阿里云ES的自动创建索引功能。

    处于安全考虑,阿里云ES默认不允许自动创建索引。但是Beats目前依赖该功能,因此如果采集器Output选择为Elasticsearch,需要开启自动创建索引功能,详情请参见YML文件配置

安装采集器

  1. 登录阿里云ES控制台
  2. 单击左侧导航栏的Beats数据采集中心
  3. 新建采集器区域,单击任意一个采集器,本文以Filebeat为例。
    新建采集器页面
  4. 采集器配置向导中,输入或选择采集器信息。
    采集器配置
    配置 说明
    采集器名称 自定义输入采集器的名称。
    安装版本 目前Filebeat只支持6.8.5版本。
    采集器Output Filebeat采集内容的输出地址。直接关联已经开通的阿里云ES或Logstash集群。访问协议需要与所选ES实例保持一致。
    用户名密码 如果采集器Output选择Elasticsearch,需要您提供对应的用户名密码,使Filebeat有权限写入数据到ES集群。
    启用Monitoring 用来监控Filebeat的相关指标。如果采集器Output选择Elasticsearch,monitor默认使用和采集器Output相同的ES集群。如果采集器Output选择Logstash,则需要在配置文件中进行额外配置。
    启用Kibana Dashbord 用来配置默认的Kibana Dashbord。由于阿里云Kibana配置在VPC内,因此需要在Kibana配置页面开通Kibana私网访问功能,详情请参见Kibana私网访问
    填写Filebeat文件目录 Filebeat专有的配置项。阿里云采用Docker部署Beats,因此需要将您希望采集的目录映射到Docker内,建议与filebeat.yml中的input.path保持一致。
    采集器Yml配置 需要按照业务需求,修改采集器YML文件的配置,详情请参见采集器YML配置
  5. 单击下一步
  6. 采集器安装向导中,选择需要操作的ECS实例。
    采集器安装
    注意 实例列表下会筛选出该账号下,所有和采集器Output所选ES或Logstash集群处于同一个VPC下的ECS,并且只有已经安装云助手及Docker服务的ECS才可生效。
  7. 单击启动
  8. 启动成功对话框中,单击前往采集中心查看,返回Beats数据采集中心页面查看新建成功的采集器。
  9. 等待采集器状态变为已生效,即可完成采集器的安装。
    已生效中的两个数字分别表示安装成功的ECS数和目标ECS数,如果ECS实例生效成功,则两边数字相等。已生效采集器状态

采集器配置

  1. 采集器管理区域,单击对应采集器右侧操作栏下的采集器配置
  2. 采集器配置页面,单击修改
    修改采集器配置
  3. 修改采集器信息,单击保存

查看运行实例

  1. 采集器管理区域,单击对应采集器右侧操作栏下的查看运行实例
  2. 查看运行实例页面,查看采集器的安装情况。
    采集器安装情况分为3种:心跳正常、心跳异常、安装失败。在心跳异常或者安装失败的情况下,您可以选择移除或者重试问题节点。如果失败,请再次确认是否满足前提条件。查看运行实例
  3. 单击添加安装实例,可继续添加需要安装该配置和类型的采集器的ECS。

查看Monitoring/Dashboard

如果您配置了Monitoring或Dashboard,那么Beats启动后,可以在对应的Kibana上查看Monitor信息或者Dashboard图表。

  1. 采集器管理区域,单击对应采集器右侧操作栏下的更多 > 查看Dashboard
  2. 进入Kibana页面,单击左侧导航栏的Dashboard,查看Dashboard图表。
    查看Dashboard图表
  3. 单击左侧导航栏的Monitoring,查看Monitoring信息。
    查看Monitoring信息