本文以Filebeat为例,介绍安装和管理采集器(Beats)的方法。通过采集器,您可以收集云服务器ECS(Elastic Compute Service)中的日志文件、网络数据、服务器指标等数据,发送到阿里云Elasticsearch(简称ES)或阿里云LogstashService(简称Logstash)中,进行监控、分析等操作。

前提条件

  • 请确保您已经创建了阿里云ES实例或Logstash实例。

    详情请参见创建阿里云Elasticsearch实例创建阿里云LogstashService实例

  • 请确保您已经开启了阿里云ES实例的自动创建索引功能。

    处于安全考虑,阿里云ES默认不允许自动创建索引。但是Beats目前依赖该功能,因此如果采集器Output选择为Elasticsearch,需要开启自动创建索引功能,详情请参见YML文件配置

  • 请确保您已经创建了阿里云ECS实例,且该ECS实例与阿里云ES实例或Logstash实例处于同一专有网络VPC(Virtual Private Cloud)下。

    创建阿里云ECS实例详情请参见使用向导创建实例

    注意
    • Beats默认安装目录为/opt/aliyunbeats/。安装后,ECS上会生成conflogsdata这3个目录,分别映射了配置文件、Beats日志文件和Beats数据文件。建议不要删除或修改这3个文件中的内容,否则可能出现异常或者导致数据不正确。当出现问题时,您可以在logs目录下查看Beats日志,来定位问题。
    • Beats目前仅支持Aliyun Linux ,RedHat和CentOS这三种操作系统。
  • 请确保您已经在目标ECS实例上安装了云助手
  • 请确保您已经在目标ECS实例上安装了Docker服务

安装采集器

  1. 登录阿里云Beats数据采集中心控制台
  2. 新建采集器区域,单击Filebeat
    新建采集器页面
  3. 采集器配置向导中,输入或选择采集器信息。
    采集器配置
    表 1. Filebeat采集器配置参数说明
    配置 说明
    采集器名称 自定义输入采集器的名称。
    安装版本 目前Filebeat只支持6.8.5版本。
    采集器Output Filebeat采集内容的输出地址。直接关联已经创建的阿里云ES或Logstash实例。访问协议需要与所选阿里云ES实例保持一致。
    用户名密码 如果采集器Output选择Elasticsearch,需要提供对应的用户名密码,使Filebeat有权限向阿里云ES实例中写入数据。
    启用Monitoring 用来监控Filebeat的相关指标。如果采集器Output选择Elasticsearch,Monitor默认使用和采集器Output相同的阿里云ES实例。如果采集器Output选择Logstash,则需要在配置文件中进行额外配置。
    启用Kibana Dashbord 用来配置默认的Kibana Dashbord。由于阿里云Kibana配置在VPC内,因此需要在Kibana配置页面开通Kibana私网访问功能,详情请参见Kibana私网访问
    填写Filebeat文件目录 Filebeat专有的配置项。由于阿里云采用Docker部署Beats,因此需要将您希望采集的目录映射到Docker内,建议与filebeat.yml中的input.path保持一致。
    采集器Yml配置 采集器配置文件。请根据业务需求,修改采集器YML文件的配置,详情请参见采集器YML配置
    注意 指定采集器Output后,不需要再在采集器Yml配置中单独设置Output,否则会提示ECS采集器安装错误。
  4. 单击下一步
  5. 采集器安装向导中,选择需要操作的ECS实例。
    采集器安装
    注意 采集器安装实例列表中会显示当前账号下,所有和采集器Output所选的阿里云ES实例或Logstash实例处于同一个VPC下的ECS,并且只有已经安装云助手及Docker服务的ECS才能安装采集器。
  6. 单击启动
  7. 启动成功对话框中,单击前往采集中心查看,返回Beats数据采集中心页面查看新建成功的采集器。
    等待采集器状态变为已生效,即可完成采集器的安装。已生效中的两个数字分别表示安装成功的ECS数和目标ECS数,如果ECS实例生效成功,则两边数字相等。已生效采集器状态

配置采集器

  1. 采集器管理区域,单击对应采集器右侧操作栏下的采集器配置
  2. 采集器配置页面,单击修改
  3. 根据需求修改采集器配置信息,单击保存
    采集器配置参数说明请参见Filebeat采集器配置参数说明

查看运行实例

  1. 采集器管理区域,单击对应采集器右侧操作栏下的查看运行实例
  2. 查看运行实例页面,查看采集器的安装情况。
    采集器安装情况分为3种:心跳正常心跳异常安装失败。在心跳异常或者安装失败的情况下,您可以选择移除或者重试问题节点。如果失败,请再次确认是否满足前提条件。查看运行实例
  3. 单击添加安装实例,可继续添加需要安装同样配置和类型的采集器的ECS。

查看Monitoring或Dashboard

如果您在安装采集器时勾选了启用Monitoring启用Kibana Dashbord,那么Beats启动后,可以在对应的Kibana上查看Monitor信息或Dashboard图表。

  1. 采集器管理区域,单击对应采集器右侧操作栏下的更多 > 查看Dashboard
  2. 在Kibana控制台登录页面,输入用户名和密码,单击登录。
  3. 单击左侧导航栏的Dashboard,查看Dashboard图表。
    查看Dashboard图表
  4. 单击左侧导航栏的Monitoring,查看Monitoring信息。
    查看Monitoring信息