本文以Filebeat为例,介绍安装和管理采集器(Beats)的方法。通过采集器,您可以收集云服务器ECS(Elastic Compute Service)中的日志文件、网络数据、服务器指标等数据,发送到阿里云Elasticsearch或Logstash中,进行监控、分析等操作。

前提条件

您已完成以下操作:
  • 创建阿里云Elasticsearch实例或Logstash实例

    具体操作步骤请参见创建阿里云Elasticsearch实例创建阿里云Logstash实例

  • 开启Elasticsearch实例的自动创建索引功能。

    出于安全考虑,阿里云Elasticsearch默认不允许自动创建索引。但是Beats目前依赖该功能,因此如果采集器Output选择为Elasticsearch,需要开启自动创建索引功能,具体操作步骤请参见开启自动创建索引

  • 创建ECS实例,且该ECS实例与Elasticsearch实例或Logstash实例处于同一专有网络VPC(Virtual Private Cloud)下。

    具体操作步骤请参见使用向导创建实例

    注意
    • Beats默认安装目录为/opt/aliyunbeats/。安装后,ECS上会生成conflogsdata这3个目录,分别映射了配置文件、Beats日志文件和Beats数据文件。建议不要删除或修改这3个文件中的内容,否则可能出现异常或者导致数据不正确。当出现问题时,您可以在logs目录下查看Beats日志来定位问题。
    • Beats目前仅支持Aliyun Linux ,RedHat和CentOS这三种操作系统。
  • 在目标ECS实例上安装云助手和Docker服务。

    具体操作步骤请参见安装云助手客户端部署并使用Docker

操作步骤

  1. 登录阿里云Elasticsearch控制台,在左侧导航栏,单击Beats数据采集中心
  2. 创建采集器区域,单击Filebeat
    新建采集器页面
  3. 采集器配置中,输入或选择采集器信息。
    采集器配置
    参数 说明
    采集器名称 自定义输入采集器的名称。长度为1~30个字符,以大小写字母开头,可以包含字母、数字、下划线(_)或连字符(-)。
    安装版本 目前Filebeat只支持6.8.5版本。
    采集器Output Filebeat采集内容的输出地址。直接关联已经创建的阿里云Elasticsearch或Logstash实例。访问协议需要与所选Elasticsearch实例保持一致。
    用户名密码 如果采集器Output选择Elasticsearch,需要提供对应的用户名和密码,使Filebeat有权限向Elasticsearch实例中写入数据。
    启用Monitoring 用来监控Filebeat的相关指标。如果采集器Output选择Elasticsearch,Monitor默认使用和采集器Output相同的阿里云Elasticsearch实例。如果采集器Output选择Logstash,则需要在配置文件中进行额外配置。
    启用Kibana Dashboard 用来配置默认的Kibana Dashboard。由于阿里云Kibana配置在VPC内,因此需要在Kibana配置页面开通Kibana私网访问功能,详情请参见配置Kibana公网或私网访问白名单
    填写Filebeat文件目录 Filebeat专有的配置项。由于阿里云采用Docker部署Beats,因此需要将您希望采集的目录映射到Docker内,建议与filebeat.yml中的input.path保持一致。
    采集器YML配置 采集器配置文件。请根据业务需求,修改采集器YML文件的配置,详情请参见采集器YML配置
    注意 指定采集器Output后,不需要再在采集器YML配置中单独设置Output,否则会提示ECS采集器安装错误。
  4. 单击下一步
  5. 采集器安装向导中,选择需要操作的ECS实例。
    采集器安装
    注意 采集器安装实例列表中会显示当前账号下,所有和采集器Output所选的Elasticsearch实例或Logstash实例处于同一个VPC下的ECS,并且只有已经安装云助手及Docker服务的ECS才能安装采集器。
  6. 单击启动
  7. 启动成功对话框中,单击前往采集中心查看,返回Beats数据采集中心页面查看创建成功的采集器。
    等待采集器状态变为已生效,说明采集器创建成功。已生效中的两个数字分别表示安装成功的ECS数和目标ECS数,如果ECS实例生效成功,则两边数字相等。已生效采集器状态
  8. 查看运行实例。
    采集器创建成功后,您可以查看运行实例,判断采集器是否安装成功,并根据提示处理异常情况。
    1. 采集器管理区域,单击对应采集器右侧操作列下的查看运行实例
    2. 查看运行实例页面,查看采集器安装情况
      采集器安装情况分为3种:心跳正常心跳异常安装失败查看运行实例
      注意心跳异常或者安装失败的情况下,您可以选择移除或者重试问题节点。如果重试失败,请参见Beats安装失败的排查与解决方法进行排查。
    3. 单击添加安装实例,可继续添加需要安装同样配置和类型的采集器的ECS。
  9. 可选:查看Monitoring或Dashboard。
    如果您在创建采集器时勾选了启用Monitoring启用Kibana Dashboard,那么Beats启动后,可以在对应Elasticsearch实例的Kibana中查看Monitor信息或Dashboard图表。
    1. 采集器管理区域,单击对应采集器右侧操作列下的更多 > 查看Dashboard
    2. 在Kibana控制台登录页面,输入用户名和密码,单击登录。
    3. 在左侧导航栏,单击Dashboard,再单击对应指标,查看该指标的Dashboard图表。
      查看Dashboard图表
    4. 在左侧导航栏,单击Monitoring,再单击对应监控项,查看该监控项的Monitoring信息。
      查看Monitoring信息