阿里云Elasticsearch通过Beats搭建可视化运维系统

相关概念

Beats是一个集合了多种单一用途的数据采集器平台，这些采集器安装后可用作轻量型代理，从成百上千或成千上万台机器向Logstash或ES发送数据。

Metricbeat是一个轻量级的指标采集器，用于从系统和服务中收集指标。从CPU到内存，从Redis到Nginx，Metricbeat能够以一种轻量型的方式，输送各种系统和服务的统计数据。

教程概述

注意事项

本案例使用了0.0.0.0/1,128.0.0.0/1的Elasticsearch实例公网白名单，这个配置将导致您的阿里云Elasticsearch基本上完全暴露在公网中，在进行同样配置前请先评估是否可以接受这个风险。

准备工作

• 购买阿里云ES实例。
  说明 如果您需要通过阿里云ES实例的内网地址来访问ES，还需要先购买一台与阿里云ES实例相同VPC和可用区的阿里云ECS实例进行访问操作。
• 下载Metricbeat：
  • MAC系统的Metricbeat安装包下载地址。
  • 32位Linux系统的Metricbeat安装包下载地址。
  • 64位Linux系统的Metricbeat安装包下载地址。
  • 32位Windows系统的Metricbeat安装包下载地址。
  • 64位Windows系统的Metricbeat安装包下载地址。

配置阿里云ES

1. 登录阿里云ES控制台，单击实例ID > 安全配置。
2. 打开公网地址开关，待配置生效后，单击公网地址访问白名单右侧的修改，将您MAC机器对外的公网IP配置到公网地址访问白名单中。
   注意 如果您使用的是公司或WIFI等网络，需要将公网出口的跳板机IP配置进去。如果获取不到，建议配置0.0.0.0/1,128.0.0.0/1来开放尽可能多的IP（本篇以此为例）。需要特别注意这个配置将导致您的阿里云ES基本上完全暴露在公网中，需要先评估下是否可以接受这个风险。
3. 返回实例的基本信息页面，获取阿里云ES实例的公网地址备用。
4. 切换到ES集群配置页面，单击YML文件配置右侧的修改配置，将自动创建索引设置为允许自动创建索引。
   注意 此配置需要重启您的ES实例才能生效，为保证您的业务不受影响，请谨慎操作。
5. 勾选该操作会重启实例，请确认后操作，单击确认。

   重启过程中，可在任务列表中查看重启进度。重启完成后，即可完成ES实例的配置。

配置Metricbeat

1. 将在准备工作中下载的Metricbeat安装包解压缩，并进入Metricbeat文件夹。
2. 打开并编辑metricbeat.yml中Elasticsearch output部分内容，并取消对应内容的注释状态。

   参数	说明
   hosts	为阿里云Elasticsearch实例的公网/内网地址（本文以阿里云Elasticsearch实例的公网地址为例）。
   protocol	需要配置为http。
   username	默认是elastic。
   password	为购买阿里云Elasticsearch实例时填写的登录密码。

3. 执行以下命令，启动Metricbeat。

   ./metricbeat -e -c metricbeat.yml

   启动成功后，Metricbeat就开始向您的阿里云Elasticsearch推送数据了。

在Kibana中查看Dashboard

本案例参考文档：借助Beats快速搭建可视化运维系统。