阿里云Elasticsearch通过Beats搭建可视化运维系统_最佳实践

本文以使用Metricbeat采集Mac电脑的指标信息，推送到阿里云Elasticsearch（简称ES）上，并在Kibana中生成对应Dashborard的场景为例，介绍通过Beats和阿里云ES搭建可视化运维系统的方法。

背景信息

Beats是一个集合了多种单一用途的数据采集器的平台，这些采集器安装后可用作轻量型代理，从成百上千或成千上万台机器向Logstash或ES发送数据。

Metricbeat是一个轻量级的指标采集器，可以从系统和服务中收集指标。从CPU到内存，从Redis到Nginx，Metricbeat能够以一种轻量型的方式采集各种系统和服务的统计数据。

本案例的整体步骤如下：

说明您也可以参考本案例的步骤，使用Metricbeat采集一台Linux系统或Windows系统电脑的指标信息，并推送到阿里云ES上。

购买阿里云ES实例。

说明如果您需要通过阿里云ES实例的内网地址来访问ES，还需要先购买一个与阿里云ES实例在相同地域和可用区，以及相同专有网络VPC（Virtual Private Cloud）下的阿里云ECS实例进行访问操作。
下载Metricbeat：
- MAC系统的Metricbeat安装包下载地址。
- 32位Linux系统的Metricbeat安装包下载地址。
- 64位Linux系统的Metricbeat安装包下载地址。
- 32位Windows系统的Metricbeat安装包下载地址。
- 64位Windows系统的Metricbeat安装包下载地址。

登录阿里云Logstash控制台。
在顶部菜单栏处，选择地域。
在实例列表页面，单击实例ID/名称链接，或者单击操作列下的实例管理。
在左侧导航栏，单击安全配置。
打开公网地址开关，待配置生效后，单击公网地址访问白名单右侧的修改，将您MAC机器对外的公网IP地址配置到公网地址访问白名单中。

注意如果您使用的是WIFI等网络，需要将公网出口的跳板机IP地址配置进去。如果获取不到，建议配置0.0.0.0/1,128.0.0.0/1来开放尽可能多的IP地址（本篇以此为例）。需要注意这个配置将导致您的阿里云ES完全暴露在公网中，需要先评估下是否可以接受这个风险。
返回实例的基本信息页面，获取阿里云ES实例的公网地址备用。
切换到ES集群配置页面，单击YML文件配置右侧的修改配置，将自动创建索引设置为允许自动创建索引。

警告此配置需要重启阿里云ES实例才能生效，为保证您的业务不受影响，请确认后再进行操作。
勾选该操作会重启实例，请确认后操作，单击确定。
重启过程中，可在任务列表中查看重启进度。重启完成后，即可完成阿里云ES实例的配置。

打开并编辑metricbeat.yml中的Elasticsearch output部分内容，取消对应内容的注释状。


参数	说明
`hosts`	为阿里云ES实例的公网或内网地址（本文以阿里云ES实例的公网地址为例）。
`protocol`	需要配置为`http`。
`username`	默认是`elastic`。
`password`	购买阿里云ES实例时填写的登录密码。

执行以下命令，启动Metricbeat。
```
./metricbeat -e -c metricbeat.yml
```
启动成功后，Metricbeat就开始向您的阿里云ES推送数据了。

登录目标阿里云ES实例的Kibana控制台。
登录Kibana控制台的具体步骤请参见登录Kibana控制台。
单击左侧导航栏的Management，按照以下步骤创建一个索引模式。

注意如果已经创建了索引模式，可忽略此步骤。
1. 在Management页面，单击Kibana区域中的Index Patterns。
2. 在Create index pattern页面，输入索引模式名称（待查询的索引名称）。
3. 单击Next step。
4. 单击Create index pattern。
在左侧导航栏单击Dashboard。
在Dashboard页面查看相关信息。
- 各类相关指标列表如下。
- 单击Metricbeat-cpu，查看CPU指标信息。
  
  说明您可以将数据定义成5s刷新一次，然后生成对应的报表，并接入WebHook对异常进行告警。