当您需要查看并分析Linux系统的system指标数据时,可通过Metricbeat采集system数据到阿里云Elasticsearch Serverless中,然后在控制台中完成可视化查询、分析和展示。本文介绍具体的实现方法。
步骤一:环境准备
- 开通阿里云Elasticsearch Serverless服务,并创建应用和日志类型的数据流。
- 创建阿里云ECS实例。
说明 ECS实例用来安装Metricbeat采集器,如果您已创建ECS实例,可忽略此步骤。
具体操作请参见
使用向导创建实例。
步骤二:安装并配置Metricbeat
- 连接ECS实例。
- 修改Metricbeat配置文件。
- 进入Metricbeat目录。
cd metricbeat-7.16.3-linux-x86_64
- 新建Metricbeat配置文件(示例文件名称为mb2serverless.yml)。
sudo vim mb2serverless.yml
- 在Metricbeat配置文件中添加以下脚本。
metricbeat.modules:
- module: system
metricsets:
- cpu
- load
- memory
- network
- process
- process_summary
- uptime
- socket_summary
enabled: true
period: 10s
processses: ['.*']
cpu.metrics: ["percentages","normalized_percentages"]
core.metrics: ["percentages"]
output.elasticsearch:
hosts: ["https://es-serverless-cn-hangzhou.aliyuncs.com:443"]
setup.ilm.enabled: false
setup.template.enabled: false
output.elasticsearch.headers:
X-Api-Key: *****
X-Xops-App-Name: test
X-Xops-Data-Stream-Name: test_metric
X-Xops-Data-Type: logs
部分参数说明如下:
参数 | 说明 |
---|
metricbeat.modules | 配置Metricbeat收集的模块指标信息。本示例收集system模块的指标信息,如果您需要收集其他模块的指标信息,请参见Metricbeat modules。 |
output.elasticsearch | 输出端Elasticsearch配置。 hosts:配置为Elasticsearch Serverless服务的访问地址,获取方式请参见查看应用的基本信息。 |
setup.ilm.enabled | 创建的新索引是否启用索引生命周期管理。需要配置为false。 |
setup.template.enabled | 是否加载Elasticsearch索引模板。需要配置为false。 |
output.elasticsearch.headers | Serverless数据流的配置:- X-Api-Key:配置访问鉴权信息。您在步骤一:环境准备中创建的Serverless应用的Token,获取方式请参见管理Token。
- X-Xops-App-Name:应用名。您在步骤一:环境准备中创建的Serverless应用的名称,获取方式请参见应用管理。
- X-Xops-Data-Stream-Name:数据流名。您在步骤一:环境准备中创建的日志类型的数据流的名称,获取方式请参见数据流管理。
- X-Xops-Data-Type:数据类型,需要设置为logs。
|
- 启动Metricbeat,并将日志输出到mb2serverless.log中。
sudo nohup ./metricbeat -e -c mb2serverless.yml > mb2serverless.log 2>&1 &
说明 如果无法传输数据,可以查看mb2serverless.log文件内容分析原因。
步骤三:在Elasticsearch Serverless服务控制台查看日志信息
- 进入Elasticsearch Serverless服务页面。
- 在左侧导航栏,单击应用管理。
- 在应用列表中,单击目标应用名称。
- 在左侧导航栏,选择。
- 在日志查询页面,选择目标数据流,查看该数据流的日志。