当您需要查看并分析Linux系统的system指标数据时,可通过Metricbeat采集system数据到阿里云Elasticsearch Serverless中,然后在控制台中完成可视化查询、分析和展示。本文介绍具体的实现方法。

操作流程

  1. 步骤一:环境准备
  2. 步骤二:安装并配置Metricbeat
  3. 步骤三:在Elasticsearch Serverless服务控制台查看日志信息

步骤一:环境准备

  1. 开通阿里云Elasticsearch Serverless服务,并创建应用和日志类型的数据流。
  2. 创建阿里云ECS实例。
    说明 ECS实例用来安装Metricbeat采集器,如果您已创建ECS实例,可忽略此步骤。
    具体操作请参见使用向导创建实例

步骤二:安装并配置Metricbeat

  1. 连接ECS实例。
    具体操作请参见通过密码或密钥认证登录Linux实例
    说明 本文档以普通用户权限为例。
  2. 安装Metricbeat。
    1. 下载Metricbeat安装包。
      sudo wget https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-7.16.3-linux-x86_64.tar.gz
      说明 本文以Metricbeat 7.16.3版本为例,其他版本不保证兼容性。如果遇到任何问题,可加入钉钉群11205017670进行咨询。
    2. 解压。
      sudo tar -zxf metricbeat-7.16.3-linux-x86_64.tar.gz
  3. 修改Metricbeat配置文件。
    1. 进入Metricbeat目录。
      cd metricbeat-7.16.3-linux-x86_64
    2. 新建Metricbeat配置文件(示例文件名称为mb2serverless.yml)。
      sudo vim mb2serverless.yml
    3. 在Metricbeat配置文件中添加以下脚本。
      metricbeat.modules:
      - module: system
        metricsets:
          - cpu
          - load
          - memory
          - network
          - process
          - process_summary
          - uptime
          - socket_summary
        enabled: true
        period: 10s
        processses: ['.*']
      
        cpu.metrics:  ["percentages","normalized_percentages"]
        core.metrics: ["percentages"]
      
      output.elasticsearch:
        hosts: ["https://es-serverless-cn-hangzhou.aliyuncs.com:443"]
      
      
      setup.ilm.enabled: false
      setup.template.enabled: false
      
      output.elasticsearch.headers:
        X-Api-Key: *****
        X-Xops-App-Name: test
        X-Xops-Data-Stream-Name: test_metric
        X-Xops-Data-Type: logs
      部分参数说明如下:
      参数说明
      metricbeat.modules配置Metricbeat收集的模块指标信息。本示例收集system模块的指标信息,如果您需要收集其他模块的指标信息,请参见Metricbeat modules
      output.elasticsearch输出端Elasticsearch配置。

      hosts:配置为Elasticsearch Serverless服务的访问地址,获取方式请参见查看应用的基本信息

      setup.ilm.enabled创建的新索引是否启用索引生命周期管理。需要配置为false。
      setup.template.enabled是否加载Elasticsearch索引模板。需要配置为false。
      output.elasticsearch.headersServerless数据流的配置:
  4. 启动Metricbeat,并将日志输出到mb2serverless.log中。
    sudo nohup ./metricbeat -e -c mb2serverless.yml > mb2serverless.log 2>&1 &
    说明 如果无法传输数据,可以查看mb2serverless.log文件内容分析原因。

步骤三:在Elasticsearch Serverless服务控制台查看日志信息

  1. 进入Elasticsearch Serverless服务页面。
  2. 在左侧导航栏,单击应用管理
  3. 在应用列表中,单击目标应用名称。
  4. 在左侧导航栏,选择全观测应用与可视化 > 日志查询
  5. 日志查询页面,选择目标数据流,查看该数据流的日志。
    日志查询

    更多详细信息,请参见日志查询