通过Remote Write协议接入Prometheus监控数据

Prometheus是一款面向云原生的监控软件,支持众多软件、系统的数据采集与监控。本文介绍如何将Prometheus监控数据采集到日志服务,从而使用日志服务对数据进行分析与监控。

前提条件

操作步骤

日志服务支持Prometheus的Remote Write协议,只需要在Prometheus中启动Remote Write功能即可采集数据到日志服务,相关操作如下所示。

  1. 登录Prometheus所在服务器。

  2. 打开配置文件,并根据实际情况替换如下参数。具体操作,请参见remote_write

    url: https://sls-prometheus-test.cn-beijing.log.aliyuncs.com/prometheus/sls-prometheus-test/prometheus-raw/api/v1/write
    basic_auth:
      username: access-key-id
      password: access-key-secret
    
    queue_config:
      batch_send_deadline: 20s
      capacity: 20480
      max_backoff: 5s
      max_samples_per_send: 2048
      min_backoff: 100ms
      min_shards: 100                      

    参数

    说明

    url

    日志服务MetricStore的URL,格式为https://{project}.{sls-endpoint}/prometheus/{project}/{metricstore}/api/v1/write。其中:

    • {sls-endpoint}:服务入口。更多信息,请参见服务入口

    • {project}:您已创建的Project。

    • {metricstore}:您已创建的MetricStore。

    重要
    • 如果您是在阿里云内网,请优先使用内网域名。

    • 为保证传输安全性,请务必使用https。

    basic_auth

    鉴权信息,以Remote Write协议写入数据到日志服务需要BasicAuth鉴权。其中:

    • username为您的阿里云账号AccessKey ID。

    • password为您的阿里云AccessKey Secret。

    建议您使用只具备日志服务Project写入权限的RAM用户AccessKey。更多信息,请参见授予指定Project写入权限

    queue_config

    queue_config用于设置写入的缓存、重试等策略。

    为避免过多无效网络请求,建议min_backoff不低于100msmax_backoff不低于5s

    如果Prometheus数据量较大,可修改queue_config配置,建议修改为:

    batch_send_deadline: 20s
    capacity: 20480
    max_backoff: 5s
    max_samples_per_send: 2048
    min_backoff: 100ms
    min_shards: 100
  3. 验证是否已上传数据到日志服务。

    配置好Prometheus后,您可通过预览方式查看数据是否已上传到日志服务。

    1. 登录日志服务控制台

    2. 在Project列表区域,单击目标Project。

    3. 时序存储 > 时序库页签中,选择目标MetricStore右侧的修改日志库图标 > 消费预览

      消费预览页面,如果有数据,则表示配置成功。Prometheus-数据消费

后续步骤

采集到Prometheus监控数据后,您可以进行如下操作: