Prometheus是一款面向云原生的监控软件,支持众多软件、系统的数据采集与监控。本文介绍如何将Prometheus监控数据采集到日志服务,从而使用日志服务对数据进行分析与监控。
前提条件
-
已创建MetricStore。具体操作,请参见创建MetricStore。
-
已安装Prometheus。具体操作,请参见GETTING STARTED。
-
已在Prometheus上配置数据采集规则。具体操作,请参见scrape_config。
操作步骤
日志服务支持Prometheus的Remote Write协议,只需要在Prometheus中启动Remote Write功能即可采集数据到日志服务,相关操作如下所示。
-
登录Prometheus所在服务器。
-
打开配置文件,并根据实际情况替换如下参数。具体操作,请参见remote_write。
url: https://sls-prometheus-test.cn-beijing.log.aliyuncs.com/prometheus/sls-prometheus-test/prometheus-raw/api/v1/write basic_auth: username: access-key-id password: access-key-secret queue_config: batch_send_deadline: 20s capacity: 20480 max_backoff: 5s max_samples_per_send: 2048 min_backoff: 100ms min_shards: 100参数
说明
url
日志服务MetricStore的URL,格式为https://{project}.{sls-endpoint}/prometheus/{project}/{metricstore}/api/v1/write。其中:
-
{sls-endpoint}:服务入口。更多信息,请参见服务入口。
-
{project}:您已创建的Project。
-
{metricstore}:您已创建的MetricStore。
重要-
如果您是在阿里云内网,请优先使用内网域名。
-
为保证传输安全性,请务必使用https。
basic_auth
鉴权信息,以Remote Write协议写入数据到日志服务需要BasicAuth鉴权。其中:
-
username为您的阿里云账号AccessKey ID。
-
password为您的阿里云AccessKey Secret。
建议您使用只具备日志服务Project写入权限的RAM用户AccessKey。更多信息,请参见授予指定Project写入权限。
queue_config
queue_config用于设置写入的缓存、重试等策略。
为避免过多无效网络请求,建议min_backoff不低于100ms,max_backoff不低于5s。
如果Prometheus数据量较大,可修改queue_config配置,建议修改为:
batch_send_deadline: 20s capacity: 20480 max_backoff: 5s max_samples_per_send: 2048 min_backoff: 100ms min_shards: 100 -
-
验证是否已上传数据到日志服务。
配置好Prometheus后,您可通过预览方式查看数据是否已上传到日志服务。
-
登录日志服务控制台
-
在Project列表区域,单击目标Project。
-
在页签中,选择目标MetricStore右侧的。
在消费预览页面,如果有数据,则表示配置成功。消费预览页面以表格形式展示数据,包含时间/来源和内容两列。每条数据包含 Prometheus 指标信息,例如
__labels__、__name__、__value__等字段,可查看具体的指标名称、标签键值对及对应数值。重要若时序数据以remote write协议写入SLS时序库,SLS侧会默认将
MetricName与Labels作为HashKey,由此将不同时间线的时序数据路由写入到特定的Shard中,以提升存储侧的数据局部性。
-
后续步骤
采集到Prometheus监控数据后,您可以进行如下操作:
-
使用日志服务查询和分析Prometheus监控数据。具体操作,请参见查询和分析时序数据。
-
使用Grafana可视化展示Prometheus监控数据。具体操作,请参见时序数据对接Grafana。
图标 > 消费预览