本文介绍了LLM中常见的指标，您可以使用这些指标自定义Grafana大盘。
公共Label
维度名称 | 维度Key | 示例 |
服务名称 | service | llm-rag-demo |
服务PID | pid | ggxw4lnjuz@0cb8619bb54**** |
机器IP | serverIp | 127.0.0.1 |
接口 | rpc | query |
应用来源 | source |
|
请求指标
原则上埋点支持的不同协议或者调用类型均可以覆盖到，分为提供服务、依赖服务等。更多信息，请参见JAVA应用的应用监控指标说明。
指标名称 | 指标 | 指标类型 | 采集间隔 | 单位 | 维度 |
总请求数 | arms_$callType_requests_count | Gauge | 15s | 无 | 不同服务访问类型维度不同。详细信息，请参见应用监控指标说明。 |
错误请求数 | arms_$callType_requests_error_count | Gauge | 15s | 无 | |
总请求耗时 | arms_$callType_requests_seconds | Gauge | 15s | 秒 | |
慢请求数 | arms_$callType_requests_slow_count | Gauge | 15s | 无 |
LLM指标
在公共基础Label上可能还存在如下Label：modelName、spanKind、usageType。
维度名称 | 维度Key | 示例 | 说明 |
模型名称 | modelName |
| 无 |
操作类型 | spanKind | LLM、CHAIN、EMBEDDING等，请参见LLM Trace字段定义说明。 | 无 |
使用类型 | usageType |
| Token相关指标专用。 |
操作类型
指标名称 | 指标 | 指标类型 | 采集间隔 | 单位 | 维度 |
调用LLM的请求次数 | genai_calls_count | Gauge | 1m | 无 |
|
调用LLM的响应耗时 | genai_calls_duration_seconds | Gauge | 1m | 秒 |
|
调用LLM的错误次数 | genai_calls_error_count | Gauge | 1m | 无 |
|
调用LLM的慢调用次数 | genai_calls_slow_count | Gauge | 1m | 无 |
|
大模型性能
指标名称 | 指标 | 指标类型 | 采集间隔 | 单位 | 维度 |
调用LLM首包响应耗时 | genai_llm_first_token_seconds | Gauge | 1m | 秒 |
|
大模型用量
指标名称 | 指标 | 指标类型 | 采集间隔 | 单位 | 维度 |
Tokens消耗统计 | genai_llm_usage_tokens | Gauge | 1m | 无 |
|