Milvus Insight数据洞察
Milvus Insight是Milvus Manager内置的数据洞察与诊断能力,把实例概览、操作审计、查询明细和异步任务集中到一个入口,用于快速定位慢查询、失败请求、热点Collection和异步任务执行进度,辅助日常运维和问题排查。此外,容量规划和健康日报提供资源分布分析、容量评估及每日健康诊断能力。
功能说明
页签 |
说明 |
概览 |
展示实例最近24小时的关键指标与异常趋势,包括DDL/DCL操作、DML调用、DQL调用、慢查询、活跃Collection、活跃用户和安全告警。 |
操作审计 |
按时间范围、Collection、数据库、用户、操作类型、操作和状态查询操作记录,查看执行状态、耗时和请求详情。 |
查询明细 |
查看Query、Search和HybridSearch请求的过滤条件、耗时、nq、慢查询级别和执行状态。 |
异步任务 |
查看LoadCollection、IndexBuild、Compaction、Import和Sync等异步任务的状态、进度、耗时和失败原因。 |
容量规划(Beta) |
结合QueryNode资源水位、业务读写负载、查询延迟及Collection加载分布,评估容量与负载分布问题。 |
健康日报(Beta) |
按日查看综合得分、诊断领域、风险与优化建议、热表分析,并导出报告。 |
使用限制
实例版本满足Milvus Insight的最低版本要求:2.5系列需为2.5.12-0.7.0_3.11.0及以上,2.6系列需为2.6.18-0.1.6_3.11.0及以上。如果页面提示当前实例版本暂不支持Milvus Insight,请单击升级将实例升级至最新版本,升级完成后再查看观测与诊断数据。升级操作请参见升级版本。
说明实例升级到支持Milvus Insight的版本后,Milvus Insight仅展示版本支持之后产生的观测数据。
单次查询的时间跨度上限:查询明细最长为1小时,操作审计和异步任务最长为24小时。超出上限后查询失败,请缩小时间范围后重试。
三个页签均默认查询最近1小时的数据。操作审计和异步任务可在上限范围内手动调整为更长的时间范围。
操作审计、查询明细和异步任务单次最多导出10,000行记录。符合筛选条件的记录超过导出上限时页面会提示,请缩小时间范围或增加筛选条件后重新导出。
概览为最近24小时的聚合数据,页面底部展示本次聚合的数据快照时间。新建实例或刚升级到支持Milvus Insight的版本时,需要积累一段时间的数据后才能看到完整的聚合结果。
进入Milvus Insight页面
登录阿里云Milvus控制台。
在左侧导航栏,单击实例列表。
在顶部菜单栏,选择目标地域。
在实例列表中,单击目标实例名称。
在实例详情页上方,单击Milvus Manager,并连接目标实例。
在Milvus Manager左侧导航栏,单击Milvus Insight。
页面展示概览、操作审计、查询明细、异步任务、容量规划和健康日报六个页签。如果展示的是版本升级引导页,表示当前实例版本暂不支持Milvus Insight,需先升级实例版本。
查看实例概览
在概览页签,查看实例最近24小时的运行情况。
指标 |
说明 |
DDL/DCL操作 |
Collection、索引、权限等结构与权限类操作的调用次数。 |
DML调用 |
写入类操作的调用次数和影响行数,并按Insert、Upsert、Delete和Bulk拆解。 |
DQL调用 |
查询类操作的调用次数,并按Search、Query和HybridSearch拆解。 |
慢查询 |
达到慢查询阈值的请求数量。阈值划分请参见本文的慢查询级别。 |
活跃Collection |
最近24小时内有访问记录的Collection数量。 |
活跃用户 |
最近24小时内有访问记录的用户数量。 |
安全告警 |
基于访问行为和异常情况生成的风险提示,用于辅助排查,不等同于完整的安全审计或入侵检测结论。 |
页面还展示TOP5 活跃用户、TOP5 热点 Collection和异常 / 慢查询趋势图,趋势图的图例包括慢查询、极慢、严重和错误,可用于判断异常集中在哪个时间段。
查询操作审计
在操作审计页签,按条件查询实例的操作记录。时间范围、Collection、数据库和用户在页面顶部的查询栏设置;操作类型、操作和状态通过表头的筛选图标设置。设置完成后单击查询。
筛选项 |
说明 |
时间范围 |
操作发生的时间范围,默认为最近1小时。 |
Collection |
按Collection名称过滤。 |
数据库 |
按数据库名称过滤。 |
用户 |
按执行操作的用户名过滤。 |
操作类型 |
按DDL、DCL、DML、DQL或Other过滤,支持多选。 |
操作 |
按具体操作名称过滤,例如CreateCollection、Insert、Flush、LoadCollection。 |
状态 |
按Success或Failed过滤。 |
列表展示操作的时间、操作类型、操作、Collection、Database、用户、状态和耗时。操作本身不涉及Collection时(例如Flush),Collection列显示为-。
单击操作列的详情,可在审计日志详情对话框中查看该次操作的完整上下文,包括客户端地址、SDK版本、错误码、错误信息、链路追踪ID、响应大小和请求参数详情。客户端地址会体现调用来源:通过SDK发起的操作显示客户端IP和端口,在Milvus Manager中发起的操作显示为Milvus Manager Console。
如需离线分析,单击导出 CSV,导出当前筛选条件下的全部记录。
导出文件的表头是接口原始字段名,例如traceId、logTime、timeCostMs、operationType,与界面上的中文列名不同。
查看查询明细
在查询明细页签,查看Query、Search和HybridSearch请求的执行情况,适用于定位慢查询、失败查询和热点访问。
除与操作审计相同的筛选项外,查询栏还支持最小耗时 (ms),用于只看耗时超过指定毫秒数的请求;表头还支持按慢查询级别筛选。
列表展示请求的时间、操作、Collection、Database、用户、过滤条件、耗时、nq、慢查询级别和状态。
单击详情,可在查询明细详情对话框中查看分区、查询向量数、是否慢查询、结果是否为空、过滤表达式、请求参数、SDK版本、客户端地址、链路追踪ID和错误信息等完整的查询上下文。如需离线分析,单击导出 CSV导出当前筛选条件下的记录。
慢查询级别
Milvus Insight根据Milvus服务端ACCESS日志记录的请求处理耗时time_cost划分慢查询级别。
慢查询级别 |
服务端请求处理耗时 |
NORMAL |
小于1,000 ms。 |
SLOW |
大于等于1,000 ms,且小于3,000 ms。 |
VERY_SLOW |
大于等于3,000 ms,且小于10,000 ms。 |
CRITICAL |
大于等于10,000 ms。 |
慢查询级别筛选器只提供SLOW、VERY_SLOW和CRITICAL三项。NORMAL表示未达到慢查询阈值,只作为列表中的取值出现。
页面展示的耗时和慢查询级别以Milvus服务端记录为准,不等同于客户端SDK调用的端到端耗时。网络传输、客户端反序列化以及大结果集传输等因素可能导致SDK端耗时更长。
查看异步任务
在异步任务页签,查看实例异步任务的执行状态和进度。列表展示任务ID、任务类型、Collection、Database、开始时间、结束时间、耗时、进度和状态,页面底部展示数据更新时间。
任务类型 |
说明 |
Import |
数据导入任务。 |
LoadCollection |
Collection加载任务。 |
Sync |
数据同步任务。 |
Compaction |
数据Compaction任务。 |
IndexBuild |
索引构建任务。 |
支持按任务类型和状态筛选,状态包括Running、Completed、Failed、Timeout和Canceled。单击详情,可在异步任务详情对话框中查看任务类型名、Collection ID、当前状态、是否终态、失败原因、实例ID和任务原始详情,便于排查任务失败或长时间运行的问题。如需离线分析,单击导出 CSV导出当前筛选条件下的记录。
不同任务类型提供的字段可能不同。如果任务本身没有Collection、数据库、结束时间或进度信息,对应字段显示为-。
使用容量规划
容量规划仅支持标准版实例,并要求实例版本支持Milvus Insight。单机版或版本不满足要求时,页面会显示相应引导。
查看容量规划建议
页面展示基于已有采样的容量建议,以及内存峰值、CPU峰值和观测节点等信息。
容量建议用于辅助评估,不会自动执行扩容或调整副本。实际变更前,应结合业务负载和资源配置确认。
查看QueryNode资源分布
在QueryNode资源分布区域查看CPU和内存使用率蜂窝图,识别资源水位较高的节点。
单击蜂窝中的节点,查看该节点的历史趋势;悬停曲线可查看具体采样值。
通过节点趋势窗口切换近30分钟、1小时、6小时或24小时。
结合节点上的已加载Collection、副本和Segment信息,检查高水位节点的加载分布。
节点趋势窗口独立于业务曲线和容量建议的近1小时窗口。下方加载分布始终展示当前快照。
分析Collection内存与加载分布
在Collection内存分析区域,按数据库、Collection或节点缩小范围,查看集合加载内存、占比、加载状态及加载节点数,并进入加载详情查看节点、副本和Segment明细。
查看范围 |
指标理解 |
全部节点 |
用于比较集合的逻辑加载量及占QueryNode总内存容量的比例。 |
指定QueryNode |
集合内存限定为该节点上的已加载Segment;占比以该节点总内存为分母。 |
Segment明细 |
查看具体Segment的内存、状态和节点分布,定位集合内部的主要占用来源。 |
集合内存为估算值,包含副本,不等于进程RSS或节点实际内存使用率。开启mmap后,逻辑加载量与实际驻留内存可能存在较大差异;显示为0%的占比也不一定代表没有占用。
结合业务负载判断容量
查看近1小时的业务负载 · 读写QPS和业务影响 · 查询P99,判断资源水位变化是否伴随请求量增加或查询响应变慢。
在读写QPS区域单击查看详情,可进一步查看用户请求趋势,按用户名定位负载来源。趋势图的采样值与统计表的时间范围平均值口径不同,比较时应注意时间范围。
查看健康日报
健康日报每天汇总前一自然日00:00至次日00:00的指标、日志、任务与配置,展示实例的综合健康情况、诊断证据和优化建议。报告反映对应统计窗口内的状态,不代表当前时刻的实时状态。
选择报告日期
进入健康日报页签。
查看页面加载的报告日期及生成时间。如需回看历史,支持在日期选择器中选择最近7天(不含当天)内的日期。
页面日期选择和报告生成时间按北京时间(UTC+8)展示。
查看综合得分和诊断领域
先查看综合得分和各诊断领域的状态,再进入具体领域了解检查范围或发现的问题。
诊断领域 |
关注内容 |
服务可用性 |
服务中断、组件存活和依赖可达性。 |
性能与效率 |
查询时延、处理队列、后台任务效率和热点访问。 |
失败与异常 |
请求失败、任务失败和运行异常。 |
资源与容量 |
CPU、内存的持续压力及节点负载分布。 |
得分和结论应结合检查范围、指标证据及数据覆盖情况解读。“未发现异常”表示在该报告窗口和已检查范围内未发现相应问题。
查看风险与优化建议
在风险与优化建议区域,按严重、警告或建议等级筛选,或选择具体诊断领域查看相关条目。
单击条目,在诊断详情中查看影响判断、指标证据、根因分析和优化建议。
如条目提供失败请求或任务样本,可进一步查看操作、时间、执行对象、错误码和错误信息。
结合报告中的资源趋势、请求记录及业务情况核实原因,再安排优化操作。
诊断建议仅供参考,执行变更前需评估业务影响。
查看热表分析
在热表分析区域查看热点Collection及其访问和负载情况,展开分析详情了解业务活动与热点事实。
导出报告
报告生成后,单击导出报告,可下载所选日期的HTML报告。