Milvus Insight数据洞察

更新时间:
复制 MD 格式

Milvus Insight是Milvus Manager内置的数据洞察与诊断能力,把实例概览、操作审计、查询明细和异步任务集中到一个入口,用于快速定位慢查询、失败请求、热点Collection和异步任务执行进度,辅助日常运维和问题排查。此外,容量规划和健康日报提供资源分布分析、容量评估及每日健康诊断能力。

功能说明

页签

说明

概览

展示实例最近24小时的关键指标与异常趋势,包括DDL/DCL操作、DML调用、DQL调用、慢查询、活跃Collection、活跃用户和安全告警。

操作审计

按时间范围、Collection、数据库、用户、操作类型、操作和状态查询操作记录,查看执行状态、耗时和请求详情。

查询明细

查看Query、Search和HybridSearch请求的过滤条件、耗时、nq、慢查询级别和执行状态。

异步任务

查看LoadCollection、IndexBuild、Compaction、Import和Sync等异步任务的状态、进度、耗时和失败原因。

容量规划(Beta)

结合QueryNode资源水位、业务读写负载、查询延迟及Collection加载分布,评估容量与负载分布问题。

健康日报(Beta)

按日查看综合得分、诊断领域、风险与优化建议、热表分析,并导出报告。

使用限制

  • 实例版本满足Milvus Insight的最低版本要求:2.5系列需为2.5.12-0.7.0_3.11.0及以上,2.6系列需为2.6.18-0.1.6_3.11.0及以上。如果页面提示当前实例版本暂不支持Milvus Insight,请单击升级将实例升级至最新版本,升级完成后再查看观测与诊断数据。升级操作请参见升级版本。

    说明

    实例升级到支持Milvus Insight的版本后,Milvus Insight仅展示版本支持之后产生的观测数据。

  • 单次查询的时间跨度上限:查询明细最长为1小时,操作审计和异步任务最长为24小时。超出上限后查询失败,请缩小时间范围后重试。

  • 三个页签均默认查询最近1小时的数据。操作审计和异步任务可在上限范围内手动调整为更长的时间范围。

  • 操作审计、查询明细和异步任务单次最多导出10,000行记录。符合筛选条件的记录超过导出上限时页面会提示,请缩小时间范围或增加筛选条件后重新导出。

  • 概览为最近24小时的聚合数据,页面底部展示本次聚合的数据快照时间。新建实例或刚升级到支持Milvus Insight的版本时,需要积累一段时间的数据后才能看到完整的聚合结果。

进入Milvus Insight页面

  1. 登录阿里云Milvus控制台。

  2. 在左侧导航栏,单击实例列表。

  3. 在顶部菜单栏,选择目标地域。

  4. 在实例列表中,单击目标实例名称。

  5. 在实例详情页上方,单击Milvus Manager,并连接目标实例。

  6. 在Milvus Manager左侧导航栏,单击Milvus Insight。

  7. 页面展示概览、操作审计、查询明细、异步任务、容量规划和健康日报六个页签。如果展示的是版本升级引导页,表示当前实例版本暂不支持Milvus Insight,需先升级实例版本。

查看实例概览

在概览页签,查看实例最近24小时的运行情况。

指标

说明

DDL/DCL操作

Collection、索引、权限等结构与权限类操作的调用次数。

DML调用

写入类操作的调用次数和影响行数,并按Insert、Upsert、Delete和Bulk拆解。

DQL调用

查询类操作的调用次数,并按Search、Query和HybridSearch拆解。

慢查询

达到慢查询阈值的请求数量。阈值划分请参见本文的慢查询级别。

活跃Collection

最近24小时内有访问记录的Collection数量。

活跃用户

最近24小时内有访问记录的用户数量。

安全告警

基于访问行为和异常情况生成的风险提示,用于辅助排查,不等同于完整的安全审计或入侵检测结论。

页面还展示TOP5 活跃用户、TOP5 热点 Collection和异常 / 慢查询趋势图,趋势图的图例包括慢查询、极慢、严重和错误,可用于判断异常集中在哪个时间段。

查询操作审计

在操作审计页签,按条件查询实例的操作记录。时间范围、Collection、数据库和用户在页面顶部的查询栏设置;操作类型、操作和状态通过表头的筛选图标设置。设置完成后单击查询。

筛选项

说明

时间范围

操作发生的时间范围,默认为最近1小时。

Collection

按Collection名称过滤。

数据库

按数据库名称过滤。

用户

按执行操作的用户名过滤。

操作类型

按DDL、DCL、DML、DQL或Other过滤,支持多选。

操作

按具体操作名称过滤,例如CreateCollection、Insert、Flush、LoadCollection。
筛选面板顶部可切换包含或排除:选择排除表示查询时排除所选操作,例如排除Flush。

状态

按Success或Failed过滤。

列表展示操作的时间、操作类型、操作、Collection、Database、用户、状态和耗时。操作本身不涉及Collection时(例如Flush),Collection列显示为-。

单击操作列的详情,可在审计日志详情对话框中查看该次操作的完整上下文,包括客户端地址、SDK版本、错误码、错误信息、链路追踪ID、响应大小和请求参数详情。客户端地址会体现调用来源:通过SDK发起的操作显示客户端IP和端口,在Milvus Manager中发起的操作显示为Milvus Manager Console。

如需离线分析,单击导出 CSV,导出当前筛选条件下的全部记录。

说明

导出文件的表头是接口原始字段名,例如traceId、logTime、timeCostMs、operationType,与界面上的中文列名不同。

查看查询明细

在查询明细页签,查看Query、Search和HybridSearch请求的执行情况,适用于定位慢查询、失败查询和热点访问。

除与操作审计相同的筛选项外,查询栏还支持最小耗时 (ms),用于只看耗时超过指定毫秒数的请求;表头还支持按慢查询级别筛选。

列表展示请求的时间、操作、Collection、Database、用户、过滤条件、耗时、nq、慢查询级别和状态。

单击详情,可在查询明细详情对话框中查看分区、查询向量数、是否慢查询、结果是否为空、过滤表达式、请求参数、SDK版本、客户端地址、链路追踪ID和错误信息等完整的查询上下文。如需离线分析,单击导出 CSV导出当前筛选条件下的记录。

慢查询级别

Milvus Insight根据Milvus服务端ACCESS日志记录的请求处理耗时time_cost划分慢查询级别。

慢查询级别

服务端请求处理耗时

NORMAL

小于1,000 ms。

SLOW

大于等于1,000 ms,且小于3,000 ms。

VERY_SLOW

大于等于3,000 ms,且小于10,000 ms。

CRITICAL

大于等于10,000 ms。

说明

慢查询级别筛选器只提供SLOW、VERY_SLOW和CRITICAL三项。NORMAL表示未达到慢查询阈值,只作为列表中的取值出现。

页面展示的耗时和慢查询级别以Milvus服务端记录为准,不等同于客户端SDK调用的端到端耗时。网络传输、客户端反序列化以及大结果集传输等因素可能导致SDK端耗时更长。

查看异步任务

在异步任务页签,查看实例异步任务的执行状态和进度。列表展示任务ID、任务类型、Collection、Database、开始时间、结束时间、耗时、进度和状态,页面底部展示数据更新时间。

任务类型

说明

Import

数据导入任务。

LoadCollection

Collection加载任务。

Sync

数据同步任务。

Compaction

数据Compaction任务。

IndexBuild

索引构建任务。

支持按任务类型和状态筛选,状态包括Running、Completed、Failed、Timeout和Canceled。单击详情,可在异步任务详情对话框中查看任务类型名、Collection ID、当前状态、是否终态、失败原因、实例ID和任务原始详情,便于排查任务失败或长时间运行的问题。如需离线分析,单击导出 CSV导出当前筛选条件下的记录。

说明

不同任务类型提供的字段可能不同。如果任务本身没有Collection、数据库、结束时间或进度信息,对应字段显示为-。

使用容量规划

容量规划仅支持标准版实例,并要求实例版本支持Milvus Insight。单机版或版本不满足要求时,页面会显示相应引导。

查看容量规划建议

页面展示基于已有采样的容量建议,以及内存峰值、CPU峰值和观测节点等信息。

说明

容量建议用于辅助评估,不会自动执行扩容或调整副本。实际变更前,应结合业务负载和资源配置确认。

查看QueryNode资源分布

  1. 在QueryNode资源分布区域查看CPU和内存使用率蜂窝图,识别资源水位较高的节点。

  2. 单击蜂窝中的节点,查看该节点的历史趋势;悬停曲线可查看具体采样值。

  3. 通过节点趋势窗口切换近30分钟、1小时、6小时或24小时。

  4. 结合节点上的已加载Collection、副本和Segment信息,检查高水位节点的加载分布。

说明

节点趋势窗口独立于业务曲线和容量建议的近1小时窗口。下方加载分布始终展示当前快照。

分析Collection内存与加载分布

在Collection内存分析区域,按数据库、Collection或节点缩小范围,查看集合加载内存、占比、加载状态及加载节点数,并进入加载详情查看节点、副本和Segment明细。

查看范围

指标理解

全部节点

用于比较集合的逻辑加载量及占QueryNode总内存容量的比例。

指定QueryNode

集合内存限定为该节点上的已加载Segment;占比以该节点总内存为分母。

Segment明细

查看具体Segment的内存、状态和节点分布,定位集合内部的主要占用来源。

说明

集合内存为估算值,包含副本,不等于进程RSS或节点实际内存使用率。开启mmap后,逻辑加载量与实际驻留内存可能存在较大差异;显示为0%的占比也不一定代表没有占用。

结合业务负载判断容量

查看近1小时的业务负载 · 读写QPS和业务影响 · 查询P99,判断资源水位变化是否伴随请求量增加或查询响应变慢。

在读写QPS区域单击查看详情,可进一步查看用户请求趋势,按用户名定位负载来源。趋势图的采样值与统计表的时间范围平均值口径不同,比较时应注意时间范围。

查看健康日报

健康日报每天汇总前一自然日00:00至次日00:00的指标、日志、任务与配置,展示实例的综合健康情况、诊断证据和优化建议。报告反映对应统计窗口内的状态,不代表当前时刻的实时状态。

选择报告日期

  1. 进入健康日报页签。

  2. 查看页面加载的报告日期及生成时间。如需回看历史,支持在日期选择器中选择最近7天(不含当天)内的日期。

说明

页面日期选择和报告生成时间按北京时间(UTC+8)展示。

查看综合得分和诊断领域

先查看综合得分和各诊断领域的状态,再进入具体领域了解检查范围或发现的问题。

诊断领域

关注内容

服务可用性

服务中断、组件存活和依赖可达性。

性能与效率

查询时延、处理队列、后台任务效率和热点访问。

失败与异常

请求失败、任务失败和运行异常。

资源与容量

CPU、内存的持续压力及节点负载分布。

说明

得分和结论应结合检查范围、指标证据及数据覆盖情况解读。“未发现异常”表示在该报告窗口和已检查范围内未发现相应问题。

查看风险与优化建议

  1. 在风险与优化建议区域,按严重、警告或建议等级筛选,或选择具体诊断领域查看相关条目。

  2. 单击条目,在诊断详情中查看影响判断、指标证据、根因分析和优化建议。

  3. 如条目提供失败请求或任务样本,可进一步查看操作、时间、执行对象、错误码和错误信息。

  4. 结合报告中的资源趋势、请求记录及业务情况核实原因,再安排优化操作。

说明

诊断建议仅供参考,执行变更前需评估业务影响。

查看热表分析

在热表分析区域查看热点Collection及其访问和负载情况,展开分析详情了解业务活动与热点事实。

导出报告

报告生成后,单击导出报告,可下载所选日期的HTML报告。

相关文档