Milvus Insight数据洞察
Milvus Insight是Milvus Manager内置的数据洞察与诊断能力,把实例概览、操作审计、查询明细和异步任务集中到一个入口,用于快速定位慢查询、失败请求、热点Collection和异步任务执行进度,辅助日常运维和问题排查。
功能说明
页签 | 说明 |
概览 | 展示实例最近24小时的关键指标与异常趋势,包括DDL/DCL操作、DML调用、DQL调用、慢查询、活跃Collection、活跃用户和安全告警。 |
操作审计 | 按时间范围、Collection、数据库、用户、操作类型、操作和状态查询操作记录,查看执行状态、耗时和请求详情。 |
查询明细 | 查看Query、Search和HybridSearch请求的过滤条件、耗时、nq、慢查询级别和执行状态。 |
异步任务 | 查看LoadCollection、IndexBuild、Compaction、Import和Sync等异步任务的状态、进度、耗时和失败原因。 |
使用限制
实例版本满足Milvus Insight的最低版本要求:2.5系列需为2.5.12-0.7.0_3.11.0及以上,2.6系列需为2.6.18-0.1.6_3.11.0及以上。如果页面提示当前实例版本暂不支持Milvus Insight,请单击升级将实例升级至最新版本,升级完成后再查看观测与诊断数据。升级操作请参见升级版本。
说明实例升级到支持Milvus Insight的版本后,Milvus Insight仅展示版本支持之后产生的观测数据。
单次查询的时间跨度上限:查询明细最长为1小时,操作审计和异步任务最长为24小时。超出上限后查询失败,请缩小时间范围后重试。
三个页签均默认查询最近1小时的数据。操作审计和异步任务可在上限范围内手动调整为更长的时间范围。
操作审计、查询明细和异步任务单次最多导出10,000行记录。符合筛选条件的记录超过导出上限时页面会提示,请缩小时间范围或增加筛选条件后重新导出。
概览为最近24小时的聚合数据,页面底部展示本次聚合的数据快照时间。新建实例或刚升级到支持Milvus Insight的版本时,需要积累一段时间的数据后才能看到完整的聚合结果。
进入Milvus Insight页面
登录阿里云Milvus控制台。
在左侧导航栏,单击实例列表。
在顶部菜单栏,选择目标地域。
在实例列表中,单击目标实例名称。
在实例详情页上方,单击Milvus Manager,并连接目标实例。
在Milvus Manager左侧导航栏,单击Milvus Insight。
页面展示概览、操作审计、查询明细和异步任务四个页签。如果展示的是版本升级引导页,表示当前实例版本暂不支持Milvus Insight,需先升级实例版本。
查看实例概览
在概览页签,查看实例最近24小时的运行情况。
指标 | 说明 |
DDL/DCL操作 | Collection、索引、权限等结构与权限类操作的调用次数。 |
DML调用 | 写入类操作的调用次数和影响行数,并按Insert、Upsert、Delete和Bulk拆解。 |
DQL调用 | 查询类操作的调用次数,并按Search、Query和HybridSearch拆解。 |
慢查询 | 达到慢查询阈值的请求数量。阈值划分请参见本文的慢查询级别。 |
活跃Collection | 最近24小时内有访问记录的Collection数量。 |
活跃用户 | 最近24小时内有访问记录的用户数量。 |
安全告警 | 基于访问行为和异常情况生成的风险提示,用于辅助排查,不等同于完整的安全审计或入侵检测结论。 |
页面还展示TOP5 活跃用户、TOP5 热点 Collection和异常 / 慢查询趋势图,趋势图的图例包括慢查询、极慢、严重和错误,可用于判断异常集中在哪个时间段。
查询操作审计
在操作审计页签,按条件查询实例的操作记录。时间范围、Collection、数据库和用户在页面顶部的查询栏设置;操作类型、操作和状态通过表头的筛选图标设置。设置完成后单击查询。
筛选项 | 说明 |
时间范围 | 操作发生的时间范围,默认为最近1小时。 |
Collection | 按Collection名称过滤。 |
数据库 | 按数据库名称过滤。 |
用户 | 按执行操作的用户名过滤。 |
操作类型 | 按DDL、DCL、DML、DQL或Other过滤,支持多选。 |
操作 | 按具体操作名称过滤,例如CreateCollection、Insert、Flush、LoadCollection。 筛选面板顶部可切换包含或排除:选择排除表示查询时排除所选操作,例如排除Flush。 |
状态 | 按Success或Failed过滤。 |
列表展示操作的时间、操作类型、操作、Collection、Database、用户、状态和耗时。操作本身不涉及Collection时(例如Flush),Collection列显示为-。
单击操作列的详情,可在审计日志详情对话框中查看该次操作的完整上下文,包括客户端地址、SDK版本、错误码、错误信息、链路追踪ID、响应大小和请求参数详情。客户端地址会体现调用来源:通过SDK发起的操作显示客户端IP和端口,在Milvus Manager中发起的操作显示为Milvus Manager Console。
如需离线分析,单击导出 CSV,导出当前筛选条件下的全部记录。
导出文件的表头是接口原始字段名,例如traceId、logTime、timeCostMs、operationType,与界面上的中文列名不同。
查看查询明细
在查询明细页签,查看Query、Search和HybridSearch请求的执行情况,适用于定位慢查询、失败查询和热点访问。
除与操作审计相同的筛选项外,查询栏还支持最小耗时 (ms),用于只看耗时超过指定毫秒数的请求;表头还支持按慢查询级别筛选。
列表展示请求的时间、操作、Collection、Database、用户、过滤条件、耗时、nq、慢查询级别和状态。
单击详情,可在查询明细详情对话框中查看分区、查询向量数、是否慢查询、结果是否为空、过滤表达式、请求参数、SDK版本、客户端地址、链路追踪ID和错误信息等完整的查询上下文。如需离线分析,单击导出 CSV导出当前筛选条件下的记录。
慢查询级别
Milvus Insight根据Milvus服务端ACCESS日志记录的请求处理耗时time_cost划分慢查询级别。
慢查询级别 | 服务端请求处理耗时 |
NORMAL | 小于1,000 ms。 |
SLOW | 大于等于1,000 ms,且小于3,000 ms。 |
VERY_SLOW | 大于等于3,000 ms,且小于10,000 ms。 |
CRITICAL | 大于等于10,000 ms。 |
慢查询级别筛选器只提供SLOW、VERY_SLOW和CRITICAL三项。NORMAL表示未达到慢查询阈值,只作为列表中的取值出现。
页面展示的耗时和慢查询级别以Milvus服务端记录为准,不等同于客户端SDK调用的端到端耗时。网络传输、客户端反序列化以及大结果集传输等因素可能导致SDK端耗时更长。
查看异步任务
在异步任务页签,查看实例异步任务的执行状态和进度。列表展示任务ID、任务类型、Collection、Database、开始时间、结束时间、耗时、进度和状态,页面底部展示数据更新时间。
任务类型 | 说明 |
Import | 数据导入任务。 |
LoadCollection | Collection加载任务。 |
Sync | 数据同步任务。 |
Compaction | 数据Compaction任务。 |
IndexBuild | 索引构建任务。 |
支持按任务类型和状态筛选,状态包括Running、Completed、Failed、Timeout和Canceled。单击详情,可在异步任务详情对话框中查看任务类型名、Collection ID、当前状态、是否终态、失败原因、实例ID和任务原始详情,便于排查任务失败或长时间运行的问题。如需离线分析,单击导出 CSV导出当前筛选条件下的记录。
不同任务类型提供的字段可能不同。如果任务本身没有Collection、数据库、结束时间或进度信息,对应字段显示为-。