Milvus Insight数据洞察

更新时间:
复制 MD 格式

Milvus InsightMilvus Manager内置的数据洞察与诊断能力,把实例概览、操作审计、查询明细和异步任务集中到一个入口,用于快速定位慢查询、失败请求、热点Collection和异步任务执行进度,辅助日常运维和问题排查。

功能说明

页签

说明

概览

展示实例最近24小时的关键指标与异常趋势,包括DDL/DCL操作、DML调用、DQL调用、慢查询、活跃Collection、活跃用户和安全告警。

操作审计

按时间范围、Collection、数据库、用户、操作类型、操作和状态查询操作记录,查看执行状态、耗时和请求详情。

查询明细

查看Query、SearchHybridSearch请求的过滤条件、耗时、nq、慢查询级别和执行状态。

异步任务

查看LoadCollection、IndexBuild、Compaction、ImportSync等异步任务的状态、进度、耗时和失败原因。

使用限制

  • 实例版本满足Milvus Insight的最低版本要求:2.5系列需为2.5.12-0.7.0_3.11.0及以上,2.6系列需为2.6.18-0.1.6_3.11.0及以上。如果页面提示当前实例版本暂不支持Milvus Insight,请单击升级将实例升级至最新版本,升级完成后再查看观测与诊断数据。升级操作请参见升级版本

    说明

    实例升级到支持Milvus Insight的版本后,Milvus Insight仅展示版本支持之后产生的观测数据。

  • 单次查询的时间跨度上限:查询明细最长为1小时,操作审计异步任务最长为24小时。超出上限后查询失败,请缩小时间范围后重试。

  • 三个页签均默认查询最近1小时的数据。操作审计和异步任务可在上限范围内手动调整为更长的时间范围。

  • 操作审计、查询明细和异步任务单次最多导出10,000行记录。符合筛选条件的记录超过导出上限时页面会提示,请缩小时间范围或增加筛选条件后重新导出。

  • 概览为最近24小时的聚合数据,页面底部展示本次聚合的数据快照时间。新建实例或刚升级到支持Milvus Insight的版本时,需要积累一段时间的数据后才能看到完整的聚合结果。

进入Milvus Insight页面

  1. 登录阿里云Milvus控制台

  2. 在左侧导航栏,单击实例列表

  3. 在顶部菜单栏,选择目标地域。

  4. 在实例列表中,单击目标实例名称。

  5. 在实例详情页上方,单击Milvus Manager,并连接目标实例。

  6. Milvus Manager左侧导航栏,单击Milvus Insight

    页面展示概览操作审计查询明细异步任务四个页签。如果展示的是版本升级引导页,表示当前实例版本暂不支持Milvus Insight,需先升级实例版本。

查看实例概览

概览页签,查看实例最近24小时的运行情况。

指标

说明

DDL/DCL操作

Collection、索引、权限等结构与权限类操作的调用次数。

DML调用

写入类操作的调用次数和影响行数,并按Insert、Upsert、DeleteBulk拆解。

DQL调用

查询类操作的调用次数,并按Search、QueryHybridSearch拆解。

慢查询

达到慢查询阈值的请求数量。阈值划分请参见本文的慢查询级别。

活跃Collection

最近24小时内有访问记录的Collection数量。

活跃用户

最近24小时内有访问记录的用户数量。

安全告警

基于访问行为和异常情况生成的风险提示,用于辅助排查,不等同于完整的安全审计或入侵检测结论。

页面还展示TOP5 活跃用户TOP5 热点 Collection异常 / 慢查询趋势图,趋势图的图例包括慢查询、极慢、严重和错误,可用于判断异常集中在哪个时间段。

查询操作审计

操作审计页签,按条件查询实例的操作记录。时间范围、Collection、数据库和用户在页面顶部的查询栏设置;操作类型、操作和状态通过表头的筛选图标设置。设置完成后单击查询

筛选项

说明

时间范围

操作发生的时间范围,默认为最近1小时。

Collection

Collection名称过滤。

数据库

按数据库名称过滤。

用户

按执行操作的用户名过滤。

操作类型

DDL、DCL、DML、DQLOther过滤,支持多选。

操作

按具体操作名称过滤,例如CreateCollection、Insert、Flush、LoadCollection。

筛选面板顶部可切换包含排除:选择排除表示查询时排除所选操作,例如排除Flush。

状态

SuccessFailed过滤。

列表展示操作的时间、操作类型、操作、Collection、Database、用户、状态和耗时。操作本身不涉及Collection时(例如Flush),Collection列显示为-。

单击操作列的详情,可在审计日志详情对话框中查看该次操作的完整上下文,包括客户端地址、SDK版本、错误码、错误信息、链路追踪ID、响应大小和请求参数详情。客户端地址会体现调用来源:通过SDK发起的操作显示客户端IP和端口,在Milvus Manager中发起的操作显示为Milvus Manager Console。

如需离线分析,单击导出 CSV,导出当前筛选条件下的全部记录。

说明

导出文件的表头是接口原始字段名,例如traceId、logTime、timeCostMs、operationType,与界面上的中文列名不同。

查看查询明细

查询明细页签,查看Query、SearchHybridSearch请求的执行情况,适用于定位慢查询、失败查询和热点访问。

除与操作审计相同的筛选项外,查询栏还支持最小耗时 (ms),用于只看耗时超过指定毫秒数的请求;表头还支持按慢查询级别筛选。

列表展示请求的时间、操作、Collection、Database、用户、过滤条件、耗时、nq、慢查询级别和状态。

单击详情,可在查询明细详情对话框中查看分区、查询向量数、是否慢查询、结果是否为空、过滤表达式、请求参数、SDK版本、客户端地址、链路追踪ID和错误信息等完整的查询上下文。如需离线分析,单击导出 CSV导出当前筛选条件下的记录。

慢查询级别

Milvus Insight根据Milvus服务端ACCESS日志记录的请求处理耗时time_cost划分慢查询级别。

慢查询级别

服务端请求处理耗时

NORMAL

小于1,000 ms。

SLOW

大于等于1,000 ms,且小于3,000 ms。

VERY_SLOW

大于等于3,000 ms,且小于10,000 ms。

CRITICAL

大于等于10,000 ms。

说明
  • 慢查询级别筛选器只提供SLOW、VERY_SLOWCRITICAL三项。NORMAL表示未达到慢查询阈值,只作为列表中的取值出现。

  • 页面展示的耗时和慢查询级别以Milvus服务端记录为准,不等同于客户端SDK调用的端到端耗时。网络传输、客户端反序列化以及大结果集传输等因素可能导致SDK端耗时更长。

查看异步任务

异步任务页签,查看实例异步任务的执行状态和进度。列表展示任务ID、任务类型、Collection、Database、开始时间、结束时间、耗时、进度和状态,页面底部展示数据更新时间

任务类型

说明

Import

数据导入任务。

LoadCollection

Collection加载任务。

Sync

数据同步任务。

Compaction

数据Compaction任务。

IndexBuild

索引构建任务。

支持按任务类型状态筛选,状态包括Running、Completed、Failed、TimeoutCanceled。单击详情,可在异步任务详情对话框中查看任务类型名、Collection ID、当前状态、是否终态、失败原因、实例ID和任务原始详情,便于排查任务失败或长时间运行的问题。如需离线分析,单击导出 CSV导出当前筛选条件下的记录。

说明

不同任务类型提供的字段可能不同。如果任务本身没有Collection、数据库、结束时间或进度信息,对应字段显示为-。

相关文档