SelectDB Infra可观测基于DOG Stack架构,提供开放、高性能、低成本的可观测性解决方案,支持日志、追踪和指标的统一采集、存储与可视化。
什么是Infra可观测
Infra可观测是SelectDB提供的基础设施可观测性解决方案,基于DOG Stack架构构建,帮助您全面监控和分析SelectDB实例的运行状态、性能指标和异常事件。
DOG Stack由以下三个核心组件构成:
D(SelectDB):负责高效的数据存储和快速查询,作为可观测数据的存储与计算引擎。
O(OpenTelemetry):负责数据采集,通过OpenTelemetry Collector和Doris Exporter将遥测数据写入SelectDB。
G(Grafana):负责数据可视化,通过Grafana和Doris App插件提供日志搜索、追踪分析和仪表盘功能。
核心特性
数据采集
OpenTelemetry SDK:支持多种编程语言,提供无代码或简单的应用检测(主要用于Trace)。
OpenTelemetry Collector:采集本地文件、主机指标(CPU/内存)、容器/Pod指标。
第三方集成:兼容Vector、Fluentbit、Node Exporter、Telegraf、Logstash、Filebeat等工具,通过OTLP等协议发送数据。
日志搜索
同时支持Lucene风格搜索语法和原生SQL语法。
一键实现Log与Trace的关联分析。
支持表格或JSON格式查看详情。
可查看特定日志或Trace时间前后的上下文数据。
Trace分析
按服务名、操作、标签、持续时间范围过滤。
时间线、持续时间、跨度计数可视化;特定Trace的瀑布图。
按时间戳、持续时间或跨度计数排序;细粒度筛选跨度。
仪表盘
支持折线图、柱状图、饼图、热力图、地理地图等20+种图表类型。
支持可视化构建器或原始SQL代码。
利用SelectDB多表连接能力,可在同一仪表盘中关联日志、追踪和指标数据。
告警
支持无数据/错误、阈值、复合阈值等规则类型;涵盖计数、总和、比率等指标。
支持Email、PagerDuty、Slack、Discord、Webhook等20+种通知渠道。
支持自定义、格式化和复用告警通知消息模板。
注意:使用Grafana告警功能,需要为SelectDB实例所在VPC配置公网SNAT。配置详情请参见公网 NAT 网关。
系统架构
Infra可观测系统由以下四个主要部分组成:
数据采集工具(Data Collection Tools):采集日志、追踪(Traces)和指标(Metrics)。包括OpenTelemetry SDK(应用/AI代理检测)、OpenTelemetry Collector Receivers(filelog、hostmetrics、podmetrics)以及第三方工具(Vector、Fluentbit等)。
OpenTelemetry采集器(带Doris Exporter):接收遥测数据,进行处理(过滤、转换、丰富、排队、批处理),并通过Doris Exporter写入SelectDB。
SelectDB(存储与计算引擎):高效存储带索引的列式数据,提供快速搜索和分析查询。关键技术包括倒排索引、布隆过滤器索引、区域映射索引,以及在聚合、排序和Join操作上的原生高性能。
Grafana(带Doris App插件):提供日志、追踪和指标的可视化。插件增强功能包括Discover(发现,提供类似Kibana的搜索体验)和Trace(追踪,提供原生的追踪探索能力)。
设计目标
开放性:所有组件开源,避免供应商锁定。
高性能:写入吞吐量可达数百GB/s;数十亿条记录的搜索/查询响应时间为亚秒级。
成本效益:相比ELK或Datadog,成本降低50%-80%。
可扩展性:轻松处理PB甚至EB级数据量。