Infra可观测概述

更新时间:
复制 MD 格式

SelectDB Infra可观测基于DOG Stack架构,提供开放、高性能、低成本的可观测性解决方案,支持日志、追踪和指标的统一采集、存储与可视化。

什么是Infra可观测

Infra可观测是SelectDB提供的基础设施可观测性解决方案,基于DOG Stack架构构建,帮助您全面监控和分析SelectDB实例的运行状态、性能指标和异常事件。

DOG Stack由以下三个核心组件构成:

  • D(SelectDB):负责高效的数据存储和快速查询,作为可观测数据的存储与计算引擎。

  • O(OpenTelemetry):负责数据采集,通过OpenTelemetry Collector和Doris Exporter将遥测数据写入SelectDB。

  • G(Grafana):负责数据可视化,通过Grafana和Doris App插件提供日志搜索、追踪分析和仪表盘功能。

核心特性

数据采集

  • OpenTelemetry SDK:支持多种编程语言,提供无代码或简单的应用检测(主要用于Trace)。

  • OpenTelemetry Collector:采集本地文件、主机指标(CPU/内存)、容器/Pod指标。

  • 第三方集成:兼容Vector、Fluentbit、Node Exporter、Telegraf、Logstash、Filebeat等工具,通过OTLP等协议发送数据。

Trace分析

  • 按服务名、操作、标签、持续时间范围过滤。

  • 时间线、持续时间、跨度计数可视化;特定Trace的瀑布图。

  • 按时间戳、持续时间或跨度计数排序;细粒度筛选跨度。

仪表盘

  • 支持折线图、柱状图、饼图、热力图、地理地图等20+种图表类型。

  • 支持可视化构建器或原始SQL代码。

  • 利用SelectDB多表连接能力,可在同一仪表盘中关联日志、追踪和指标数据。

告警

  • 支持无数据/错误、阈值、复合阈值等规则类型;涵盖计数、总和、比率等指标。

  • 支持Email、PagerDuty、Slack、Discord、Webhook等20+种通知渠道。

  • 支持自定义、格式化和复用告警通知消息模板。

重要

注意:使用Grafana告警功能,需要为SelectDB实例所在VPC配置公网SNAT。配置详情请参见公网 NAT 网关。

系统架构

Infra可观测系统由以下四个主要部分组成:

  1. 数据采集工具(Data Collection Tools):采集日志、追踪(Traces)和指标(Metrics)。包括OpenTelemetry SDK(应用/AI代理检测)、OpenTelemetry Collector Receivers(filelog、hostmetrics、podmetrics)以及第三方工具(Vector、Fluentbit等)。

  2. OpenTelemetry采集器(带Doris Exporter):接收遥测数据,进行处理(过滤、转换、丰富、排队、批处理),并通过Doris Exporter写入SelectDB。

  3. SelectDB(存储与计算引擎):高效存储带索引的列式数据,提供快速搜索和分析查询。关键技术包括倒排索引、布隆过滤器索引、区域映射索引,以及在聚合、排序和Join操作上的原生高性能。

  4. Grafana(带Doris App插件):提供日志、追踪和指标的可视化。插件增强功能包括Discover(发现,提供类似Kibana的搜索体验)和Trace(追踪,提供原生的追踪探索能力)。

设计目标

  • 开放性:所有组件开源,避免供应商锁定。

  • 高性能:写入吞吐量可达数百GB/s;数十亿条记录的搜索/查询响应时间为亚秒级。

  • 成本效益:相比ELK或Datadog,成本降低50%-80%。

  • 可扩展性:轻松处理PB甚至EB级数据量。

相关文档