降采样概述

时序数据的降采样是指将频率较高的时序数据降低到较低频率的时序数据的过程。降采样可以减少数据量从而延长存储时间,提升查询速度,同时尽可能地保留原始数据的趋势和特征。日志服务的降采样通过将时间序列中的数据点进行特定算法的分组与聚合来实现。

重要

本功能不再支持新开通,如果已有的MetricStore已开通降采样功能,则保留该功能。

使用限制

需保证时序库活跃时间线(即最大降采样周期内出现的时间线)的数量小于ReadWrite Shard数 * 100W,否则可能出现降采样库数据不完整的情况。

工作原理

当创建一个降采样配置时,会根据配置的存储时长创建时序子库,并根据配置的聚合周期创建降采样定时任务。第一条降采样配置,由主时序库向第一个时序子库中写入;第二条降采样配置,由第一个时序子库向第二个时序子库中写入,以此类推。当发生降采样配置条目修改时,会根据前后配置差异,自动创建、修改、删除时序子库或降采样定时任务。

在查询时,如果降采样配置的范围满足查询时间范围,将自动以降采样子库的数据作为查询数据源,以获得超越原始时序库的存储时长、更快的查询速度。例如下述样例,在查询Step为30min时将自动选择降采样 1 的时序库。

image.png

资产详情

开启降采样配置后,日志服务会在Project中创建一个专属的MetricStore和定时SQL任务。

  • MetricStore

    监控指标Metricstore用于存储降采样的数据。开启降采样配置后,自动生成该专属Metricstore,其名称为 {metricstore}--ds-{config-no}。

  • 定时SQL任务

    定时SQL任务用于定期执行降采样导入。开启降采样配置后,自动生成该专属定时SQL任务,其名称为 {metricstore}_{config-no - 1}_to_{config-no}_downsampling。