基于扫描索引加速扫描(Scan)

扫描索引功能是在日志服务已支持的全文索引和字段索引基础上,提供的一种加速扫描计算性能的工具。通过为关键字段(如时间戳)构建轻量级索引,开启该功能后可提升数据扫描效率。

使用限制

  • 扫描索引仅支持标准型 Logstore,不支持查询型Logstore。

    • 标准型(Standard规格) Logstore:支持日志服务一站式数据分析功能,适用于实时监控、交互式分析以及构建完整的可观测性系统等场景。

    • 查询型(Query规格) Logstore:索引流量费用低于标准型,但不支持SQL分析,适用于数据量大、存储周期长(周、月级别以上)、无日志分析的场景。

  • 扫描索引仅支持全字段粒度开启,不支持指定字段开启。

  • 开启扫描索引情况下单Project支持的最大查询操作并发数为 5 个。

计费说明

更多计费信息,请参见按使用功能计费模式的计费项

计费项

计费说明

付费方式

免费额度

存储空间-日志热存储

包括日志(压缩后)的存储量和日志(未压缩)被建立索引(包括全文索引、字段索引和扫描索引)所产生的存储量。

例如:原始日志量为1 GB,上传到日志服务并配置其中两个字段的索引。上传时的压缩率为20%,两个目标字段的索引数据量为0.5 GB,则日志存储空间为0.2 GB+0.5 GB=0.7 GB。

  • 按量付费:存储空间-日志热存储费用=日累计存储量(GB)×每GB单价

  • 资源包:

    • 新版资源包(预付计划2.0):换算成资源额度(CU)进行抵扣。

    • 旧版资源包(存储包):按存储包实际容量抵扣。

500 MB/月

重要

仅非资源包抵扣时,提供免费额度。

索引流量-扫描索引

按照日志(未压缩)被构建或重建扫描索引所产生的索引数据量计算索引流量。索引流量的大小与日志字段及字段值的长度有关。

当某个字段同时开启全文索引/字段索引和扫描索引时,仅产生全文索引/字段索引对应的索引流量,不产生扫描索引流量。

创建扫描索引将产生 20%原始日志量的索引存储数据。

  • 例如原始日志量为1 GB,写入到日志服务并开启全文索引,则扫描索引为1 GB。

  • 例如原始日志量为1 GB,开启 2 个字段的字段索引并开启扫描索引,这两个字段的数据量为0.5 GB,则对应产生 0.5 GB 字段索引流量和 0.5GB 的扫描索引流量。

  • 按量付费:索引流量-扫描索引==日累计扫描索引流量(GB)×每GB单价

  • 资源包:

    • 暂未支持

索引能力对比

对比项

开启全文索引/字段索引

未开启索引扫描数据

开启扫描索引扫描数据

查询语法

SLS 查询语法

SPL 语法

SPL 语法

分析语法

SQL 语法

SQL 语法

SQL 语法

查询规模

支持千亿级别的数据量。

适用于百万级别的数据量。

适用于十亿级别的数据量查询

分析规模

支持百亿级别的数据规模。

开启SQL独享版可以达到千亿级别的分析能力。

适用于百万级别的数据量。

适用于十亿级别规模数据量分析

是否需要配置索引

需要配置全文索引/字段索引,并开启统计功能

不需要

需要配置扫描索引

计费项对比

索引流量及对应索引存储费用

扫描部分按照流量收费,即基于索引查询后扫描命中的数据量收费

扫描索引及对应索引存储费用

操作步骤

控制台

  1. 登录日志服务控制台。在Project列表区域,单击目标Project。

    image

  2. 日志存储 > 日志库页签中,单击目标Logstore。

  3. Logstore查询和分析页面,选择查询分析属性 > 属性

  4. 在查询分析面板中,打开扫描索引开关。

    image