当数据量较大时,SQL普通版可能存在查询不完整的情况。SQL独享版通过增加计算资源,显著提升单次分析性能和数据量上限。本文介绍SQL独享版的概念、原理、费用及使用限制。
为什么要使用SQL独享版
普通查询的局限性
普通查询在超大规模数据处理时存在以下局限:
结果不精确:资源限制(如时间片、IO、数据量)可能导致部分数据未加载,影响统计准确性。
性能瓶颈:单Shard仅支持400MB数据量,TB级日志量或更高并发的分析需求可能会受限。
资源竞争:多租户共享资源,可能会出现局部的资源竞争。
SQL独享版的核心价值
增强模式:高性能与高并发
增强模式适合实时性和高并发需求的场景,核心特点包括:
性能提升:单节点处理能力达2GB,最大支持100并发。
典型场景:实时监控(如API成功率告警)、高并发点查分析。
完全精确
完全精确模式适合对结果精度要求极高的场景,核心特点包括:
零误差保证:通过时间换资源策略,确保数据完整加载。
独享资源:稳定运行直至完成或超时。
典型场景:严肃分析场景,如财务对账、安全审计、超长时间周期、超大规模趋势分析等。
SQL最大执行时间为55秒,并发上限为5。
对比维度 | 增强模式 | 完全精确模式 |
对比维度 | 增强模式 | 完全精确模式 |
核心目标 | 性能加速 | 结果精确 |
资源策略 | 共享资源池、弹性伸缩 | 独享资源池 + 时间换精度 |
典型场景 | 实时监控、高并发分析 | 严肃分析场景,如财务对账、安全审计、超长时间周期、超大规模趋势分析等。 |
精度容忍 | 允许有限误差 | 零误差刚性需求 |
SQL独享版介绍
SQL增强
日志服务中的数据必定保存在某一个分区(Shard)。当使用SQL分析时,单个分区(Shard)的数据处理能力有限,如果数据规模过大,可能会存在性能问题或数据扫描过程被截断。增加Shard数量可以提升读写能力,但只对新写入的数据生效,而且可能导致实时消费的客户端过多。SQL增强在资源调度上实现弹性伸缩,使SQL分析能力得以动态提升,典型场景包括:
分析性能要求高的场景,例如实时数据分析。
长周期的数据分析场景,例如月维度的数据分析。
超大规模的数据分析场景,例如千亿行数据的分析。
高并发的数据分析场景,例如多指标多维度(SQL并发数大于15)的报表分析、点查分析。
SQL完全精确
日志服务在进行超大规模数据分析时,以下几种情况可能导致数据加载中断:
时间片耗尽:分配的时间资源用完。
数据量超过阈值:加载的数据总量超出限制。
数据行数超过阈值:加载的行数超出限制。
IO操作次数超过阈值:数据的磁盘读取次数超出限制。
这些情况均可能导致部分数据未能完全加载,从而影响最终结果的精确性,SQL完全精确可以解决这些问题。典型的场景包括:
业务监控告警:关键业务监控要求数据分析结果精确。
业务运营分析:严肃分析场景,如涉及营收、财务、留存、转化等关键指标的分析。
在线数据服务:基于SQL分析结果对外部用户提供数据服务,要求分析结果必须准确无误。
计费信息
按照SQL分析时实际使用的CPU时间计算。单位为核×小时,即1核计算资源独享使用1小时的费用。更多信息,请参见SQL独享版计费案例。
按量付费:SQL独享版费用=CPU时间(小时)×每小时单价
资源包:新版资源包(预付计划2.0),换算成资源额度(CU)进行抵扣。
分析功能使用限制
限制项 | 普通实例 | SQL独享实例 | |
SQL增强 | 完全精确 |
限制项 | 普通实例 | SQL独享实例 | |
SQL增强 | 完全精确 | ||
并发数 | 单个Project支持的最大查询并发数为15个。 | 单个Project支持的最大查询并发数为100个。 | 单个Project支持的最大查询并发数为5个。 |
数据量 | 单次查询分析最大支持扫描400MB日志数据(不包含缓存数据),超过部分截断,标记为查询结果不精确。 | 单次查询分析最大支持扫描2GB日志数据(不包含缓存数据),超过部分截断,标记为查询结果不精确。 | 无限制。 |
开启模式 | 默认开启。 | 通过开关开启。具体操作,请参见SQL增强。 | 通过开关开启。具体操作,请参见SQL完全精确。 |
费用 | 免费。 | 根据实际使用的CPU时间付费。 | 根据实际使用的CPU时间付费。 |
数据生效机制 | 分析功能只对开启统计功能后写入的数据生效。 如果您需要分析历史数据,请对历史数据重建索引。 | 分析功能只对开启统计功能后写入的数据生效。 如果您需要分析历史数据,请对历史数据重建索引。 | 分析功能只对开启统计功能后写入的数据生效。 如果您需要分析历史数据,请对历史数据重建索引。 |
返回结果 | 执行分析操作后,默认最多返回100行数据,最大返回100MB的数据,超过100MB的分析语句会报错。 如果您需要返回更多数据,请使用LIMIT子句。 | 执行分析操作后,默认最多返回100行数据,最大返回100MB的数据,超过100MB的分析语句会报错。 如果您需要返回更多数据,请使用LIMIT子句。 | 执行分析操作后,默认最多返回100行数据,最大返回100MB的数据,超过100MB的分析语句会报错。 如果您需要返回更多数据,请使用LIMIT子句。 |
字段值大小 | 单个字段值最大长度为16 KB(16384字节),超出部分不参与分析。 默认支持的字段值最大长度为2048字节,即2 KB。如果您需要修改字段值的最大长度,可设置统计字段(text)最大长度。更新索引设置只对增量数据有效。具体操作,请参见创建索·引。 | 单个字段值最大长度为16 KB(16384字节),超出部分不参与分析。 默认支持的字段值最大长度为2048字节,即2 KB。如果您需要修改字段值的最大长度,可设置统计字段(text)最大长度。更新索引设置只对增量数据有效。具体操作,请参见创建索·引。 | 单个字段值最大长度为16 KB(16384字节),超出部分不参与分析。 默认支持的字段值最大长度为2048字节,即2 KB。如果您需要修改字段值的最大长度,可设置统计字段(text)最大长度。更新索引设置只对增量数据有效。具体操作,请参见创建索·引。 |
超时时间 | 分析操作的最大超时的时间为55秒。 | 分析操作的最大超时的时间为55秒。 | 分析操作的最大超时的时间为55秒。 |
Double类型的字段值位数 | Double类型字段值最多52位。 如果浮点数编码位数超过52位,会造成精度损失。 | Double类型字段值最多52位。 如果浮点数编码位数超过52位,会造成精度损失。 | Double类型字段值最多52位。 如果浮点数编码位数超过52位,会造成精度损失。 |
- 本页导读 (1)
- 为什么要使用SQL独享版
- 普通查询的局限性
- SQL独享版的核心价值
- SQL独享版介绍
- SQL增强
- SQL完全精确
- 计费信息
- 分析功能使用限制