暴力扫描

关联治理项：DG-C-44

暴力扫描主要指对于分区或过滤条件使用不当，使得数据计算过程中扫描了全表数据或者超大体量的数据，潜在会带来极大的浪费计算资源。暴力扫描的治理项，即为暴露代码中的问题并引导优化代码逻辑，从而有效的降低计算资源；

适用数据源

• MaxCompute

规则判断

满足以下任一条件则被识别为暴力扫描：

• 表中被查询的分区大于90天

• 被查询的分区的总存储量大于90G

常见的触发暴力扫描的方式有：

• 分区大表，读取时不加分区限制条件，造成全表扫描

• 有分区过滤条件，但是访问的时间跨度过大

• 分区过滤条件有误，实际使得限定不生效

处理指南

消除暴力扫描的常用方式有以下几种：

• 加分区过滤条件，或者减少扫描分区数,或者拆出中间小表，然后再扫描小表的历史分区以减少数据扫描量；

• 将分区限定条件上移，写到子查询里面，消除暴力扫描；

• 对于业务需要每天扫描计算的大量分区的表，可以通过拆出一张中间表，每天做一次汇总；

• 核对分区过滤条件，修订编码错误引起的分区先定条件失效问题。

注意事项

暂无