CPU使用率高排查方法
PolarDB PostgreSQL版 在使用过程中，可能会出现CPU使用率异常升高甚至达到满载的情况。...对于全表扫描较多的表，可以在常用的过滤列上创建索引，使用索引扫描，减少全表扫描在内存中过滤不符合条件的记录所造成的CPU浪费。
ModifyFullTableScan
调用ModifyFullTableScan接口设置或取消全表扫描。请求参数 参数名 类型 是否必须 说明 Action String 是 系统规定参数，取值：ModifyFullTableScan。DrdsInstanceId String 是 PolarDB-X实例ID。DbName String 是 数据库名。TableNames ...
Quick BI数据集报“xxx is full scan with all ...
概述 MaxCompute数据源的分区表创建的数据集，需要指定分区条件的值或者开启全表扫描，才能正常使用。问题描述 通过数据表直接创建数据集。创建成功后预览时报错：null:INTERNAL:java.sql.SQLException:execute failed:ODPS-0130071:[0,0]...
数据表管理
关闭全表扫描 PolarDB-X 1.0 默认为新创建的表开启全表扫描功能，但频繁使用全表扫描功能会占用数据库资源降低查询效率，PolarDB-X 1.0 支持在控制台上手动关闭全表扫描。查看表结构 您可以在 PolarDB-X 1.0 控制台上查看数据表的表结构...
自定义 HINT
全表扫描 要避免全表扫描对后端数据库的压力，请尽量减少全表扫描 HINT 使用。如需使用，也请加上合理的查询过滤条件。全表扫描会读取多个表的结果做合并，如果使用 LIMIT start,offset 得到的结果无法保证正确性。所以，全表扫描 HINT 仅...
SetupTable
调用SetupTable接口使用全表扫描。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 SetupTable ...
使用限制
Lindorm Ganos SQL的使用限制还包括以下几点：WHERE语句中，除了 ST_Contains、ST_DWithin 和 ST_DWithinSphere 时空函数，使用其他时空函数时会触发全表扫描。如果要强制使用全表扫描，需要在SQL语句中添加/*+_l_allow_filtering_*/关键字...
如何高效扫描数据
PolarDB-X 1.0 支持高效的数据扫描方式，并支持在全表扫描时使用聚合函数进行统计汇总。本文介绍如何高效扫描 PolarDB-X 1.0 数据。常见的扫描场景 没有分库分表：PolarDB-X 1.0 会把原SQL传递到后端MySQL执行。这种情况下 PolarDB-X 1.0 ...
编码规范
全表扫描会占用大量资源，为提升处理效率，建议开启该功能。若关闭检查，请确保任务中无全表扫描的查询。禁止使用Flink原生DDL语句 系统计算设置已绑定实时计算引擎时才可设置。默认为 否。该配置选择 是，则无法在Flink SQL计算任务中编写...
编码规范
全表扫描会占用大量资源，为提升处理效率，建议开启该功能。若关闭检查，请确保任务中无全表扫描的查询。禁止使用Flink原生DDL语句 系统计算设置已绑定实时计算引擎时才可设置。默认为 否。该配置选择 是，则无法在Flink SQL计算任务中编写...
Quick BI加速引擎开启按日期加速，如何实现全表扫描
概述 本文主要描述了Quick BI加速引擎开启按日期加速，实现全表扫描的两种方法。详细信息 物理分区表的抽取必须指定分区，有两个方案可以解决：1.数据集改成自定义 sql，这样 Quick BI 会创建临时表，而不是直接从分区表取数。2.如果数据集...
云数据源Alibaba Lindorm宽表
开启全表扫描 建议开启全表扫描，由于Lindorm宽表引擎为分布式存储，若不开启全表扫描，对非主键列进行过滤时，查询将报错。单击 连接测试，进行数据源连通性测试。测试成功后，单击 确定，完成数据源的添加。后续步骤 创建数据源后，您还...
分库分表
说明 在执行带有 WHERE 条件的 UPDATE、DELETE、SELECT 语句时，如果 SQL 语句中没有使用拆分键，或者虽然指定了拆分键但是范围太广，会导致 SQL 语句被分发到所有分库上执行（即全表扫描），且执行结果会在数据库访问代理中进行合并。全表...
MaxCompute表的高级功能
本文为您介绍MaxCompute表的生命周期、避免全表扫描、小文件以及Hash Clustering表等高级功能。生命周期 MaxCompute为表和分区提供数据生命周期管理功能。表（分区）数据从最后一次更新时间算起，在指定的时间段（即生命周期）内如果没有...
读取数据
重要 如果不能确定主键前缀，您也可以通过设置完整主键范围均为虚拟点INF_MIN和INF_MAX进行全表数据扫描，但是执行此操作会消耗较多计算资源，请谨慎使用。迭代读取数据 通过createRangeIterator接口迭代读取数据。适用于能确定完整主键...
SQL查询计量计费
不同的SQL复杂度涉及到的数据查询与扫描会有较大差别，请避免使用涉及全表扫描的SQL语句，且尽量与索引配合来最大化使用资源。计费项 计费项 计费方式 描述 按量读吞吐量 按量付费 资源包 单条SQL读吞吐量是执行该SQL时调用表与索引所产生...
EXPLAIN输出
这是因为从全表扫描变为索引扫描，通过Buffers:shared hit=3可以得出结果，需要扫描的元组（BLOCK）变少，所需要的代价就会变小，扫描速度就会变快。Index Only Scan IndexOnly Scan是覆盖索引扫描，所需的返回结果能被所扫描的索引全部...
概述
分区剪枝是指优化器自动从 FROM 和 WHERE 子句里根据分区键提取出需要扫描的分区，减少扫描的数据块，从而避免全表扫描，提高性能。分区剪枝机制支持以下两种剪枝方式：排除约束 快速剪枝 排除约束 参数 constraint_exclusion 用于控制排除...
RDS PostgreSQL慢SQL问题
命令的返回结果如下：QUERY PLAN-Seq Scan on public.class(cost=0.00.26.00 rows=1 width=35)(actual time=0.136.0.141 rows=1 loops=1)/Seq Scan on public.class表示这个节点的类型和作用对象，即在class表上进行全表扫描。(cost=0.00....
如何统计表行数
注意事项 云原生多模数据库 Lindorm 是基于LSM-Tree存储结构的NoSQL数据库，如果您要精确查询Lindorm宽表的行数，需要扫描全表，表越大，耗时越长，所以不建议频繁在Lindorm宽表中进行COUNT操作。如果您确实需要获取表的行数，可以通过以下...
ePQ支持分区表查询
查看对分区表进行全表扫描的执行计划。EXPLAIN(COSTS OFF)SELECT*FROM t1;QUERY PLAN-PX Coordinator 6:1(slice1;segments:6)->Append->Partial Seq Scan on t1_p1->Partial Seq Scan on t1_p2->Partial Seq Scan on t1_p3 Optimizer:...
如何统计HBase的表行数
根据表结构的不同，扫描的速度会有所差别，使用COUNT命令扫描全表的速度可以达到小于10万行每秒。执行以下语句统计table表的总行数。COUNT 'table' 执行结果如下：RowCounter会在本地启动一个伪分布式的MR任务来进行COUNT操作。默认情况下...
动态文件剪枝
如果表不够大，可能使用DFP不如直接扫描全表。你可以使用命令：DESCRIBE DETAIL table_name，然后查看 sizeInBytes 列获取到表的大小。spark.databricks.optimizer.deltaTableFilesThreshold（在Databricks 8.3之前是1000，在Databricks 8....
分区裁剪
分区裁剪效果与数据分布有关，如果分区约束无法有效裁剪，性能会回退到与全表扫描一致。静态分区裁剪 概述 如果分区约束为确定的表达式，在查询规划阶段就可以根据分区约束表达式裁掉不需要扫描的分区，这种在查询规划阶段做分区裁剪的方式...
场景化建表调优指南
不将 l_shipmode 设为Clustering Key和Bitmap_columns：读取数据行数6.0亿行（全表扫描），查询时长 2.41s。说明 可以通过慢Query日志查看读取数据行数（read_rows），详情请参见 慢Query日志查看与分析。可以通过执行计划验证是否通过...
读取数据
重要 如果不能确定主键前缀，您也可以通过设置完整主键范围均为虚拟点INF_MIN和INF_MAX进行全表数据扫描，但是执行此操作会消耗较多计算资源，请谨慎使用。前提条件 已初始化Client，详情请参见 初始化。已创建数据表并写入数据。读取单行...
RDS MySQL I/O高问题
DDL语句导致实例I/O高 现象 DDL语句可能会重建表空间，期间会扫描全表数据、创建索引排序、刷新新表产生的脏页，这些都会导致大量的I/O吞吐。另外一种场景是删除大表造成的I/O抖动。您可以在控制台的 监控与报警 页面，单击 标准监控 页签...
SELECT 语法
若没有条件，需要使用 HINT 指定具体的分库分表或全表扫描，否则 SQL 会报错。GROUP BY：表示聚合条件，可以是具体的列名或者表达式，暂不支持 HAVING 子句。ORDER BY：表示排序条件，可以是具体的列名或者表达式，可以自定升序 ASC（默认...
计算成本控制
您可以通过以下几种策略来控制全表扫描问题：设置参数关闭全表扫描功能。目前支持Session级别和Project级别的控制。禁止session 级别全表扫描。set odps.sql.allow.fullscan=false;禁止project级别全表扫描。SetProject odps.sql.allow....
Quick BI在ODPS数据源下创建的仪表板交叉表，对维度...
问题描述 本文主要描述了Quick BI在ODPS数据源下创建的仪表板交叉表，对维度自定义排序闪现一个空的报错，然后不显示数据...问题原因 数据集没有开启全表扫描。解决方案 在数据集点击更多按钮，选择属性，开启全表扫描。适用于 Quick BI v.4.2
测试分析及调优
amount/30产生全表扫描 convert(char(10),date,112)=′19991201′产生全表扫描 where salary<>3000 产生全表扫描 name like '%张' 产生全表扫描 first_name+last_name='beill cliton' 产生全表扫描 id_no in(′0′,′1′)产生全表扫描 ...
Range Clustering
以上查询都可以充分利用Range Clustering全局排序的特性，下推查询谓词，减少表扫描的IO量以及过滤计算的CPU和内存消耗。对于多个Range Cluster Key组合的场景，是有一定要求的。对于 RANGE CLUSTERED BY k0,k1,.,kn，如果查询用到了 km，...
典型慢查询
本文介绍 AnalyticDB MySQL版 中几种典型的慢查询...过滤条件没有下推，导致对源表进行了全表扫描。过滤条件下推，但是过滤条件设置的范围较大，仍然有大量数据被扫描。需要扫描的分区较多。通常情况下，分区越多意味着需要扫描的数据量越大。
如何优化数据全量抽取
全量抽取场景 全量抽取使用的SQL通常不包含表的拆分键，以全表扫描的方式执行，随着读取数据量的增加，数据抽取操作的执行时间线性增长。为了避免占用过多网络或连接资源，可以使用HINT直接下发查询语句，从物理分片中拉取数据。以下示例...
SETPROJECT
外表查询写入 SQL Project odps.sql.allow.fullscan 设置项目空间是否允许全表扫描。全表扫描会占用大量资源，为提升处理效率，不建议开启该功能。True：允许全表扫描。False：禁止全表扫描。SELECT SQL Project odps.table.lifecycle 设置...
DQL操作常见问题
如果分区剪裁条件置于ON语句中，从表的分区剪裁会生效，主表的分区剪裁不会生效即会全表扫描。更多分区裁剪信息，请参见 分区剪裁合理性评估。如何用MAPJOIN缓存多张小表？您可以在MAPJOIN中填写表的别名。假设项目中存在一张表iris，表...
Flag参数列表
外表查询写入 SQL Project odps.sql.allow.fullscan 设置项目空间是否允许全表扫描。全表扫描会占用大量资源，为提升处理效率，不建议开启该功能。True：允许全表扫描。False：禁止全表扫描。SELECT SQL Project odps.table.lifecycle 设置...
V5.3.x系列实例版本说明
修复计算物理分片时没有考虑 BETWEEN…AND 的情况，导致全表扫描的问题。修复可直接下推RDS的For update SQL可能走了备库的问题。修复 SELECT@session.tx_read_only 返回值与MySQL不一致的问题。修复算术表达式在某些情况下计算结果不正确...
列存索引如何实现高效数据过滤
Oracle是全内存的列索引，其主要通过Min-Max以及 metadata dictionary 来减少全表扫描。PolarDB IMCI属于列存表的模式，数据支持落盘，实现了更加多样化的方法来优化全表数据扫描。技术选型 特点 示例 列式HeapTable 写入无序（按时间插入...
列存表使用排序键和粗糙集索引加速查询
性能对比 本节以组合排序给粗糙集索引带来的性能提升为例，展示粗糙集索引相比全表扫描的性能提升。以TPCH Lineitem表为例，表中存储了7年的数据，我们比较数据未按照l_shipdate字段排序和用l_shipdate字段作为排序键并进行排序的限定条件...
- 产品推荐
- 这些文档可能帮助您