ORDER BY LIMIT执行效率低
问题现象 在RDS MySQL实例中，执行 WHERE$CONDITION ORDER BY$A LIMIT$N 类型的语句时，在$N 值较小的情况下出现执行效率低的问题。查看执行计划，发现优化器选择了$A 作为索引，而不是和$CONDITION 相关的索引。可能原因 问题现象中的SQL...
ORDER BY LIMIT执行效率低
问题现象 在RDS MySQL实例中，执行 WHERE$CONDITION ORDER BY$A LIMIT$N 类型的语句时，在$N 值较小的情况下出现执行效率低的问题。查看执行计划，发现优化器选择了$A 作为索引，而不是和$CONDITION 相关的索引。可能原因 问题现象中的SQL...
计算下推
PolarDB MySQL版 支持多存储引擎（InnoDB/X-Engine/.)，为了提高查询的执行效率，在执行层我们引入了计算下推的能力，将尽可能多的操作在各个存储引擎层内部完成而不需要返回到计算层，减少了不必要的函数调用开销和格式转换开销，可以大幅...
RDS和自建数据库性能差异问题
内核小版本不同 执行计划不同 统计信息存在差异、碎片率高 参数设置不同 实例负载存在差异 解决方案 1）因内核小版本不同导致的差异 内核小版本不同，优化器就会有所差异，比如8.0.20及之后的版本相较8.0.20之前对于join类sql执行效率显著...
查询改写
查询改写组件的主要功能是将用户输入的SQL语句，基于关系模型的等价变换，转换为执行效率更优的形式，从而减少优化器查找最优执行计划的时间，并大幅提升查询的执行效率。一些最为常见的查询变换发生在这个阶段，如"子查询展开"，"谓词下推...
RDS MySQL如何管理长时间执行的查询
出现原因 在使用RDS MySQL的过程中，由于某些原因，例如被SQL注入、SQL执行效率较差、DDL语句引起表元数据锁等待等，会出现运行时间很长的查询。说明：元数据锁等待的问题请参考 解决MDL锁导致无法操作数据库的问题。由于SQL执行效率差而...
架构优化
通过弹性计算、网络和数据库几大类IaaS/PaaS云资源性能优化，可以为用户在云上环境中获得云...Python、Ruby等解释型语言程序在运行时才翻译成机器码，每次执行都依赖于解释器的翻译，在增加灵活性的同时程序执行效率与编译型语言相比较低。
高级功能：Alink组件成组执行
系统支持将画布中的Alink节点成组，进行批量执行，以提升执行效率及资源利用率，详情请参见 Alink组件成组。此外，系统也支持自动检测画布中可以成组的Alink节点，详情请参见 Alink智能聚合。Alink组件成组 Alink组件与其他框架的组件在...
自适应优化
传统查询优化器基于静态的统计...为了解决这些无法提前预料的变化因素可能导致的性能回退问题，PolarDB MySQL版 在查询优化器中引入了自适应能力，可以通过动态感知环境和执行相关因素来调整执行计划，保证执行效率的最优性。自适应执行能力
查询优化（Query Optimizer)
优化器的功能是否强大是决定数据库性能是否高效稳定的核心因素，尤其在具有混合负载的场景下（包括一定复杂分析查询），优化器对于大数据量复杂查询的执行效率至关重要。本章节将介绍 PolarDB MySQL版 查询优化器组件在多个方面的功能，...
DDL预读
来进行DDL执行效率的对比：DDL预读功能开启情况 耗时（秒）关闭DDL预读功能 485 开启DDL预读功能（loose_innodb_polar_ddl_build_index_readahead_page_num为256）412 通过执行SQL alter table table_1 add column c1 varchar(100)after id...
DML无锁变更概览
DML无锁数据变更可以将单个SQL拆分成多个批次执行，能更好地满足业务方对大量数据变更的需求，例如历史数据清理、全表更新字段等，保证执行效率，减小对数据库性能、数据库空间等的影响。背景信息 当业务累积了大量数据时，需要定期清除表...
聚合优化和执行
本文介绍了 PolarDB-X 如何优化和执行聚合计算，以达到减少数据传输量和提高执行效率的效果。基本概念 聚合操作（Aggregate，简称Agg）表示按照GROUP BY指定列对输入数据进行聚合的计算，或者不分组对所有数据进行聚合的计算。PolarDB-X ...
Faster TRUNCATE/DROP TABLE
PolarDB 对DDL过程中的Buffer Pool管理机制进行了优化，能够有效提升Buffer Pool的扫描效率，提升TRUNCATE TABLE和DROP TABLE的执行效率。使用限制 PolarDB MySQL版 集群版本需为5.7版本且Revision version为5.7.1.0.21或以上 说明 您可以...
RDS MySQL/MariaDB版实例CPU使用率较高
原因分析：由于查询执行效率低，为获得预期的结果需要访问大量的数据导致平均逻辑IO高，因此在QPS并不高的情况下（例如网站访问量不大），也会导致实例的CPU使用率偏高。解决方案 根据您实际情况选择对应的解决方法。应用负载（QPS）高 ...
使用OPTIMIZE TABLE命令或DMS工具回收表空间
通常情况下，在业务低峰期且希望执行效率高时，可以优先选择使用 OPTIMIZE TABLE 命令来回收表空间。若您希望尽可能地降低对集群负载的影响且对执行效率不敏感时，可以优先选择使用DMS工具来回收表空间。回收表空间的方式 对比项 是否允许...
基于代价的查询变换
本文档主要介绍了 PolarDB MySQL版 如何通过CBQT组件（Cost Based Query Transformation）实现基于代价的查询变换，从而大幅提升复杂查询的执行效率。前提条件 集群版本需为 PolarDB MySQL版 8.0版本且Revision version为8.0.2.2.1及以上。...
SmartData 3.6.x版本简介
JindoFS优化缓存预加载机制 优化了元数据和数据缓存的预加载机制，提升了执行效率。优化进度反馈。支持了针对超大目录的任务。JindoSDK 此版本中JindoSDK的新特性如下表所示。特性 描述 JindoSDK支持本地缓存（Local）策略 JindoSDK支持...
故障止损恢复
快恢的执行效率很大程度取决于是否有完备的预案和定期演练。建议在故障应急协同群中推荐输出常见的快速恢复能力，并提供PC、手机端的一键快速执行能力，减少研发在各自平台上查找快恢入口的时间，也解决研发在外无电脑应急的尴尬局面。快恢...
polar_ddl_manager
背景信息 在PostgreSQL中，增加分区表varchar列长度时，会自动重建被修改列相关的索引，导致 ALTER TABLE 执行效率很低。此外，ALTER TABLE 需要持有 ACCESS EXCLUSIVE 锁，会长时间阻塞其他连接对该表的访问。PolarDB PostgreSQL版 支持 ...
STRAIGHT_JOIN
INNER JOIN时，优化器会判断哪种顺序执行效率最高，而自动调整JOIN顺序。SELECT count(*)FROM region STRAIGHT_JOIN nation on n_regionkey=r_regionkey INNER JOIN customer ON c_nationkey=n_nationkey WHERE r_name='ASIA';
DELETE
推荐使用Fixed Plan优化DETELE执行效率，参考 DELETE场景。Hologres中的DELETE命令与PostgreSQL的一样，使用标记删除，在下一次Compaction后，存储空间才会被释放。由于采用LSM结构保存内存状态，在DELETE执行之后，有概率存留部分未达到...
统计信息收集
如果统计信息不准或者没有统计信息，优化器有可能会生成执行效率很差的执行计划，例如，对于一个具有索引且行数很多的数据表来说，以索引列为where条件对数据表进行点查，如果统计信息失效，那么优化器可能不会使用索引对数据表进行查询，...
RDS SQL Server CPU使用率高问题
Page_Lookups/sec Page_Lookups/sec 是指执行中的查询请求平均每秒累积的逻辑读页数，Page_Lookups/sec 高的原因通常是查询语句的执行效率较差，该值如果较高，则查询请求的CPU开销也一定较高。如果 Page_Lookups/sec 的增高和CPU使用率的...
自适应执行能力
PolarDB MySQL版 提供的自适应执行能力可以应用于行列路由中，将错误路由到行存的慢查询自动切换到列存执行，以保证执行效率。技术原理 通过自适应执行能力，数据库会在优化阶段将查询中各个查询块（Query block）和整体的扫描数据行数加入...
表数据格式
数据优化管理操作例如小文件clustering、compaction等都可按照Bucket粒度来并发执行计算，提高执行效率，缩短运行时间。记录类型 目前记录只支持upsert、delete两种数据类型进行写入和存储，upsert包含insert/update两种隐含语义，如记录不...
SQL Review
SQL改写建议：对执行效率不高效的SQL语句提供相应的改写建议。TOP SQL：分别展示资源消耗TOP 10 SQL、平均扫描行数TOP 10 SQL、执行次数TOP 10 SQL，帮助用户快速定位对数据库影响较大的SQL。新增SQL：通过对诊断时间和对比时间内SQL的对比...
连接条件下推
此时，os 表可以更高效的利用 detail_id 的索引过滤大量的数据，达到更高的执行效率，该查询的执行时间大约为0.5秒。SELECT*FROM(SELECT*FROM db_order.tb_order WHERE create_date>=DATE_SUB(CAST('2022-12-05 15:12:05' AS datetime),...
排序优化和执行
本文介绍 PolarDB-X 如何优化和执行排序计算，达到减少数据传输量和提高执行效率的效果。基本概念 排序操作（Sort）表示按照指定的ORDER BY列对输入进行排序。本文介绍的均为不下推的排序类算子的实现。如果已被下推到LogicalView中，则由...
Data Copilot智能助手
进行SQL优化，提升SQL执行效率的同时降低对数据库的影响。可以根据您的需求为您推荐合适的报表，您只需要简单调整后即可生成报表。免费体验Copilot 阿里云提供了数据库解决方案DB+AI体验馆，您无需购买任何资源，即可在线体验DMS Data ...
无锁数据变更
DMS的无锁数据变更功能将结合表中的主键或非空唯一键，分批对表中的目标数据进行操作，在保证执行效率的同时，尽可能地减小了对数据库性能、空间的影响。注意事项 无锁数据变更仅支持单表、简单的SQL操作（例如SELECT、UPDATE、DELETE等）...
分流方案概述
为了避免该情况出现，您可以开启 自适应执行能力，将错误分流到行存的慢查询自动切换到列存执行，以保证执行效率。OLTP与OLAP业务独立场景下行存和列存手动分流 若您的业务中，OLAP类型与OLTP类型的业务基于不同应用程序访问数据库，则可...
使用前须知
支持的日志类型 RDS SQL审计日志记录了对数据库执行的所有操作，这些信息是系统通过网络协议分析所得，对系统CPU消耗极低，不影响SQL执行效率。RDS SQL审计日志包括但不限于如下操作：数据库的登录和退出操作。DDL（Data Definition ...
ClickHouse SQL
ClickHouse SQL可实现分布式SQL查询及处理结构化数据，提高作业的执行效率。DataWorks的ClickHouse SQL节点可进行ClickHouse SQL任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用ClickHouse SQL节点进行任务开发的主要...
HTAP中的行列混存查询优化
例如：子查询去关联：在没有索引的情况下，关联子查询的执行类似于nested loop join，这会导致执行效率很差，IMCI通过子查询去关联技术将关联子查询转换为join，使用hash join来高效地执行查询。消除子查询中带有DISTINCT的聚合函数。如下...
常见问题
则可联系产品团队或提工单 建议在任务执行过程中适当添加日志信息，便于任务出错时定位原因 问：如何提高大量任务并发执行效率？答：基因分析平台将为单个task准备机器资源、拉取docker镜像等，因此高并发时同步准备机器资源或拉取docker...
2022年
新增pg_hint_plan插件，可以以注释形式（Hints）强制干预和优化执行计划，并对调优后的SQL模板和Hints进行注册，后续遇到相同SQL模板（常数参数数值不同其它值都相同）的SQL语句将自动生成调优后的执行计划，从而增加执行效率。使用Hint ...
变更表的表组（AUTO模式）
在 PolarDB-X 的AUTO模式数据库中，所有表都从属且只属于一个表组，同一个表组内的表分区方式一致，同一表组内的表之间的关联查询可以下推到存储节点执行，执行效率得到了很大的提高。本语法仅适用于AUTO模式数据库。为了方便将表关联到同...
智能索引推荐
本文将通过智能索引推荐功能，优化该查询语句的执行效率。查询智能索引推荐 如需查询某个查询语句的智能索引推荐信息，您只需在该查询语句前增加 EXPLAIN ADVISOR 命令即可，示例如下：EXPLAIN ADVISOR SELECT sum(l_extendedprice)/7.0 AS...
PREPARE
使用通用计划可以避免计划开销，但在某些情况下，自定义计划的执行效率要高得多，因为规划器可以利用参数值的知识。（当然，如果准备好的语句没有参数，则这是没有意义的，并且始终应使用通用计划。默认情况下（也就是当 plan_cache_mode ...
- 产品推荐
- 这些文档可能帮助您