深度解析PolarDB数据库并行查询技术
本文主要介绍基于代价进行并行优化、并行执行的云数据库的并行查询引擎的关键问题和核心技术。背景信息 随着数据规模的不断扩大，用户SQL的执行时间越来越长，这不仅对数据库的优化能力提出更高的要求，并且对数据库的执行模式也提出了新的...
PolarDB并行查询
并行查询背景 PolarDB 亚马逊在2017年发表的关于Aurora的这篇paper[1]，引领了云原生关系型数据库的发展趋势，而作为国内最早布局云计算的厂商，阿里云也在2018年推出了自己的云原生关系数据库 PolarDB，和Aurora的理念一致，PolarDB 深度...
免费体验弹性并行查询ePQ
单击 配置并行策略为LOCAL 按钮，自动执行如下命令，将数据库的并行策略设置为LOCAL，即 set parallel_workers_policy='LOCAL';单击 配置并行度为0 按钮，自动执行如下命令，将数据库的并行度设置为0。set max_parallel_degree=0;单击 查看...
使用跨机并行查询进行分析型查询
ALTER SESSION FORCE PARALLEL QUERY[PARALLEL integer]表示强制当前session开启并行执行，并行度为PARALLEL integer，如果后者没有指定，则使用数据库默认并行度polar_px_dop_per_node参数值。实际并行度优先级为：hint指定>FORCE ...
使用跨机并行查询进行分析型查询
ALTER SESSION FORCE PARALLEL QUERY[PARALLEL integer]表示强制当前session开启并行执行，并行度为PARALLEL integer，如果后者没有指定，则使用数据库默认并行度polar_px_dop_per_node参数值。实际并行度优先级为：hint指定>FORCE ...
弹性并行查询（Elastic Parallel Query）常见问题
但建议您在 PolarDB 控制台基本信息的 集群地址配置 页面设置并行参数，具体操作请参见 配置数据库代理。小规格的集群例如通用版4核8 GB，可以使用并行查询吗？对于小规格集群（核数小于8），默认不会开启并行查询。如果确定RO节点有较多...
并行计划
并行聚集 本数据库通过按两个阶段进行聚集来支持并行聚集。首先，每个参与到查询并行部分的进程执行一个聚集步骤，为该进程注意到的每个分组产生一个部分结果。这在计划中反映为一个 Partial Aggregate 节点。然后，部分结果通过 Gather ...
并行查询配置参数说明
parallel_degree_policy Global 设置单个查询的并行度配置策略，取值范围如下：TYPICAL：PolarDB 选择查询并行度时不会考虑数据库负载（如CPU使用率等），而尽可能与 max_parallel_degree 设置的并行度保持一致。AUTO：PolarDB 会根据数据...
并行查询
概述 当代计算机往往有更多的核心可以使用，并行查询是现代数据库必不可少的能力。PolarDB PostgreSQL版 对分区表的并行查询，和普通表相比有更加优异的性能。使用说明 PolarDB PostgreSQL版 的并行查询功能默认开启。根据并行的方式，分区...
并行资源控制策略配置
系统资源使用限制 AUTO策略下，PolarDB 会根据数据库的CPU、内存或IOPS资源的使用率来决定是否禁止并行查询计划，并支持在需要并行执行的前提下，自定义并行查询的并行度选择策略。参数 级别 取值 说明 loose_auto_dop_cpu_pct_hwm Global ...
并行安全性
如果函数和聚集会写数据库、访问序列、改变事务状态（即便是临时改变，例如建立一个 EXCEPTION 块来捕捉错误的 PL/pgsql）或者对设置做持久化的更改，它们一定要被标记为 PARALLEL UNSAFE。类似地，如果函数会访问临时表、客户端连接状态、...
对分区表使用跨机并行查询
通过对分区表使用跨机并行查询，提升数据库的性能。功能介绍 当前对分区表使用跨机并行查询支持的功能如下所示：支持range分区的并行查询。支持list分区的并行查询。支持hash分区的并行查询。支持分区裁剪。支持带有索引的分区表并行查询。...
概述
功能简介 弹性并行查询（Elastic Parallel Query，ePQ）目前支持单机并行和多机并行两种并行引擎，单机并行引擎等效于原有的并行查询，多机并行引擎支持集群内跨节点的自适应弹性调度。PolarDB MySQL版 8.0.1版本支持单机并行查询，查询时...
并行操作
因此，在一个多CPU的环境下，对于多个数据库对象的查询会自动地切分为子集并独立地在不同的CPU上运行。UDF并行操作 通常情况下部分UDF操作都非常耗时。UDF内部并行操作技术可以应用于单个UDF对象的操作过程，通过多个CPU并行计算UDF对象中...
开启时空并行查询
对于大数据量、较复杂的时空查询，Ganos可直接利用PG并行查询的能力从而加速时空查询。并行查询原理 PG并行查询是表级的并行，其并行查询示意图如下。注意事项 并行查询的worker数量越大，查询时CPU负载越重，对于CPU负载本身较重的场景...
并行操作
Ganos支持利用多个CPU提升查询或计算性能，这种特性被称为并行操作。Ganos支持并行执行SQL语句和并行操作raster对象。并行执行SQL语句 原理 PostgreSQL支持利用多个CPU生成并行的查询计划，并将执行任务分配到多个CPU上以提升性能。适用...
并行查询
概述 当代计算机往往有更多的核心可以使用，并行查询是现代数据库必不可少的能力。PolarDB PostgreSQL版（兼容Oracle）对分区表的并行查询，和普通表相比有更加优异的性能。使用说明 PolarDB PostgreSQL版（兼容Oracle）的并行查询功能默认...
Ganos并行创建空间索引
背景信息 PostgreSQL数据库非常适合用来存储管理空间数据，然而随着数据量的日益增长，性能问题也日益明显，当数据量达到千万级规模时，创建空间索引耗时会比较长。前提条件 拥有 阿里云账号。已创建 PolarDB PostgreSQL版（兼容Oracle）...
使用场景
如果下面的任一条件为真，即便对一个给定查询通常可以产生并行查询计划，规划器都不会为它产生并行查询计划：查询要写任何数据或者锁定任何数据库行。如果一个查询在顶层或者 CTE 中包含了数据修改操作，那么不会为该查询产生并行计划。一...
并行操作
因此，在一个多CPU的环境下，对于多个数据库对象的查询会自动地切分为子集并独立地在不同的CPU上运行。UDF并行操作 通常情况下部分UDF操作都非常耗时。UDF内部并行操作技术可以应用于单个UDF对象的操作过程，通过多个CPU并行计算UDF对象中...
弹性并行查询（ePQ）发布说明
PolarDB MySQL版 重磅推出了弹性并行查询（ePQ）引擎，可以将分析型查询的计算任务分发到集群内的任意节点执行，提升集群资源的利用率，从而大幅提升数据库的整体查询性能。简介 对于复杂分析型查询场景，PolarDB MySQL版 已支持的 单机...
对分区表使用跨机并行查询
通过对分区表使用跨机并行查询，提升数据库的性能。功能介绍 当前对分区表使用跨机并行查询支持的功能如下所示：支持range分区的并行查询。支持list分区的并行查询。支持hash分区的并行查询。支持分区裁剪。支持带有索引的分区表并行查询。...
并行DDL
当数据库硬件资源空闲时，您可以通过并行DDL功能加速DDL执行，避免阻塞后续相关的DML操作，缩短执行DDL操作的窗口期。前提条件 创建二级索引时，PolarDB 集群版本需满足如下条件之一：PolarDB MySQL版 8.0.2版本且修订版本为8.0.2.1.7及...
概述
PolarDB PostgreSQL版（兼容Oracle）提供了跨机并行查询（Parallel Execution）的功能，支持多个计算节点...PolarDB PostgreSQL版（兼容Oracle）支持对分区表使用跨机并行查询的功能，提升数据库性能，具体可参见 对分区表使用跨机并行查询。
并行操作
Ganos支持利用多个CPU提升查询或计算性能，这种特性被称为并行操作。Ganos支持并行执行SQL语句和并行操作raster对象。并行执行SQL语句 原理 PostgreSQL支持利用多个CPU生成并行的查询计划，并将执行任务分配到多个CPU上以提升性能。适用...
并行查询和Hash Join的并行执行
更多关于并行查询和Hash Join的并行执行的文字说明，请参见 并行查询（Parallel Query）和 Hash Join的并行执行。
概述
PolarDB PostgreSQL版（兼容Oracle）提供了跨机并行查询（Parallel Execution）的功能，支持多个计算节点...PolarDB PostgreSQL版（兼容Oracle）支持对分区表使用跨机并行查询的功能，提升数据库性能，具体可参见 对分区表使用跨机并行查询。
并行查询性能
本文档基于TPC-H测试 PolarDB MySQL版 8.0.1和8.0.2版本 集群版 的OLAP负载性能，您可以按照本文介绍自行测试对比，快速了解数据库系统的性能。并行查询简介 PolarDB MySQL版 8.0版本 集群版 推出并行查询（Parallel Query）框架。当您的...
并行INSERT
并行查询进程从存储中并行读取各自负责的数据分片，并将数据发送到Motion算子。并行写入进程从Motion算子中获取数据，向存储并行写入数据。参数说明 通过 polar_px_dop_per_node 参数调整 INSERT INTO.SELECT.中查询的并行度。通过 polar_...
开启时空并行查询
对于大数据量、较复杂的时空查询，Ganos可直接利用PG并行查询的能力从而加速时空查询。并行查询原理 PG并行查询是表级的并行，其并行查询示意图如下。注意事项 并行查询的worker数量越大，查询时CPU负载越重，对于CPU负载本身较重的场景...
ePQ支持并行写入及查询OSS外部表
ePQ对OSS外部表的并行化读写访问能力将数据库对OSS的网络访问模式从单进程上传/下载模式优化为多进程上传/下载模式，从而能够充分利用OSS的网络带宽资源，提升冷数据归档和冷数据查询的性能。使用指南 准备数据 创建一张本地表 t_local，并...
创建物化视图的跨机并行加速和批量写入
背景信息 物化视图(Materialized View)是一个包含查询结果的数据库对象。与普通的视图不同，物化视图不仅保存视图的定义，还保存了 创建物化视图 时的数据副本。当物化视图的数据与视图定义中的数据不一致时，可以进行 物化视图刷新...
使用跨机并行查询加速索引创建
索引创建完成后，该参数将会被重置为数据库默认设置。polar_bt_write_page_buffer_size 指定索引构建过程中的写IO策略。该参数默认值为0，不开启，单位为块，最大值可设置为8192。推荐设置为4096。当该参数设置为不开启时，在索引创建的...
技术原理
当优化器判断对于某一个特定的查询，并行查询是最快的执行策略时，优化器将创建一个查询计划。该计划包括一个 Gather 或者 Gather Merge 节点。下面是一个简单的例子：EXPLAIN SELECT*FROM pgbench_accounts WHERE filler LIKE '%x%';QUERY...
最佳实践
如果在业务设计上需要使用到ePQ，那么可以将业务中的分析型SQL提取出来，使用一个特定的数据库来进行ePQ查询：ALTER DATABASE ap_database SET polar_enable_px=ON;或使用某个特定的账户，专门用来执行分析型的SQL：ALTER ROLE ap_role SET...
ePQ支持并行写入及查询OSS外部表
ePQ对OSS外部表的并行化读写访问能力将数据库对OSS的网络访问模式从单进程上传/下载模式优化为多进程上传/下载模式，从而能够充分利用OSS的网络带宽资源，提升冷数据归档和冷数据查询的性能。使用指南 准备数据 创建一张本地表 t_local，并...
并行查询使用限制和兼容性问题
本文为您介绍并行查询的使用限制以及与串行执行结果可能...加了行锁的数据记录数增多 当并行执行 SELECT.FROM.FOR SHARE 语句时，InnoDB会将访问到的每一行数据都加锁，因此加了行锁的记录数可能会比非并行执行的情况下要多，这属于正常现象。
最佳实践
如果在业务设计上需要使用到ePQ，那么可以将业务中的分析型SQL提取出来，使用一个特定的数据库来进行ePQ查询：ALTER DATABASE ap_database SET polar_enable_px=ON;或使用某个特定的账户，专门用来执行分析型的SQL：ALTER ROLE ap_role SET...
开启时空并行查询
对于大数据量、较复杂的时空查询，Ganos可直接利用PG并行查询的能力从而加速时空查询。并行查询原理 PG并行查询是表级的并行，其并行查询示意图如下。注意事项 并行查询的worker数量越大，查询时CPU负载越重，对于CPU负载本身较重的场景...
并行操作
Ganos支持利用多个CPU提升查询或计算性能，这种特性被称为并行操作。Ganos支持并行执行SQL语句和并行操作raster对象。并行执行SQL语句 原理 PostgreSQL支持利用多个CPU生成并行的查询计划，并将执行任务分配到多个CPU上以提升性能。适用...
- 产品推荐
- 这些文档可能帮助您