并行操作
Ganos支持并行执行SQL语句和并行操作raster对象。并行执行SQL语句 原理 PostgreSQL支持利用多个CPU生成并行的查询计划，并将执行任务分配到多个CPU上以提升性能。适用场景 SQL语句并行执行非常适合在大量的raster对象中过滤出符合空间范围...
并行操作
Ganos支持并行执行SQL语句和并行操作raster对象。并行执行SQL语句 原理 PostgreSQL支持利用多个CPU生成并行的查询计划，并将执行任务分配到多个CPU上以提升性能。适用场景 SQL语句并行执行非常适合在大量的raster对象中过滤出符合空间范围...
Window Function的并行加速
Window Function是社区版MySQL 8.0为提升查询分析能力而引入的功能，在 PolarDB MySQL版 8.0版本中对Window Function进行了全面支持，并可以做并行执行。前提条件 集群版本需为 PolarDB MySQL版 8.0 集群版，且Revision version为8.0.2.2.0...
执行补数据并查看补数据实例（旧版）
例如，业务日期为 1月11日~1月13日，并行数为2组，则会生成两个补数据实例（其中一个补数据实例会包含两个业务日期，这两个业务日期对应的任务串行执行），两个补数据实例并行执行。补数据告警 设置此次补数据操作是否会触发告警。是：满足...
执行补数据并查看补数据实例（新版）
例如，业务日期为 1月11日~1月13日，并行数为2组，则会生成两个补数据实例（其中一个补数据实例会包含两个业务日期，这两个业务日期对应的任务串行执行），两个补数据实例并行执行。补数据告警 设置此次补数据操作是否会触发告警。是：满足...
Parallelism Hints
PARALLEL optimizer hint用于强制执行并行扫描；NO_PARALLEL optimizer hint阻止使用并行扫描。摘要 PARALLEL(table[parallel_degree|DEFAULT])NO_PARALLEL(table)说明 并行扫描是指使用多个后台工作线程同时执行给定查询的表（即并行）...
创建并执行命令
使用定时任务的新特性（固定时间间隔执行、仅在指定时间执行一次、基于Cron表达式定时执行时指定年份或时区）时，需确保 云助手Agent 不低于以下版本：Linux：2.2.3.282 Windows：2.1.3.282 如果执行定时任务结果返回 ClientNeedUpgrade ...
创建镜像模板并执行构建任务
镜像模板创建完成后，系统会按照镜像模板配置的内容生成构建任务，任务执行过程中也会自动检测镜像模板中各配置项是否存在异常。本文介绍如何通过ECS控制台创建镜像模板并按照定制的模板内容手动执行镜像构建任务。创建镜像模板 注意事项 ...
使用集群地址连接集群并执行AI SQL
在执行AI SQL语句时，需要在SQL语句前添加/*polar4ai*/，且当前账号执行的SQL语句会被添加到审计日志中。例如：/*polar4ai*/create feature test_graph_1 with(feature_class='graph')as(select ip,user_id from small_sample limit 30);...
使用GitLab CI运行GitLab Runner并执行Pipeline
本文主要演示如何在Kubernetes集群中安装、注册GitLab Runner，添加Kubernetes类型的Executor来执行构建，并以此为基础完成一个Java源码示例项目从编译构建、镜像打包到应用部署的CI/CD过程。背景信息 本文以构建一个Java软件项目并将其...
并行查询配置参数说明
说明 PolarDB 优化器可能会对主查询和子查询分别并行执行，如果同时并行执行，它们的最大Worker数不能超过 max_parallel_degree 的值，整个查询使用的Worker数为主查询和子查询使用的Worker数之和。parallel_degree_policy Global 设置单个...
并行查询使用限制和兼容性问题
本文为您介绍并行查询的使用限制以及与串行执行结果可能...加了行锁的数据记录数增多 当并行执行 SELECT.FROM.FOR SHARE 语句时，InnoDB会将访问到的每一行数据都加锁，因此加了行锁的记录数可能会比非并行执行的情况下要多，这属于正常现象。
并行操作
Ganos支持并行执行SQL语句和并行操作UDF。SQL语句并行执行 Ganos支持利用多个CPU生成并行的查询计划，并将执行任务分配到多个CPU上以提升性能。因此，在一个多CPU的环境下，对于多个数据库对象的查询会自动地切分为子集并独立地在不同的CPU...
并行操作
Ganos支持并行执行SQL语句和并行操作UDF。SQL语句并行执行 Ganos支持利用多个CPU生成并行的查询计划，并将执行任务分配到多个CPU上以提升性能。因此，在一个多CPU的环境下，对于多个数据库对象的查询会自动地切分为子集并独立地在不同的CPU...
验证分析型查询请求能力
将 orders 表与自身聚合，生成 20,000*20,000 行数据的笛卡尔积，开启 8 个并行执行，对比执行时间，验证云数据库 OceanBase 的实时分析能力。概念介绍 OLAP（Online Analytical Processing）是一种面向分析的、多维数据分析技术。它适用于...
使用多机MPP对海量数据分析提速
本文介绍了多机并行执行能力的技术背景、技术原理、适用场景以及使用说明等内容。背景信息 列存索引（IMCI）是PolarDB的HTAP解决方案。随着用户查询数据量、查询复杂度以及对OSS等外部表的查询需求的增加，单个只读列存节点已无法满足海量...
高性能能力
PolarDB PostgreSQL版（兼容Oracle）的高性能特点主要通过跨节点并行执行能力和优化器来体现。HTAP跨节点并行执行能力 PolarDB PostgreSQL版（兼容Oracle）支持分析型查询，通过分布式并行计算技术，多个RO点并行执行SQL查询，充分发挥共享...
并行操作
Ganos支持并行执行SQL语句和并行操作raster对象。并行执行SQL语句 原理 PostgreSQL支持利用多个CPU生成并行的查询计划，并将执行任务分配到多个CPU上以提升性能。适用场景 SQL语句并行执行非常适合在大量的raster对象中过滤出符合空间范围...
视频专区
本文档汇总了 云原生数据库PolarDB 的介绍和操作视频。Serverless集群 全球数据库网络GDN 高压缩引擎（X-Engine）Instant DDL和Parallel DDL 快速恢复 并行查询和Hash Join的并行执行 客户案例
快速开始
设置阈值控制优化器是否选择并行执行 PolarDB 提供了两个阈值来控制优化器是否选择并行执行，SQL语句只要满足其中任意一个条件，优化器就会考虑并行执行。records_threshold_for_parallelism 若优化器估算出语句中存在扫描记录数超过该阈值...
概述
并行聚集 并行查询执行聚集函数下推到Worker上并行执行。并行聚集将基于优化器代价，选择串行执行、一阶段聚集或者两阶段聚集。一阶段聚集：将聚集操作分发到Worker中，每个worker包含对应分组中的全部数据。因此无需第二阶段的汇总聚集...
产品架构
如同大多数传统单机关系型数据库，PolarDB-X 1.0 分为网络层、协议层、SQL解析层、优化层和执行层，其中优化层包含逻辑优化和物理优化，执行层包含单机两阶段执行、单机并行执行和多机并行执行，应用了多种传统单机数据库优化和执行技术。...
并行查询Hint语法
强制subquery并行执行，并行度用系统默认max_parallel_degree，-如果max_parallel_degree>0,则打开并行，max_parallel_degree等于0时，依旧时关闭并行 SELECT/*+PARALLEL(@subq1 8)*/SUM(t.a)FROM t WHERE t.a=(SELECT/*+QB_NAME(subq1)*/...
技术原理
如果 Gather 或 Gather Merge 节点位于计划树的最顶层，那么整个查询将并行执行。如果它位于计划树的其他位置，那么只有查询中在它之下的那一部分会并行执行。在上面的例子中，查询只访问了一个表，因此除 Gather 节点本身之外只有一个计划...
入门概述
Serverless 工作流 提供了丰富的控制原语让您描述业务逻辑，例如您可以串行执行任务、并行执行任务、有选择的执行某些任务以及针对一组数据并行执行一系列任务。具体的流程描述请参见 基本介绍。如果您想了解 Serverless 工作流 是如何解决...
深度解析PolarDB数据库并行查询技术
本文主要介绍基于代价进行并行优化、并行执行的云数据库的并行查询引擎的关键问题和核心技术。背景信息 随着数据规模的不断扩大，用户SQL的执行时间越来越长，这不仅对数据库的优化能力提出更高的要求，并且对数据库的执行模式也提出了新的...
并行资源控制策略配置
PolarDB 支持通过多种策略控制单个查询或全局的总并行度，以保证在资源负载允许的情况下选择合理的并行度。并行查询排队策略参数 max_...说明 该参数仅用于在 PolarDB 确定需要并行执行后，选择查询的并行度，而不用于选择是否需要并行执行。
工作流简介
云工作流 提供了丰富的控制原语让您描述业务逻辑，例如您可以串行执行任务、并行执行任务、有选择的执行某些任务以及针对一组数据并行执行一系列任务。具体的流程描述，请参见 流程定义介绍。如果您想了解 云工作流 是如何解决复杂的业务...
查询改写与下推
查询改写的一项重要目的是利用 PolarDB-X 的拆分信息来优化执行计划，使得算子尽量下推，能够达到提前过滤数据、减少网络传输、并行执行加速等效果。背景信息 根据 PolarDB-X SQL语句优化的基本原则，可以下推更多的计算到存储层MySQL上...
最佳实践
简介 当查询使用ePQ特性时，PolarDB PostgreSQL版（兼容Oracle）将通过ePQ优化器，生成能够被多个计算节点并行执行的执行计划。ePQ的执行引擎将在多个计算节点上协调执行该计划，同时利用多个节点的CPU、内存、I/O带宽来扫描、计算数据。您...
最佳实践
简介 当查询使用ePQ特性时，PolarDB PostgreSQL版 将通过ePQ优化器，生成能够被多个计算节点并行执行的执行计划。ePQ的执行引擎将在多个计算节点上协调执行该计划，同时利用多个节点的CPU、内存、I/O带宽来扫描、计算数据。您可以通过GUC...
基本概念
并行循环步骤（foreach）步骤类型之一，使用并行循环步骤并行执行多个相同的步骤。成功步骤（succeed）步骤类型之一，使用成功步骤提前结束一系列串行的步骤。成功步骤通常和选择步骤结合使用，在选择步骤条件满足的情况下跳转到一个成功...
查询改写与下推
Sort和Limit下推可以达到提前过滤数据，减少网络传输、并行执行、减少 PolarDB-X 1.0 内存占用等效果。explain optimizer select*from customer order by c_custkey limit 10 Agg下推 一条SQL的执行计划在如下生成过程中，Agg被下推到 ...
WAL日志并行回放
Task Node：并行执行框架中的子任务执行节点，可以接收并执行一个子任务。Task Tag：子任务的分类标识，同一类的子任务执行顺序有先后关系。Hold List：并行执行框架中，每个子进程调度执行回放子任务所使用的链表。原理介绍 概述 一条WAL...
PolarDB并行查询
并行执行器 PQ实现了一系列算子内并行的机制，如对表的逻辑分区和并行扫描，Parallel Hash join等，来使并行执行成为可能或进一步提升性能，还有多样化的子查询处理机制等。Parallel Scan PolarDB 是共享存储的，所有数据对所有节点均可见...
查询流程和执行计划
本文介绍 AnalyticDB MySQL版 的查询处理流程和执行计划中的相关概念。查询流程 AnalyticDB MySQL版 使用SQL语言完成...Stage 1由2个Task执行，并行执行最终的聚合操作。Stage 0由1个Task执行，负责汇总Stage 1的2个Task生成的最终聚合结果。
在PolarDB-X 1.0上执行DDL操作提示“Lock conflict”...
Lock conflict,maybe last DDL is still running 问题原因 PolarDB-X 1.0执行DDL操作会加库级锁，同一时间只允许一个DDL执行，并行执行DDL或者在一些原因下锁可能没有释放，导致报错。解决方案 请执行以下操作进行解决：使用命令行或者其他...
并行循环步骤
介绍 并行循环（Foreach）步骤遍历输入中的某个数组类型参数，对于数组中的每个元素并行执行其串行步骤。并行循环步骤类似于编程语言中的 foreach，不同之处是这里的迭代是并行执行的。并行循环步骤的每次迭代执行都对应一个本地变量。执行...
MaxCompute执行并发插入操作时返回ODPS-0110999错误码
问题描述 阿里云云原生大数据计算服务MaxCompute在执行并发插入操作时，返回如下报错：ODPS-0110999:Critical!Internal error happened in commit operation and rollback failed,possible breach of atomicity-Rename directory failed ...
- 产品推荐
- 这些文档可能帮助您