并行查询性能
具体来说，在存储层仍然将数据分片到不同的线程上，多个线程并行计算，并可能分发到下一个阶段的并行Worker组中，最终并行计算结果汇总到Leader并返回给用户，大幅提升了并行执行能力。并行查询利用多核CPU的并行处理能力，以8核32 GB 独享...
弹性并行查询（Elastic Parallel Query）常见问题
查看执行计划，判断SQL是否完成了执行计划，查看是否使用了并行查询，在explain中如看到 Parallel scan 字段，则表明使用了并行查询。并行查询的基本原理是将一个大查询任务拆解成多个小的查询任务并发执行，但如果查询的表的实际数据量较...
并行步骤
本文介绍了并行步骤和相关使用示例。介绍 并行（Parallel）步骤用来并行执行多个步骤。它定义了多个分支（Branches），每个分支包含一系列串行步骤。并行步骤的每个分支都对应一个本地变量。执行并行步骤会并发执行所有分支包含的串行步骤...
并行（Parallel）
本文介绍了并行状态及其相关使用示例。基本概念 并行状态用来并行执行多个状态。它定义了多个分支（Branches），每个分支包含一系列状态。执行并行状态会并发执行所有分支包含的状态。当所有分支执行结束后，默认将输出一个包含所有分支...
并行查询配置参数说明
本章节介绍了并行查询功能相关的参数和变量。并行查询相关参数 表 1.系统参数 参数名 级别 描述 max_parallel_degree Global、Session 单个查询的最大并行度，即并行执行的最大Worker数量。取值范围：[0-1024]；默认值：0，表示关闭并行...
Semi-Join的并行加速
IN SELECT*FROM Employee WHERE DeptName IN(SELECT DeptName FROM Dept)EXISTS SELECT*FROM Employee WHERE EXISTS(SELECT 1 FROM Dept WHERE Employee.DeptName=Dept.DeptName)并行Semi-Join性能提升 对于...-Join所有策略实现了并行加速...
并行循环步骤
本文介绍了并行循环步骤和其相关使用示例。介绍 并行循环（Foreach）步骤遍历输入中的某个数组类型参数，对于数组中的每个元素并行执行其串行步骤。并行循环步骤类似于编程语言中的 foreach，不同之处是这里的迭代是并行执行的。并行循环...
使用场景
即使对于一个特定的查询已经产生了并行查询计划，在一些情况下执行时也不会并行执行该计划。如果发生这种情况，那么领导者将会自己执行该计划在 Gather 节点之下的部分，就好像 Gather 节点不存在一样。上述情况将在满足下面的任一条件时...
PolarDB MySQL版8.0.2版本性能（集群版）
PolarDB MySQL版 8.0.2版本优化增强了并行查询和Hash Join能力。并行查询：并行查询重磅升级到2.0版本，对复杂分析查询进行了更全面的支持。多阶段的执行框架，SQL语句被拆解为多个计算算子。每个算子可以分布到多个worker上并行完成，算子...
PolarDB并行查询
Parallel Hash join在build/probe两个阶段均做了并行支持：build阶段，多个worker向同一个共享的lock-free Hash Table中插入数据。probe阶段，多个worker并行到Hash Table做搜索。两个阶段没有重叠，这样就实现了全阶段的并行，但Parallel ...
补数据
补数据功能说明 为什么小时分钟任务补数据选择了并行但实际不生效？为什么补数据选择业务时间后不运行，实例显示黄色，实例状态显示等待时间？为什么补数据选择业务时间昨天和今天，也会出现等待时间的情况？为什么补数据选择补0点~1点生成...
SQL调优
每次读取 256 MB 数据太少，导致Instance的执行时间太短，而由于输入数据很大，反而导致了并行度过大，使Instance大多数时间在排队等资源，需要调大单个Instance读取的数据量。解决方案：使用如下命令调大单个并发处理的数据大小。set odps...
执行补数据并查看补数据实例（旧版）
例如，业务日期为 1月11日~1月13日，并行数为2组，则会生成两个补数据实例（其中一个补数据实例会包含两个业务日期，这两个业务日期对应的任务串行执行），两个补数据实例并行执行。补数据告警 设置此次补数据操作是否会触发告警。是：满足...
混合检索使用指南
当结构化数据与非结构化数据需要同时检索时，您可以使用 AnalyticDB PostgreSQL版 向量数据库的混合查询，既支持结构化字段过滤，也支持半结构化字段过滤，同时支持和文本字段的全文检索一起进行双路召回。混合检索简介 ANNS（Approximate ...
基本概念
对于异构数据库之间的结构迁移，DTS会将源库的结构定义转换为目标库支持的结构定义，例如将Oracle数据库中的NUMBER数据类型转换为MySQL数据库中的DECIMAL数据类型。全量数据迁移 在全量数据迁移阶段，DTS会将源数据库的存量数据全部迁移到...
执行补数据并查看补数据实例（新版）
例如，业务日期为 1月11日~1月13日，并行数为2组，则会生成两个补数据实例（其中一个补数据实例会包含两个业务日期，这两个业务日期对应的任务串行执行），两个补数据实例并行执行。补数据告警 设置此次补数据操作是否会触发告警。是：满足...
源库存在触发器时如何配置同步作业
创建一个数据迁移任务，将源库的结构迁移至目标库，相关案例请参见 从自建MySQL迁移至RDS实例（仅选择 结构迁移）。说明 在配置数据迁移任务时，在设置迁移类型及列表环节仅需选择 结构迁移，然后选择待迁移的库或表。由于执行结构迁移时，...
迁移方案概览
库表结构迁移 全量数据迁移 增量数据迁移 RDS MySQL迁移至ClickHouse集群 DataHub 所有版本 库表结构迁移 全量数据迁移 增量数据迁移 RDS MySQL迁移至DataHub Elasticsearch 5.5、5.6、6.x、7.x版本 库表结构迁移 全量数据迁移 增量数据...
PolarDB MySQL版8.0.1版本发布日志
修复并行查询将GROUP BY下推到Worker上去并行执行时，在有分区表的情况下，返回结果集中存在分组重复的问题。修复执行 EXCHANGE PARTITION 操作时，因索引顺序不同导致索引损坏，无法访问表数据的问题。修复主键不包含分区键的分区表在使用...
PolarDB MySQL版8.0.2版本发布日志
修复使用polar_abbrev_sort_key_size参数控制排序操作时，写坏内存的问题。修复在主键不包含分区键的分区表上执行等值查询操作，选择唯一键（UK）进行index merge的场景下，只返回第一个分区中的数据的问题。8.0.2.2.20 类别 说明 发布时间...
VACUUM
对具有 GIN 索引的表，VACUUM（任何形式）也会通过将待处理索引项移动到主要 GIN 索引结构中的合适位置来完成任何待处理的索引插入。我们建议经常清理活动的生产数据库（至少每晚一次），以保证移除失效的行。在增加或删除了大量行之后，对...
RDS MySQL慢SQL问题
版本升级 原因及现象 实例升级版本可能会导致SQL执行计划发生改变，执行计划中连接类型从好到坏的顺序是system>const>eq_ref>ref>fulltext>ref_or_null>index_merge>unique_subquery>index_subquery>range>index>all。更多信息，请参见 ...
如何对JSON类型进行高效分析
本文介绍了PolarDB IMCI为应对海量结构化与半结构化数据分析场景，通过整合列式JSON、虚拟列、秒级加减列、表列数扩展及列存索引等系列功能而构建出的扩展流计算方案，以及该方案的应用案例。背景 随着应用场景多样化与快速迭代，业务系统...
快速开始
本章节介绍了如何快速使用弹性并行查询。注意事项 只读节点和主节点都支持并行查询功能。主节点上并行查询默认关闭。开启并行查询 在控制台基本信息的集群地址区域，单击 编辑配置，打开 编辑地址配置 页面，设置并行度参数及并行引擎，...
概述
功能简介 弹性并行查询（Elastic Parallel Query，ePQ）目前支持单机并行和多机并行两种并行引擎，单机并行引擎等效于原有的并行查询，多机并行引擎支持集群内跨节点的自适应弹性调度。PolarDB MySQL版 8.0.1版本支持单机并行查询，查询时...
弹性并行查询（ePQ）发布说明
PolarDB MySQL版 重磅推出了弹性并行查询（ePQ）引擎，可以将分析型查询的计算任务分发到集群内的任意节点执行，提升集群资源的利用率，从而大幅提升数据库的整体查询性能。简介 对于复杂分析型查询场景，PolarDB MySQL版 已支持的 单机...
Ganos并行创建空间索引
PolarDB PostgreSQL版（兼容Oracle）提供了Ganos并行创建空间索引功能，本功能采用空间排序（GiST Sort）的方法，可将索引构建过程并行化，并大幅减少磁盘的读写操作，实现索引构建加速，您可通过本章节的内容体验千万级时空数据创建空间...
兼容PostgreSQL 14版本公测结束，正式版上线
并行计算增强 PostgreSQL 14版本增加了许多并行查询功能，PL/pgSQL函数内的 RETURN QUERY 返回结果时支持QUERY的并行计算，REFRESH MATERIALIZED VIEW 命令也可以使用并行查询。并行顺序扫描支持chunk，提高大范围数据扫描的IO吞吐，接近块...
扩展性原理
针对这类在线数据库上复杂SQL的处理，PolarDB-X 1.0 额外扩展了单机并行处理器（Symmetric Multi-Processing，简称SMP）和多机并行处理器（DAG）。前者完全集成在 PolarDB-X 1.0 内核中；而对于后者，PolarDB-X 1.0 构建了一个计算集群，...
结构设计
本文介绍结构设计的基础配置项、检测点、因子和动作和模板库，以及如何修改默认审批模板和新增规则。背景信息 结构设计工单一般会涉及到多个实例，例如测试环境中进行结构设计，生产环境中发布这样的经典流程。因此结构设计安全规则中的 ...
通道服务概述
增量数据变化保序 通道服务为数据划分一到多个可并行消费的逻辑分区，每个逻辑分区的增量数据按写入时间顺序保序，不同逻辑分区的数据可以并行消费。消费延迟监控 通道服务通过DescribeTunnel API提供了客户端消费数据延迟（即当前消费到的...
无锁结构变更概览
DDL无锁变更能够有效解决结构变更时锁表的问题，较好地规避了因锁表导致业务阻塞的问题、避免了数据库原生Online DDL带来的主备延迟现象。您可在业务低峰期提交无锁变更。背景信息 在数据量大的情况下进行结构变更，需要考虑锁表的风险，锁...
无锁结构变更
背景信息 为解决变更数据库表结构时的锁表问题，ODC V4.2.0 版本提供了无锁结构变更功能，该功能可以较好地规避因锁表以致于阻塞业务。本文档旨在介绍如何通过提交无锁变更工单实现数据库无锁结构变更。ODC 支持的在线结构变更 分类 操作 ...
电商行业
上传文档生成应用结构：您可以上传已有的数据文件（仅支持JSON格式），系统会自动解析并创建出初始的应用结构（注意字段类型等需要重新定义）通过数据源创建应用结构：适用于通过RDS、MaxCompute（原ODPS）、PolarDB等数据源同步的场景，...
技术原理
针对这类在线数据库上复杂SQL的处理，PolarDB-X 1.0 额外扩展了单机并行处理器（Symmetric Multi-Processingy，简称SMP）和多机并行处理器（DAG）。前者完全集成在 PolarDB-X 1.0 内核中；而对于后者，PolarDB-X 1.0 构建了一个计算集群，...
通过无锁变更工单实现无锁结构变更
为解决变更数据库表结构时的锁表问题，数据管理DMS 推出了无锁结构变更功能，该功能可以较好地规避因锁表以致于阻塞业务和数据库原生OnlineDDL带来的主备延迟问题。本文介绍通过提交无锁变更工单实现数据库无锁结构变更的方法。前提条件 ...
通用文字识别
为了能够更好的还原文字信息和文档结构，读光文档识别在通用全文识别能力（文字定位、行分析、文字识别）的基础上，增加了文档结构的版面分析和文档图像处理能力，使得文档类图像也能按照结构化的方式进行文档元素提取，进一步提升文档识别...
常见错误码及排查方法
出现这种表结构不一致主要的原因是：该表结构变更DDL语句未记录到Binlog中，导致DTS解析不到DDL，未更新本地存储的表结构。例如：执行 SET SESSION sql_log_bin=0 语句修改某个表的字段类型，比如INT（11）修改为BIGINT(20)。解决方法：请...
玄武分析型存储
高吞吐实时写入 AnalyticDB通过三层并行架构实现了极强的吞吐能力，从接入层、到存储节点层再到持久分布式存储层，都可以并行扩展，再结合行列混合存储引擎，增量和全量的异步转换实现了高吞吐高并发实时写入。在实时可见性方面，...
列存索引技术架构介绍
官方从MySQL 8.0开始，在 count(*)等基本查询上增加了并行执行能力，但构建复杂SQL语句的并行执行能力依然任重道远。MySQL最常用的存储引擎都是按行存储，在按列进行海量数据分析时，按行从磁盘读取数据存在非常大的IO带宽浪费。其次，行式...
- 产品推荐
- 这些文档可能帮助您