并行安全性
规划器把查询中涉及的操作分类成 并行安全、并行受限 或者 并行不安全。并行安全的操作不会与并行查询的使用产生冲突。并行受限的操作不能在并行工作者中执行，但是能够在并行查询的领导者中执行。因此，并行受限的操作不能出现在 Gather ...
基本概念
通过Serverless工作流，您可以用顺序、分支、并行等方式来编排分布式任务，以确保流程按照设定好的顺序可靠地协调任务执行。分布式任务 Serverless工作流中的分布式任务可以是函数、已集成云服务的API、运行在虚拟机或容器上的程序。流程...
应用场景
云服务器ECS具有广泛的应用场景，既可以...推荐使用 弹性高性能计算E-HPC，弹性高性能计算可以将计算能力积聚，用并行计算方式解决更大规模的科学、工程和商业问题。更多案例 更多关于云服务器ECS的应用场景，请参见 云服务器ECS客户案例。
RDS SQL Server CPU使用率高问题排查
当SQL Server发现一条指令复杂时，会决定用多个线程并行来执行，由于某些并行线程已完成工作，在等待其它并行线程来同步，这种等待就叫CXPACKET。WITH[Waits]AS(SELECT[wait_type],[wait_time_ms]/1000.0 AS[WaitS],([wait_time_ms]-...
什么是弹性高性能计算E-HPC
弹性高性能计算将计算能力积聚，用并行计算方式解决更大规模的科学、工程和商业问题，在科研机构、石油勘探、金融市场、气象预报、生物制药、基因测序、图像处理等行业均有广泛的应用。产品架构 弹性高性能计算的产品架构如下图所示。弹性...
并行计划
因为每个工作者只执行完成计划的并行...在执行一个并行计划时，可以用 EXPLAIN(ANALYZE,VERBOSE)来显示每个计划节点在每个工作者上的统计信息。这些信息有助于确定是否所有的工作被均匀地分发到所有计划节点以及从总体上理解计划的性能特点。
使用EXPLAIN查看并行计划
从执行计划输出的Extra信息中可以看到 pq_test 表使用了Parallel scan（并行扫描）策略，期望用4个Workers来并行执行。Gather操作中显示了使用的worker数量和节点数量，这里一共使用了2个节点，每个节点2个worker。通过带有子查询的EXPLAIN...
常见问题
您可以用顺序、选择、并行等方式来编排分布式任务，云工作流 会按照设定好的步骤可靠地协调任务执行，跟踪每个步骤的状态转换，并在必要时执行用户定义的重试逻辑，以确保工作流顺利完成。云工作流 通过提供日志记录和审计来监视工作流的...
V5.4.x系列实例版本说明
V5.4.9-16116300 日期2021-01-26 类别 说明 新增特性 兼容MySQL Collation特性，新增支持若干Collation来确保SQL语句字符串排序的正确性，详情请参见 Collation类型。新增支持全部MySQL窗口函数，详情请参见 窗口函数。新增支持局部索引...
什么是云工作流（CloudFlow）
在 云工作流 中，您可以用顺序、分支、并行等方式来编排分布式任务，云工作流 会按照设定好的步骤可靠地协调任务执行，跟踪每个任务的状态转换，并在必要时执行您定义的重试逻辑，以确保工作流顺利完成。云工作流 通过提供日志记录和审计来...
什么是Serverless工作流
在 Serverless 工作流 中，您可以用顺序、分支、并行等方式来编排分布式任务，Serverless 工作流 会按照设定好的步骤可靠地协调任务执行，跟踪每个任务的状态转换，并在必要时执行您定义的重试逻辑，以确保工作流顺利完成。Serverless 工作...
并行（Parallel）
基本概念 并行状态用来并行执行多个状态。它定义了多个分支（Branches），每个分支包含一系列状态。执行并行状态会并发执行所有分支包含的状态。当所有分支执行结束后，默认将输出一个包含所有分支结果的map[string]any，然后可以通过输出...
使用场景
何时会用到并行查询 有几种设置会导致查询规划器在任何情况下都不生成并行查询计划。为了让并行查询计划能够被生成，必须配置好下列设置。max_parallel_workers_per_gather 必须被设置为大于零的值。这是一种特殊情况，更加普遍的原则是...
并行步骤
介绍 并行（Parallel）步骤用来并行执行多个步骤。它定义了多个分支（Branches），每个分支包含一系列串行步骤。并行步骤的每个分支都对应一个本地变量。执行并行步骤会并发执行所有分支包含的串行步骤。这些串行步骤会改变其分支对应的...
并行查询Hint语法
Parallel Hints可以指定优化器是否选择并行执行，还支持指定并行度以及需要并行的表，以及各个算子的并行执行方式。PolarDB MySQL版 8.0.1版本目前支持在并行查询中使用 PARALLEL 和 NO_PARALLEL 两种Hints。PolarDB MySQL版 8.0.2版本除了...
执行计划和基本算子
背景信息 通常SQL调优的过程离不开以下两个步骤：分析问题，例如通过 EXPLAIN 命令查看执行计划，您也可以通过 EXPLAIN ANALYZE 查看实际执行情况来分析问题。（参见 查询执行器介绍 章节）。通过 Hint 控制优化器行为，修改执行计划。执行...
数据导入常见问题
如果阈值过大，可能会导致远程过程调用超时，此时需要配合BE配置文件中的 tablet_writer_rpc_timeout_sec 参数来适当地调整 write_buffer_size 参数的取值。BE配置项的更多信息，请参见 参数配置。报错“Value count does not match column...
时空引擎版本发布记录
新增 ST_BuildPyramidUseGeomSideLen 函数，支持考虑矢量外包框大小来构建矢量快显金字塔。新增 ST_InterpolateRaster 函数，支持空间插值。新增 ST_Contour 函数，支持等值线生成。新增 ST_Statistics 函数支持以MultiPoint的方式对栅格...
恢复全量数据
实例版本：不同的实例版本并行复制的策略不同，不支持并行复制的场景都将以单线程模式进行，影响恢复速度。重要 除上述影响恢复速度的因素以外，还有部分因素可能导致恢复无法正常进行，例如：新实例版本小于源实例，Binlog有不能正常解析...
Workflow示例模板
使用ags CLI命令，我们可以以图形方式显示此工作流规范的执行历史记录，该规范显示名为 hello2a 和 hello2b 的步骤彼此并行运行。结果如下所示。STEP PODNAME ✔ arguments-parameters-rbm92├-✔ hello1 steps-rbm92-2023062412└-·-✔ ...
查询结果解读
在query的kvpair中设定返回值形式 在query的 kvpair 字段中，通过 formatType:json 或者 formatType:string 来控制查询结果的返回形式。更多的 kvpair 用法见 本文档。query=.&kvpair=.;formatType:{json|string|full_json|flatbuffers};...
历史版本下载
修复了并行求解时，因迭代次数限制而导致所有求解任务终止的bug。修复了单纯形法热启动相关的bug。修复了 QP 问题求解中 dense column 数量统计的bug。修复了 QP 问题求解中预处理方法的bug。V1.0.1下载 发布时间：2023.11.14 Linux linux...
PolarDB MySQL版8.0.1版本发布日志
修复并行查询将GROUP BY下推到Worker上去并行执行时，在有分区表的情况下，返回结果集中存在分组重复的问题。修复执行 EXCHANGE PARTITION 操作时，因索引顺序不同导致索引损坏，无法访问表数据的问题。修复主键不包含分区键的分区表在使用...
MySQL
开启增量快照框架且并行度大于1 当开启增量快照框架且并行度大于1时，需要指定Server ID范围，要保证范围内可用的Server ID数量不小于并行度。假设并行度为3，可以如下配置：SELECT*FROM source_table/*+OPTIONS('server-id'='123456-...
验证分析型查询请求能力
将 orders 表与自身聚合，生成 20,000*20,000 行数据的笛卡尔积，开启 8 个并行执行，对比执行时间，验证云数据库 OceanBase 的实时分析能力。概念介绍 OLAP（Online Analytical Processing）是一种面向分析的、多维数据分析技术。它适用于...
将本地表并行导出至OSS引擎
将本地表并行导出至OSS引擎可以极大地提升数据导出效率。本文介绍了将本地表并行导出至OSS引擎的相关内容。使用限制 PolarDB MySQL版 集群的产品版本需为 企业版，集群版本需为8.0.1版本且修订版本为8.0.1.1.38及以上。仅支持并行导出单表...
Broker Load
Label可以用来防止导入相同的数据，并查看对应导入任务的执行情况。当Label对应的导入任务状态为FINISHED时，对应的Label无法再次使用；当状态为CANCELLED时，可以再次使用该Label提交导入作业。数据描述类data_desc data_desc:DATA INFILE...
使用EXPLAIN阅读查询计划
查询优化器使用数据库的数据统计信息来选择具有最小总代价的查询计划，查询代价通过磁盘I/O取得的磁盘页面数作为单位来度量。可以使用EXPLAIN和EXPLAIN ANALYZE语句发现和改进查询计划。EXPLAIN的语法如下：EXPLAIN[ANALYZE][VERBOSE]...
CREATE FUNCTION
[EXTERNAL]SECURITY INVOKER[EXTERNAL]SECURITY DEFINER SECURITY INVOKER 表示要用调用该函数的用户的特权来执行它。这是默认值。SECURITY DEFINER 指定要用拥有该函数的用户的特权来执行该函数。为了符合 SQL，允许使用关键词 EXTERNAL。...
PolarDB并行查询
并行执行器 PQ实现了一系列算子内并行的机制，如对表的逻辑分区和并行扫描，Parallel Hash join等，来使并行执行成为可能或进一步提升性能，还有多样化的子查询处理机制等。Parallel Scan PolarDB 是共享存储的，所有数据对所有节点均可见...
PolarDB处理TPC-H查询的挑战和机遇
Small Group-By Keys 在做hash aggregation时，如果group by key的NDV（唯一值个数）很小，可以用一个较小范围的整数值来覆盖，这样可以使用一个连续数组来计算aggregation而不是hash table。连续数组cache locality要好很多，可以大幅提升...
CREATE INDEX
通常 PolarDB会锁住要被索引的表，让它不能被写入，并且用该表上的一次扫描来执行整个索引的构建。其他事务仍然可以读取表，但是如果它们尝试在该表上进行插入、更新或者删除，它们会被阻塞直到索引构建完成。如果系统是一个生产数据库，这...
PolarDB PostgreSQL（兼容Oracle）2.0版本与1.0版本...
DBMS_JOB包用来创建和管理定时任务，用户可以提交定时任务在数据库中定时执行。DBMS_LOB包提供了对大对象的访问和操作方式，包括BLOB和CLOB等。DBMS_LOCK包提供了将当前会话暂停一段时间的sleep内置函数。DBMS_METADATA包提供了获取数据库...
CREATE AGGREGATE
如果状态转移函数被声明为“strict”，那么不能用空值输入来调用它。如果有这种转移函数，聚集将按照下面的行为执行。带有任何空值的行会被忽略（函数不被调用并且之前的状态值被保持）。如果初始状态值就是空值，那么碰到第一个没有空值的...
Spark
spark.jars.packages spark.jars.packages 可以用Package的形式来指定依赖包，Spark会动态下载这些Package到ClassPath里，多个Package以逗号（,）分隔。如下图示例，段落①指定delta包，段落②使用这个delta包。spark.files spark.files ...
事务隔离
如果不小心地使用显式锁来阻塞冲突事务，尝试用运行在这个隔离级别的事务来强制业务规则不太可能正确地工作。可重复读隔离级别是使用学术数据库文献和一些其他数据库产品中称为 Snapshot Isolation 的已知的技术来实现的。与使用传统锁技术...
云效 Flow 实现分支模式
分支与合并 实际软件开发中，并行开发有多种场景，也会为这些场景制定对应的分支策略。不论使用哪种分支策略，都是基于某个分支编译（或不需要编译）产生部署包，用这个部署包发布到对应的环境。根据分支是否需要集成，可以简单描述为：单...
Flink
支持Job并行度配置 您可以设置每个Paragraph的 parallelism 来控制Flink SQL Job的并行度。支持Multiple insert 例如，当您有多条INSERT语句读同一个Source时，结果会写到不同的Sink，默认情况下每条SQL语句都会独立运行一个Flink Job，...
南京银行：借助云效完成敏捷转身，实现新金融DevOps...
通过架构变革、并行开发、多分支管理、持续集成等方式，成功实现敏捷转身。业务特征及痛点 南京银行科技有运维中心、研发中心和科技管理部，正式的员工有200多人，外包合作厂商有600多人，在线运营的运营系统有300多个。有人说银行不就是有...
互联网金融：上海富友支付服务股份有限公司
主要原因有：PolarDB 100%兼容MySQL协议和语法，存储计算分离的云原生架构外加新硬件的加持，同时内核上也做了大量优化，如支持并行查询、并行加索引，大表写入、DDL优化等，相比开源MySQL有3倍的性能提升。PolarDB历经了7年的发展，在各个...
- 产品推荐
- 这些文档可能帮助您