Window Function的并行加速
Window Function是社区版MySQL 8.0为提升查询分析能力而引入的功能，在 PolarDB MySQL版 8.0版本中对Window Function进行了全面支持，并可以做并行执行。前提条件 集群版本需为 PolarDB MySQL版 8.0 集群版，且Revision version为8.0.2.2.0...
启动加速-模块并行启动
依赖树没有定义启动顺序的模块，可以并行启动，也可以串行启动。依赖树示例如下：该依赖树表示：模块 B 和模块 C 依赖模块 A 模块 F 依赖模块 E，模块 E 依赖模块 D 该依赖树会保证：模块 A 必定在模块 B 和模块 C 之前启动 模块 D 在模块 ...
限制描述
限制描述 限制项 描述 值域范围 活跃shard数 每个topic中活跃shard数量限制(0,256]总shard数 每个topic中总shard数量限制(0,512]Http BodySize http请求中body大小限制 4MB 单个String长度 数据中单个String...system_time不可以做为字段名称
PolarDB并行查询
在join的表集合中，寻找一个可以做逻辑分片的表做拆分，如果3个表都不足以拆分足够多的分片，那就选最多的表，比如这里选择了t2，它可能拆出12个分片，但仍然无法满足并行度16的要求，导致有4个worker读不到数据而idle。聚集操作先在worker...
事件追踪概述
您可以通过事件追踪功能查看发布到 事件总线EventBridge 的事件内容，即事件详情，也可以查看事件在 事件总线EventBridge 中的处理轨迹，即事件轨迹。使用说明 事件查询 功能名称已变更为 事件追踪，原有功能不变，给您带来的不便敬请谅解...
基于事件总线EventBridge实现钉钉新增成员信息入库
本文介绍如何使用 事件总线EventBridge 集成钉钉连接器，将钉钉上成员信息变更投递到数据库。背景信息 钉钉连接平台通过可视化拖拽配置、一键订阅等方式，可以简单高效地实现钉钉、企业内部系统、其他厂商系统与钉钉第三方企业应用之间数据...
并行查询
PolarDB PostgreSQL版 支持分区表的并行查询（Parallel Append）功能，可以更好地处理大规模数据...p3(9 rows)如上所示，整个查询使用了8个worker进行并行查询（Workers Planned:8），每个分区之间可以并行查询，每个分区内部也可以并行查询。
并行查询
PolarDB PostgreSQL版（兼容Oracle）支持分区表的并行查询（Parallel Append）功能，可以更好地...p3(9 rows)如上所示，整个查询使用了8个worker进行并行查询（Workers Planned:8），每个分区之间可以并行查询，每个分区内部也可以并行查询。
并行查询
PolarDB PostgreSQL版（兼容Oracle）支持分区表的并行查询（Parallel Append）功能，可以更好地...p3(9 rows)如上所示，整个查询使用了8个worker进行并行查询（Workers Planned:8），每个分区之间可以并行查询，每个分区内部也可以并行查询。
WAL日志并行回放
则可以并行回放的子任务集合有三个：[Task 0,0 ,Task 1,0 ]、[Task 0,1 ,Task 1,1 ]、[Task 0,2 ,Task 2,0 ]。综上所述，在整个WAL日志所表示的回放子任务集合中，存在很多子任务序列可以并行执行，而且不会影响最终回放结果的...
WAL日志并行回放
则可以并行回放的子任务集合有三个：[Task 0,0 ,Task 1,0 ]、[Task 0,1 ,Task 1,1 ]、[Task 0,2 ,Task 2,0 ]。综上所述，在整个WAL日志所表示的回放子任务集合中，存在很多子任务序列可以并行执行，而且不会影响最终回放结果的...
将本地表并行导出至OSS引擎
NULL|ALL|NULL|NULL|NULL|NULL|1348211|100.00|Parallel scan(4 workers)|+-+-+-+-+-+-+-+-+-+-+-+-+2 rows in set,1 warning(0.05 sec)若 Extra 列有Parallel scan，则表示当前SQL语句可以并行执行。创建导出的OSS Server，此处以创建 ...
DataV读取数据源超时
问题描述 阿里云DataV数据可视化产品主要用于动态、实时数据展示场景，需要对数据...优化调用链路，将可以并行调用的过程并行化处理，压缩接口总时间。增加数据中间层，将多次接口调用的中间链路复用，减少系统消耗。适用于 数据可视化DataV
流程配置
任务：在阶段中具体需要完成的动作，任务之间可以串行执行也可以并行执行，目前任务包括：代码扫描、单元测试、构建、部署、合并代码、人工审核等功能。步骤：步骤作为 Flow 最底层的核心能力，所有的流水线都是通过步骤的编排组合而成的。...
计划加速
QUERY PLAN-PartitionedTableScan on prt1(cost=0.00.1.00 rows=1 width=40)->Seq Scan on prt1(cost=0.00.1.00 rows=1 width=40)(2 rows)并行查询 PolarDB PostgreSQL版 支持分区表的 并行查询，它能很好的处理大规模数据的查询。...
计划加速
QUERY PLAN-PartitionedTableScan on prt1(cost=0.00.1.00 rows=1 width=40)->Seq Scan on prt1(cost=0.00.1.00 rows=1 width=40)(2 rows)并行查询 支持分区表的 并行查询，它能很好的处理大规模数据的查询。和 Append 一样，...
Notebook
如果是SQL，是可以并行执行的；如果是Scala代码，是串行执行的，因为默认所有Note共享一个SparkContext。相关配置：参数 默认取值 zeppelin.spark.concurrentSQL true zeppelin.spark.currentSQL.max 10 Q：如何使Note之间相互独立？设置 ...
通道服务概述
增量数据变化保序 通道服务为数据划分一到多个可并行消费的逻辑分区，每个逻辑分区的增量数据按写入时间顺序保序，不同逻辑分区的数据可以并行消费。消费延迟监控 通道服务通过DescribeTunnel API提供了客户端消费数据延迟（即当前消费到的...
创建项目
该值为 10 表示同一时间可以并行处理 10 个任务（如文档格式转换、图片标签检测等），查询类 API（如 GetImage 获取图片信息）也会占用该额度。如果您有更高的并行处理要求，请使用钉钉搜索钉钉群号31690030817加入钉钉群进行反馈。授权...
玄武分析型存储
高吞吐实时写入 AnalyticDB通过三层并行架构实现了极强的吞吐能力，从接入层、到存储节点层再到持久分布式存储层，都可以并行扩展，再结合行列混合存储引擎，增量和全量的异步转换实现了高吞吐高并发实时写入。在实时可见性方面，...
CREATE FUNCTION.AGGREGATE USING type_name
原理介绍（并行聚合）用户定义聚合的并行评估 与内置聚合函数一样，用户定义的聚合可以并行计算。但是，聚合函数必须声明为启用并行。创建函数 MyUDAG(.)返回.PARALLEL_ENABLE 聚合使用MyAggrRoutines。通过聚合并行从属中的行子集生成的...
深度解析PolarDB数据库并行查询技术
如何选择并行扫描的表 选择并行扫描的表是生成并行计划的重要基础，通过基于并行扫描代价的计算和比较，选择可以并行扫描的表作为候选，是并行执行计划迭代的第一步。基于新的并行代价，也许会有更优的JOIN顺序选择，尤其是当参与JOIN的表...
Spark Shell和RDD基础操作
RDD基础操作 Spark围绕着弹性分布式数据集（RDD）的概念展开，RDD是可以并行操作的元素的容错集合。Spark支持通过集合来创建RDD和通过外部数据集构建RDD两种方式来创建RDD。例如，共享文件系统、HDFS、HBase或任何提供Hadoop InputFormat的...
分区表扫描算子
混合并行：分区间和分区内都可以并行执行。示例 创建两张分区表，并分别创建1000个子分区。CREATE TABLE part_range(a INT,b VARCHAR,c NUMERIC,d INT8)PARTITION BY RANGE(a);SELECT 'CREATE TABLE part_range_p'|i|' PARTITION OF part_...
分区表扫描算子
混合并行：分区间和分区内都可以并行执行。示例 创建两张分区表，并分别创建1000个子分区。CREATE TABLE part_range(a INT,b VARCHAR,c NUMERIC,d INT8)PARTITION BY RANGE(a);SELECT 'CREATE TABLE part_range_p'|i|' PARTITION OF part_...
使用Stage和Task详情分析查询
部分Stage可以并行执行，但部分Stage之间存在依赖关系，只能串行执行，导致一些复杂SQL语句的查询耗时问题难以分析，您可以调用API或通过控制台使用Stage和Task详情进行慢查询问题分析。本文主要介绍如何使用Stage和Task详情分析查询。操作...
如何选择应用端连接池
PolarDB-X 兼容MySQL协议，请求在单个连接上串行执行，不同连接上的请求可以并行执行，由此得到以下公式：单个连接的QPS上限=1000/RT 说明 QPS为每秒查询请求数，RT的单位是毫秒，1000是1秒换算成毫秒的数。连接数=应用访问单个CN的QPS上限...
实践教程概览
通过后处理脚本，您可以对计算节点做定制化操作，例如扩容的计算节点自动挂载ossfs、自动部署软件环境等。自动伸缩最佳实践 当您需要每天不定时提交作业，使用E-HPC集群几个小时进行大规模计算，然后释放节点。您可以针对不同的作业类型，...
混合负载HTAP的实践和优化
多机并行（MPP）：您若购买了只读实例，针对AP负载的查询，可以协调只读实例上多个节点的多核做分布式多机并行加速。为了让您可以准确知道执行模式，我们在原有 EXPLAIN 指令上，扩展出了 EXPLAIN PHYSICAL。例如以下查询，通过指令可以...
配置备份计划
全量备份并行线程数上限 填写全量备份并行线程数上限，您可以通过设置该参数调节备份速度，例如降低备份线程数，以减少对数据库的影响。不同备份计划规格并行线程数上限不同，具体以控制台为准，更多信息，请参见 如何调节备份速度。备份...
跨云账号授权
企业A希望当企业B的员工加入或离职时，无需做任何权限变更。企业B可以进一步将A的资源访问权限分配给B的RAM用户（员工或应用），并可以精细控制其员工或应用对资源的访问和操作权限。企业A希望如果双方合同终止，企业A随时可以撤销对企业B...
PolarDB处理TPC-H查询的挑战和机遇
数据访问位置（Data Access Locality）Columnar Locality 这是列存的天然优势，紧凑的数据布局有益于cache locality，并且可以做压缩来减少IO开销。利用向量化技术以及基于SIMD指令集的计算原语，实现高效的算子内并行，提升算子执行效率。...
南京银行：借助云效完成敏捷转身，实现新金融DevOps...
举个例子，在刚刚工作的时候有一个项目经理，他是非常负责任的，每天下班前会做一个Excel表记录团队里每个人今天修改了哪些代码，在哪个模块上做了什么，这样手动去记。在多行研发的时候根本就不可能完成的。到2014年的时候系统已经到200套...
常见问题
任务并行度 在Partition数量和BE数量较多时，您可以调大以下参数来加速任务执行。但是，增加并行度可能会带来更多的CPU资源消耗。max_routine_load_task_concurrent_num desired_concurrent_number 单个Routine Load任务会根据Kafka Topic ...
查看和修改CPU拓扑结构
您可以查看并修改ECS实例的CPU拓扑结构来提高性能、提升并行性以及优化资源分配，以满足您在虚拟化环境、多线程编程、高性能计算等不同场景下的需求。本文介绍如何通过OpenAPI查看和修改实例的CPU拓扑结构。背景信息 什么是CPU 拓扑 CPU...
如何备份RDS只读实例
全量备份并行线程数上限 填写全量备份并行线程数上限，您可以通过设置该参数调节备份速度，例如降低备份线程数，以减少对数据库的影响。不同备份计划规格并行线程数上限不同，具体以控制台为准，更多信息，请参见 如何调节备份速度。备份...
RDS MySQL只读实例逻辑备份
全量备份并行线程数上限 填写全量备份并行线程数上限，您可以通过设置该参数调节备份速度，例如降低备份线程数，以减少对数据库的影响。不同备份计划规格并行线程数上限不同，具体以控制台为准，更多信息，请参见 如何调节备份速度。备份...
创建任务工作负载Job
2+1 固定结束次数的并行Job 多个Pod同时处理工作队列 依次创建多个Pod运行直至Completions个成功结束 2+2+并行Job 多个Pod同时处理工作队列 创建一个或多个Pod直至有一个成功结束 1 2+操作步骤 说明 本例中创建的任务属于固定结束次数的...
快速入门
并发控制策略 当两个任务流中的一个任务流中已有正在运行的实例时，再次运行时您可以选择如下策略：跳过：不运行该任务流，直接跳过。忽略：直接运行该任务流（请确认之前的执行实例不会收到影响）。并行：并行运行两个任务流。并行模式1：...
能力介绍
基于数据总线的应用间数据集成方案。数据集成介绍 数据集成标准化的目标是规范应用之间数据的传递方式和表达方式。传递方式：即应用之间的数据如何流通。平台提供了对数据进行增删改查的4个API，以及HTTP2方式的消息订阅机制。表达方式：即...
- 产品推荐
- 这些文档可能帮助您