MPP-MPP文档介绍内容-阿里云

使用多机MPP对海量数据分析提速

其他操作判断当前SQL语句是否可以使用列存索引的多机并行能力您可以通过在SQL语句中添加HINT语法 SET_VAR(imci_plan_use_mpp=forced)来查看SQL语句的执行计划，以此来判断该SQL语句是否可以使用多机并行能力。示例如下：EXPLAIN SELECT/*...

SHOW（2.0版）

SHOW PROCESSLIST MPP 查询当前正在运行的MPP任务。指定/*+cross-frontnode=true*/时，查询当前数据库实例所有正在运行的MPP任务；不指定/*+cross-frontnode=true*/时，仅查询当前连接的FRONT NODE节点实例运行的MPP任务。[/*+cross-...

名词解释

下表列出了 AnalyticDB PostgreSQL 所涉及到的基本概念：名词解释 MPP Massively Parallel Processing，一种分布式 Shared Nothing 计算架构，支持多个无共享的节点，执行全并行计算，计算性能随节点增加而线性提升。AnalyticDB for ...

实例“节点”规格与原“计算组”规格的对应关系？

一个节点只包含一个MPP数据分区，相对可以简化MPP集群的选型和使用，而一个计算组根据其规格可能会包含多个MPP数据分区。计算组规格（不再使用）节点 MPP数据分区数资源合计 1x2C SSD 2个 1核 SSD节点 2 2核/16GB内存/160GB用户存储/320...

资源组介绍

XIHE MPP的详细信息，请参见 XIHE MPP引擎。适用场景：高QPS低RT的在线场景。执行的任务：XIHE MPP SQL。弹性扩缩容：以分时弹性的方式扩容和缩容计算资源。Job型资源组：工作原理：用户提交查询到前端节点后，前端节点会拉起临时计算资源...

PolarDB PostgreSQL版：ePQ架构详解

在1 TB的TPC-H数据上，当保持与传统mpp数据库相同单机并行度的情况下（多机单进程），PolarDB PostgreSQL版的性能是传统mpp数据库的90%。其中最本质的原因是传统mpp数据库的数据默认是哈希分布的，当两张表的join key是各自的分布键时，...

StarRocks概述

StarRocks介绍 StarRocks是新一代极速全场景MPP（Massively Parallel Processing）数据库，致力于构建极速和统一分析体验。StarRocks兼容MySQL协议，可使用MySQL客户端和常用BI工具对接StarRocks来分析数据。StarRocks采用分布式架构：对...

DUMP TO MAXCOMPUTE（2.0版）

语法/*+engine=MPP,[return-dump-record-count=TRUE,]dump-header=[DUMP DATA[OVERWRITE]INTO 'odps:/project_name/table_name']*/sql 参数 engine=MPP：计算引擎，必选参数。return-dump-record-count=TRUE：显示导出的数据行数，可选参数...

产品概述

云原生数据仓库 AnalyticDB PostgreSQL 版是一种大规模并行处理（MPP）数据仓库服务，可提供海量数据在线分析服务。云原生数据仓库 AnalyticDB PostgreSQL 版基于开源项目Greenplum构建，由阿里云深度扩展，兼容ANSI SQL 2003，兼容...

语法/*+dump-col-del=[,],dump-row-del=[],dump-oss-accesskey-id=ACCESS_KEY_ID,dump-oss-accesskey-secret=ACCESS_KEY_SECRET,engine=MPP,[return-dump-record-count=TRUE,]dump-header=[DUMP DATA[OVERWRITE]INTO 'oss:/endpoint/bucket...

PolarDB PostgreSQL版架构介绍

在使用相同的硬件资源时性能达到了传统MPP数仓的90%，同时具备了SQL级别的弹性：在计算能力不足时，可随时增加参与OLAP分析查询的CPU，而数据无需重分布。PolarDB PostgreSQL版：存储计算分离架构详解 Shared-Storage带来的挑战基于Shared...

创建资源组

AnalyticDB MySQL 湖仓版（3.0）支持使用XIHE BSP SQL、XIHE MPP SQL、Spark SQL等不同方式进行作业开发。Job型资源组运行XIHE BSP SQL和Spark SQL，Interactive型资源组运行XIHE MPP SQL。开始作业开发前，需要先创建一个Job型和...

ListProjectApps

ProjectApps 应用列表 AppId String AX4R4JWQ 应用AppId AppKey String mPp7O4LW 应用AppKey AppName String app1 应用名称 AppPkgName String com.app1 应用包名 AppSecret String Q*F 应用AppSecret。默认不完全显示，只显示头尾2个字符...

整体架构

计算引擎计算引擎具备分布式MPP和DAG融合执行能力，结合智能优化器，可支持高并发和复杂SQL混合负载。同时借助云原生基础设施，计算节点实现了弹性调度，可根据业务需求做到分钟级甚至秒级扩展，实现了资源的有效利用。存储引擎存储引擎...

计算层变量

MPP_PARALLELISM 否-1[1-1024]MPP执行模式的并发度，默认是由规格推导出来。DATABASE_PARALLELISM 否 0[0-1024]单个查询在一个DN上允许同时下发SQL的数量，用户计算Scan的并发度。POLARDBX_PARALLELISM 否 0[0-1024]单个查询在一个CN允许的...

SQL开发编辑器

Interactive型资源组 XIHE MPP SQL 交互式执行。重要 XIHE BSP SQL和XIHE MPP SQL不支持写Hudi表。查看并导出查询结果 SQL语句执行完成后，执行结果页显示查询结果或失败信息。执行记录页显示SQL语句的执行状态、使用的资源组、执行账号...

什么是EMR Serverless StarRocks

StarRocks介绍 StarRocks是新一代极速全场景MPP（Massively Parallel Processing）数据库，致力于构建极速和统一分析体验。StarRocks兼容MySQL协议，可使用MySQL客户端和常用BI工具对接StarRocks来分析数据。StarRocks采用分布式架构：对...

混合负载HTAP

这种方式也称为MPP并行计算（Massively Parallel Processing，简称MPP）。目前只有 PolarDB-X 只读实例默认开启了MPP并行计算能力。查询优化器 PolarDB-X 的优化器面向HTAP负载设计，对复杂查询有着良好的支持。TP（Transaction Processing...

使用说明

对于海量数据的复杂查询，可以使用多机MPP进行查询加速。具体操作请参见使用多机MPP对海量数据分析提速。其他如果您对列存索引背后的原理感兴趣，您可以参考以下文档来进一步了解列存索引：PolarDB IMCI发表在 SIGMOD2023上的论文列存...

XIHE BSP SQL开发

对于ADS层的查询，通常对查询响应时间更加敏感，常要求秒级甚至毫秒级的响应，这部分查询可以使用XIHE MPP方式执行，以充分利用XIHE MPP引擎速度更快的优势。XIHE MPP方式无法执行的大查询由于XIHE MPP执行方式的限制，部分数据量较大的...

查询执行器介绍

本文介绍 PolarDB-X 的SQL执行器的概念、执行模型和执行...TDDL:EXECUTOR_MODE=MPP MPP_PARALLELISM=8*/select a.k,count(*)cnt from sbtest1 a,sbtest1 b where a.id=b.k and a.id>1000 group by k having cnt>1300 order by cnt limit 5,10;

实例选型和集群规划

规格节点云原生数据仓库AnalyticDB PostgreSQL版采用MPP并行架构，在节点角色上区分为Master节点和Segment节点，其中Master节点是实例的入口，负责SQL请求、路由分发和结果集处理，Segment节点为计算节点，负责SQL处理和数据存储，每个...

查询报错问题

查询报错 NO_NODES_AVAILABLE 报错关键字：NO_NODES_AVAILABLE 报错信息：ERROR 1105(HY000):MPP_QUERY_FAILED Retry_time=1 message=MPP engine error code:30101,message:QueryError{message=Node for bucket is offline:[],sqlState=...

快速开始

records_threshold_for_mpp 若查询语句中存在扫描记录超过该阈值的表，优化器会考虑将单机并行弹性扩展为多机并行，将并行任务调度到多个节点上同时完成计算。默认值为records_threshold_for_parallelism的N倍，N值为当前集群地址内的节点...

技术原理

原理架构 MPP和只读资源 PolarDB-X 1.0 通过多组DRDS计算节点提供大规模多级并行处理能力（Massively Parallel Processing，简称MPP），针对计算节点进行Scale-out完成MPP处理能力的线性扩展。同时通过AiSQL三节点基于Paxos构建Row-based...

应用开发向导

engine=MPP,mppNativeInsertFromSelect=true/INSERT INTO db_name.target_table_name(col1,col2,col3)SELECT col1,col2,col3 FROM db_name.source_table_name WHERE col4='123';如何解决使用MySQL Client时Hint无法正常生效的问题？用户在...

并行查询配置参数说明

records_threshold_for_mpp session 查询语句中表扫描行数超过该阈值后，优化器会考虑选择多机并行执行方式。取值范围：[0-18446744073709551615]；默认为0，含义是自动取值records_threshold_for_parallelism的N倍，N为ePQ集群的节点个数...

混合负载HTAP的实践和优化

业务上只有离线数据分析需求时，推荐使用只读地址，只读地址会直接访问只读实例，只读地址的流量会采用MPP加速。关于连接地址信息，请参见配置读写分离。路由智能路由 PolarDB-X 优化器会基于代价分析出查询物理扫描行数、CPU、内存、IO...

概述

计算层会精确识别出TP和AP的流量，并智能地将TP和AP流量分别路由到不同的存储介质上，同时确保在AP链路上默认开启MPP并行查询技术扫描列存索引，从而提升查询分析的能力。采用Delta+Main模型，满足秒级的实时更新，结合MVCC多版本技术，能...

公共错误码

诊断 404 Forbidden.DBNodeClass The DB cluster provided does not support MPP due to node class.-诊断 404 Forbidden.DBNodeNumber The DB cluster provided does not support MPP due to the readonly node number.-诊断 403 ...

功能概述

向量分析继承了分析型数据库MySQL版的MPP查询架构以及全索引结构，通过SIMD指令加速、高效索引算法、混合检索CBO策略以及低成本存储技术，帮助您实现高性能、低成本的非结构化数据近似查询和分析。典型应用场景通过分析型数据库MySQL版...

写入与查询

湖仓版（3.0）集群如何选择XIHE MPP还是XIHE BSP来执行作业？湖仓版（3.0）集群如何查看XIHE BSP作业的状态？如何进行资源隔离，减少SQL任务间的相互影响？如何处理IN条件过多的问题？如何解决查询数据时提示“Query exceeded maximum time...

Quick BI中如何实现数据量很大日增超过百万的数据分析

之前试用过一个永洪BI系统，可以将数据抽取到内置的mpp数据库中，支持定时任务增量抽取。数据抽取后可以在系统中进行计算，并支持数据分析的加速。想确认Quick BI里面的缓存是不是可以实现相同的功能，缓存之后的数据集进行关联过滤时计算...

计算层高可用

Interactive模式对于Interactive模式，MPP计算模型下全内存的Pipeline计算无中间结果保存。同时对于interactive模式下本身目标在于延迟敏感的分析场景，目前对于计算节点异常宕机的场景，计算引擎会通过查询级别重算，保证查询稳定性。...

作业开发入门概述

本文介绍通过XIHE SQL（包含MPP和BSP模式）和Spark SQL方式进行 AnalyticDB MySQL 内表作业开发的流程。作业开发流程概述 AnalyticDB MySQL 数仓分层包含以下三层。ODS：数据运营层，对源数据进行ETL处理。在实际业务中，ODS层会从数据源...

StarRocks

背景信息 StarRocks是新一代极速全场景MPP（Massively Parallel Processing）数据仓库，致力于构建极速和统一分析体验。StarRocks具有以下优势：StarRocks兼容MySQL协议，可以使用MySQL客户端和常用BI工具对接StarRocks来分析数据。...

使用XIHE BSP SQL进行作业开发

步骤四：查询ADS层表数据 AnalyticDB MySQL 湖仓版（3.0）支持通过Spark SQL或XIHE BSP SQL离线方式查询数据，也支持通过XIHE MPP SQL在线实时查询数据。为保证数据的实时性，本教程以XIHE MPP SQL在线方式查询ADS层表数据为例。在 ...

消除数据重分布

AnalyticDB PostgreSQL属于MPP数据库，数据分布在各个segment节点,分布方式为hash、random和replication。许多查询在执行中需要进行数据交换,比如redistribution和broadcast。数据交换所导致的费用在整个查询执行时间中所占比例比较可观，...

未来规划

如何对海量数据进行在线分析和计算，支持实时在线交互式分析，需要做并行处理（DSP 模型、MPP 模型等等），对并行调度计算进行优化。系统能力提升：智能化+安全（使用方便可靠、运维简易）。如在管控平台的层面如何做智能化的调度、监控...

使用Spark SQL进行作业开发

步骤四：查询ADS层表数据 AnalyticDB MySQL 湖仓版（3.0）既支持通过Spark SQL或XIHE BSP SQL离线方式查询数据，也支持通过XIHE MPP SQL在线实时查询数据。为保证数据的实时性，本教程以XIHE MPP SQL在线方式查询ADS层表数据为例。在 ...

MPP

新品推荐