PolarDB HTAP实时数据分析技术解密

该方法的优点为:计算模型简单直接,通过把不同物理算子抽象为迭代器。每一个算子只关注其内部逻辑,各个算子之间的耦合性降低,从而比较容易写出一个逻辑正确的执行引擎。IMCI执行引擎中,每个Operator使用迭代器函数来访问数据。不同的是...

列存索引技术架构介绍

在存储层将数据分片到不同的线程上,由多个线程并行计算,并将结果流水线汇总到总线程。最后,总线程做简单归并返回给用户,以提高查询效率。并行查询突破了单核执行性能的限制,利用多核CPU的并行处理能力,使得部分SQL查询耗时成指数级...

PolarDB PostgreSQL版架构介绍

同时,PolarDB PostgreSQL版 具有大规模并行计算能力,可以应对OLTP与OLAP混合负载。还具有时空、向量、搜索、图谱等多模创新特性,可以满足企业对数据处理日新月异的新需求。PolarDB PostgreSQL版 支持多种部署形态:存储计算分离部署、X-...

PolarDB处理TPC-H查询的挑战和机遇

Oracle近期也推出了其云上的Heatwave service(RAPID),本质就是一个分布式的in-memory column store,利用Oracle一些特殊的硬件优化技术配合列存的向量化和压缩态计算来实现高性能计算,以及利用in-memory的Binlog快速同步来支持一致性...

PolarDB并行查询

两个阶段没有重叠,这样就实现了全阶段的并行,但Parallel Hash join也有自身的问题,例如:共享Hash Table过大导致spill to disk问题并行插入虽然无锁,但仍有“同步”原语带来的cache invalidation。Partition Hash join Partition ...

2021年

跨机并行查询 PX支持并行Delete 跨机并行查询支持并行delete,包括带子查询和不带子查询的并行delete。通过设置polar_px_enable_delete参数,开启或关闭该功能,默认值为false。设置为true时,表示开启并行delete功能。设置为false时,表示...

企业版和标准版功能对比

支持 支持 弹性并行查询(ePQ)弹性并行查询(Elastic Parallel Query,ePQ)目前支持单机并行和多机并行两种并行引擎,单机并行引擎等效于原有的并行查询,多机并行引擎支持集群内跨节点的自适应弹性调度。支持 支持 SQL引擎查询优化 ...

2021年

跨机并行查询 2021年12月 PX支持并行Delete 跨机并行查询支持并行delete,包括带子查询和不带子查询的并行delete。通过设置polar_px_enable_delete参数,开启或关闭该功能,默认值为false。设置为true时,表示开启并行delete功能。设置为...

任务管理高级配置参数说明

模型 子任务单次拉取数(仅适用于拉模型并行计算 内存网格 网格计算 Slave节点每次向Master节点拉取多少个子任务。5 子任务队列容量(仅适用于拉模型并行计算 内存网格 网格计算 Slave节点缓存子任务的队列大小。10 子任务全局并发数...

任务管理高级配置参数说明

模型 子任务单次拉取数(仅适用于拉模型并行计算 内存网格 网格计算 Slave节点每次向Master节点拉取多少个子任务。5 子任务队列容量(仅适用于拉模型并行计算 内存网格 网格计算 Slave节点缓存子任务的队列大小。10 子任务全局并发数...

任务管理高级配置参数说明

模型 子任务单次拉取数(仅适用于拉模型并行计算 内存网格 网格计算 Slave节点每次向Master节点拉取多少个子任务。5 子任务队列容量(仅适用于拉模型并行计算 内存网格 网格计算 Slave节点缓存子任务的队列大小。10 子任务全局并发数...

控制台发布记录

和 购买包年包月集群 2022年07月 功能名称 功能描述 发布时间 相关文档 新增弹性并行查询(ePQ)弹性并行查询可以将分析型查询的计算任务分发到集群内的任意节点执行,提升集群资源的利用率,从而大幅提升数据库的整体查询性能。...

2019年

本文介绍了SchedulerX产品在2019年发布涉及的新增功能...支持单机执行、广播执行、并行计算、内存网格、网格计算。支持Map和MapReduce分布式编程模型。支持任务实例级别和子任务级别的失败自动重试(默认不重试)。支持数据时间和重刷数据。无

StarRocks概述

通过列式的内存布局、适配CPU的SIMD指令集等手段,充分发挥了现代CPU的并行计算能力,从而实现亚秒级别的多维分析能力。智能查询优化 StarRocks通过CBO优化器(Cost Based Optimizer)可以对复杂查询自动优化。无需人工干预,就可以通过...

Map模型

模型 子任务单次拉取数(仅适用于拉模型并行计算 内存网格 网格计算 Slave节点每次向Master节点拉取多少个子任务。5 子任务队列容量(仅适用于拉模型并行计算 内存网格 网格计算 Slave节点缓存子任务的队列大小。10 子任务全局并发数...

客户案例

但在报表开发的演进过程中,报表平台逐步建立起业务与系统分离,由之前的面向报表的开发模式,转变为面向指标的通用解决方案,这就把报表开发的问题拆解为细粒度的指标组合,不同的指标依赖的计算存储模型会根据业务的特性会有极大的不同。...

MapReduce模型

模型 子任务单次拉取数(仅适用于拉模型并行计算 内存网格 网格计算 Slave节点每次向Master节点拉取多少个子任务。5 子任务队列容量(仅适用于拉模型并行计算 内存网格 网格计算 Slave节点缓存子任务的队列大小。10 子任务全局并发数...

任务管理

模型 子任务单次拉取数(仅适用于拉模型并行计算 内存网格 网格计算 Slave节点每次向Master节点拉取多少个子任务。5 子任务队列容量(仅适用于拉模型并行计算 内存网格 网格计算 Slave节点缓存子任务的队列大小。10 子任务全局并发数...

任务管理

模型 子任务单次拉取数(仅适用于拉模型并行计算 内存网格 网格计算 Slave节点每次向Master节点拉取多少个子任务。5 子任务队列容量(仅适用于拉模型并行计算 内存网格 网格计算 Slave节点缓存子任务的队列大小。10 子任务全局并发数...

PolarDB MySQL版8.0.1版本发布日志

修复并行查询将GROUP BY下推到Worker上去并行执行时,在有分区表的情况下,返回结果集中存在分组重复的问题。修复执行 EXCHANGE PARTITION 操作时,因索引顺序不同导致索引损坏,无法访问表数据的问题。修复主键不包含分区键的分区表在使用...

产品架构

计算引擎支持社区版计算模型以及编程接口,同时深度融合Lindorm存储引擎特性,充分利用底层数据存储特征以及索引能力,高效地完成分布式作业任务。在数据生产、交互式分析和机器学习等场景中,提供高性能计算服务。Spark作业执行中,计算...

什么是图计算服务

Graph Compute 与其他开源图计算相比的优势 问题一:查询性能为什么能比开源好很多 图计算服务内核引擎iGraph在分区并发查询的基础上,通过自研的协程异步框架并发召回,将同步串行磁盘访问改造为异步并行,极大的提高了查询性能;...

技术面临的挑战与革新

计算下如何平衡扩展性和稳定性SLA 云计算环境下,企业和个人通过开启云服务,即可以得到所需的软件功能、计算资源、存储空间,并按实际使用量付费。在业务量逐步上涨的过程中,用户需要不断提升计算和存储资源来满足业务需要。因此,扩展...

离线同步并发和限流之间的关系

实践内容 并发数 阅读此部分,您可以解决和理解如下问题问题一:如何配置数据同步任务的并发数?问题二:为什么我的数据同步任务跑的比较慢,实际运行的并发数不够?问题三:为什么我的同步任务并发数配置的很高,但是任务运行速度仍然很...

自适应扫描

ePQ提供的自适应扫描模式可以帮助您解决计算资源不足的问题。前提条件 支持的 PolarDB PostgreSQL版 的版本如下:PostgreSQL 11(内核小版本1.1.17及以上)PostgreSQL 14(内核小版本14.6.6.0及以上)说明 您可通过如下语句查看 PolarDB ...

LLM on DLC-Megatron on DLC最佳实践

预训练大语言模型面对来自于模型规模和数据规模的多重挑战,为了解决这些问题,PAI提供了在 DLC 上使用Megatron-LM进行大语言模型预训练的最佳实践。该实践通过准备镜像环境与训练数据、调整训练策略、提交与管理任务等流程,帮助您在 DLC ...

深度解析PolarDB数据库并行查询技术

本文主要介绍基于代价进行并行优化、并行执行的云数据库的并行查询引擎的关键问题和核心技术。背景信息 随着数据规模的不断扩大,用户SQL的执行时间越来越长,这不仅对数据库的优化能力提出更高的要求,并且对数据库的执行模式也提出了新的...

产品概述

通过云原生架构、软硬件一体化、共享分布式存储的设计,主节点和只读节点使用物理复制、RDMA网络低时延,能够快速同步数据,彻底解决了主从异步复制所带来的备库数据非强一致的问题,使得整个数据库集群在应对任何单点故障时,都可以保证...

技术架构

HTAP 随着移动互联网和Iot设备的普及,数据会产生爆炸式的增长趋势,传统的OLTP和OLAP的解决方案是基于简单的读写分离或者ETL模型,将在线库的数据T+1的方式抽取到数据仓库中进行计算,这种方案存在存储成本高、实时性差、链路和维护成本...

开启GPU加速计算

加速原理 数据库中GPU并行加速是指对象级的并行,将单个字段的对象转换为适合并行计算模型,利用GPU超多核心的能力并行计算。注意事项 对于并发数较大的场景,单个GPU设备会存在资源受限的情况,所以建议在会话中关闭GPU加速计算功能。...

开启GPU加速计算

加速原理 数据库中GPU并行加速是指对象级的并行,将单个字段的对象转换为适合并行计算模型,利用GPU超多核心的能力并行计算。注意事项 对于并发数较大的场景,单个GPU设备会存在资源受限的情况,所以建议在会话中关闭GPU加速计算功能。...

PolarDB PostgreSQL版:ePQ架构详解

PolarDB PostgreSQL版 实现了弹性跨机并行查询(ePQ)特性,能够帮助您解决原先的 PolarDB PostgreSQL版 在处理复杂的AP查询时会遇到的问题。前提条件 支持的 PolarDB PostgreSQL版 的版本如下:PostgreSQL 11(内核小版本1.1.28及以上)...

FeatureStore概述

下图从整体上介绍来自MaxCompute、DataHub的输入数据,经过中间特征计算模型样本管理、发布到线上存储供各种客户端应用的过程。基本概念 特征实体 特征实体(FeatureEntity)一组特征表集合的名称,例如在推荐场景下,可以设置两个特征...

文档修订记录

任务调度属性配置概述 2023年2月更新记录 时间 特性 类别 描述 产品文档 2023.2.28 新增功能 数据治理中心 DataWorks支持您根据业务需要,将 治理工作台>治理项问题 页面待解决的治理项问题以通知的形式,通过系统提示、邮件、钉钉群消息等...

8.0.1和8.0.2版功能对比

支持归档表 支持归档分区和表 其他 PolarDB for AI  PolarDB for AI功能通过一系列MLOps和内置的模型解决了数据、特征和模型的割裂状态,实现了基于数据库的数据智能的一站式服务。支持 支持 国产化兼容/性能优化 ARM兼容性/性能优化。...

减灾与应急时空解决方案与案例

方案背景 华宁环球(北京)减灾与应急科技有限公司专注于自然灾害风险、灾害应急预警领域全栈数据、模型及平台研发,面向保险等行业及各级政府提供技术服务,数据及模型研发及成果应用处于行业领先水平。公司主营OpenRIS灾害风险大数据平台...

常见问题

本文汇总了StarRocks使用时的常见问题。业务测试评估 硬件资源有什么要求?软件配置有什么要求?数据模型和表定义 生产环境下的副本数应该设置为多少?如何分区?如何分桶?如何设计排序键?如何合理的选择数据类型?数据导入常见问题 业务...

2023年

MaxCompute服务不可用赔付案例说明 2023-07-25 新增MaxCompute停止服务规格转换操作指引 新说明 阿里云云原生大数据计算服务MaxCompute将停止提供按量付费开发者版、包年包月套餐以及非预留计算资源服务,您需要将这些版本的计算资源转换为...

索引介绍

使用宽表模型的表引擎查询数据时存在依赖主键以及根据属性查询效率低的问题,表格存储提供了二级索引和多元索引用于解决宽表模型的数据查询问题。您也可以为数据表创建映射关系后,像使用传统数据库一样使用SQL查询表中数据。表引擎 宽表...

如何基于LSM-tree架构实现一写多读

MVCC(多版本并发控制)物理复制技术解决了数据同步问题,为存储计算分离打下了基础。为了实现弹性、动态升降配和增删只读节点的能力,需要只读节点具备一致性读的能力,另外RW节点和RO节点共享一份数据,历史版本回收也是必需要考虑的...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
批量计算 轻量应用服务器 云服务器 ECS 云数据库 RDS 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用