什么是实时数仓Hologres

亚秒级交互式分析 Hologres采用可扩展的大规模并行处理(MPP)架构全并行计算,通过向量化算子发挥CPU最佳算力,基于AliORC压缩存储,面向SSD存储优化IO吞吐,支持PB级数据亚秒级交互式分析体验。在线高性能主键点查 基于行存表的主键索引...

技术原理

原理架构 MPP和只读资源 PolarDB-X 1.0 通过多组DRDS计算节点提供大规模多级并行处理能力(Massively Parallel Processing,简称MPP),针对计算节点进行Scale-out完成MPP处理能力的线性扩展。同时通过AiSQL三节点基于Paxos构建Row-based...

简介

批量计算服务(Batch Computing Service,简称BatchCompute)是一种适用于大规模并行处理作业的分布式云服务。我们提供了丰富的API接口,您可以基于此API很方便使用BatchCompute的服务以及开发自己的应用程序。请确保在使用这些接口前,...

音视频弹性处理

可以在短时间内准备大量的计算资源进行大规模并行转码处理。能简单迁移基于FFmpeg自建的转码服务。方案简介 本示例是将MOV格式文件转换为FLV、AVI、MP4格式的文件,并将转换后的文件存储到对象存储的指定目录中。方案实施如下:上传视频...

Kyuubi概述

Kyuubi可以在用户级别缓存后台引擎实例,以更好的实现计算资源共享和快速响应并行处理大量数据的查询并快速返回结果。批数据处理:Kyuubi提供了SQL接口用于常见的批处理,通常是大型提取、转换、加载(ETL)过程。Kyuubi及其引擎都是存储...

接入方式简介

如果使用 mPaaS 来重构您的项目需要引入大规模并行研发的理念,推荐使用 组件化方式。接入方式对比 原生 AAR 接入 组件化接入 来源 Google 官方接入方式。源自支付宝。打包速度 两者之中打包最慢,和原生接入一模一样。打包速度快,打包...

产品概述

什么是批量计算 批量计算(BatchCompute)是一种适用于大规模并行处理作业的分布式云服务。BatchCompute 可支持海量作业并发规模,系统自动完成资源管理、作业调度和数据加载,并按实际使用量计费。通俗的讲,就是您可以提交一个任意的...

PyODPS概述

如tunnel下载操作、execute操作、to_pandas操作等,因此,很多初始使用PyODPS的用户会试图把数据拉取到本地,处理完成后再上传到 MaxCompute上,很多时候这种方式是十分低效的,拉取数据到本地彻底丧失了MaxCompute的大规模并行能力的优势...

大规模ACK Pro集群使用建议

但当集群进行大规模变更操作时,例如快速创建或删除大量资源,或大规模扩缩集群节点数时,可能会造成控制面压力过大,导致集群性能下降、响应延迟,甚至服务中断。例如,在一个5,000个节点的集群中,如果存在大量固定数量的Pod且保持稳定...

并行查询

PolarDB PostgreSQL版 支持分区表的并行查询(Parallel Append)功能,可以更好地处理大规模数据的查询。概述 当代计算机往往有更多的核心可以使用,并行查询是现代数据库必不可少的能力。PolarDB PostgreSQL版 对分区表的并行查询,和普通...

并行查询

PolarDB PostgreSQL版(兼容Oracle)支持分区表的并行查询(Parallel Append)功能,可以更好地处理大规模数据的查询。概述 当代计算机往往有更多的核心可以使用,并行查询是现代数据库必不可少的能力。PolarDB PostgreSQL版(兼容Oracle)...

内存型

图 2.Tair多线程模型 Tair 内存型将服务各阶段的任务进行分离,通过分工明确的多个线程并行处理各阶段任务,达到提高性能的目的。IO线程:负责请求读取、响应发送、命令解析等。Worker线程:负责命令处理、定时器事件等。辅助线程:负责高...

内存型

图 2.Tair多线程模型 Tair 内存型将服务各阶段的任务进行分离,通过分工明确的多个线程并行处理各阶段任务,达到提高性能的目的。IO线程:负责请求读取、响应发送、命令解析等。Worker线程:负责命令处理、定时器事件等。辅助线程:负责高...

基本概念

它是一种为图像和图形运算工作优化的微处理器,适用于大规模并行计算等场景。VM Virtual Machine,虚拟机,指通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统。云边一体 云边一体,又叫云边协同,其中...

应用场景

下文先以用户注册为场景说明 云消息队列 RocketMQ 版 如何实现以下功能:异步解耦 分布式事务的数据一致性 消息的顺序收发 最后,再以电商的秒杀场景和价格同步场景分别说明 云消息队列 RocketMQ 版 所实现的削峰填谷和大规模机器的缓存...

产品概述

云原生数据仓库 AnalyticDB PostgreSQL 版 是一种大规模并行处理(MPP)数据仓库服务,可提供海量数据在线分析服务。云原生数据仓库 AnalyticDB PostgreSQL 版 基于开源项目Greenplum构建,由阿里云深度扩展,兼容ANSI SQL 2003,兼容...

OSS/OSS-HDFS的性能优化最佳实践

为了帮助您利用其规模,建议您将并行请求水平扩展到OSS服务终端节点,这种扩展方式有助于通过网络将负载分布在多个路径上。OSS-HDFS使用了上述最佳实践,通过元数据服务支持,以文件块的方式将文件水平扩展到多个OSS服务终端上,以获取最佳...

推荐的性能设计模式

为了帮助您利用其规模,建议您将并行请求水平扩展到OSS服务终端节点,这种扩展方式有助于通过网络将负载分布在多个路径上。对于高吞吐量传输,建议您在多个线程或多个实例中同时启动多个请求连接来并行上传和下载数据。对于某些应用程序,...

性能测试技术指南

单独的测试环境风险可控,难点在环境的构建上,规模和生产一致的成本也是较高的,所以一般而言有通过等比构建(1/2,1/4,1/8等),甚至是生产环境中部分应用独立部署测试集群,数据库共用的方式,此外测试环境需要从生产环境中导入脱敏的...

MaxFrame概述

背景信息 为满足用户基于MaxCompute进行大规模数据处理、分析及数据挖掘的需求,MaxCompute提供了一套Python开发生态,通过统一的Python编程接口完成数据分析、处理及挖掘、建模全生命周期。MaxFrame是由阿里云自研的分布式计算框架,提供...

灵骏常见问题

并行度极高的大规模计算场景,比如自然语言处理、自动驾驶模型训练、推荐引擎等,相比普通GPU托管服务可以减少训练的时间和成本,建立更大、更复杂的模型。开通集群后,是否需要安装GPU驱动?灵骏计算节点的操作系统镜像中已包含GPU驱动...

离线异步任务场景

充足的GPU资源供给 函数计算平台提供充足的GPU资源供给,当业务遭遇大规模离线任务时,函数计算将以秒级弹性供给海量GPU算力资源,避免因GPU算力供给不足、GPU算力弹性滞后导致的业务受损,适合忙闲流量分明(长时空闲、短时繁忙)、忙闲...

集群消费和广播消费

分布式数据处理:在大规模数据处理的场景中,使用集群消费模式可以将数据分发给多个处理节点进行并行处理。每个节点只处理其中一部分数据,从而加速数据处理的速度。注意事项 集群模式下,不保证每一次失败重投的消息投递到同一台机器上。...

什么是人工智能平台PAI

千亿级特征样本的大规模并行计算框架Parameter Server。Spark、PySpark、MapReduce等业内主流开源框架。PAI提供的服务:可视化建模和分布式训练Designer,详情请参见 可视化建模(Designer)。Notebook交互式AI研发DSW(Data Science ...

PolarDB PostgreSQL版架构介绍

同时,PolarDB PostgreSQL版 具有大规模并行计算能力,可以应对OLTP与OLAP混合负载。还具有时空、向量、搜索、图谱等多模创新特性,可以满足企业对数据处理日新月异的新需求。PolarDB PostgreSQL版 支持多种部署形态:存储计算分离部署、X-...

典型场景

ETL离线数据处理 面对复杂SQL优化和海量数据大规模聚合分析等挑战,云原生数据仓库AnalyticDB PostgreSQL版 具有如下技术优势:支持标准SQL、OLAP窗口函数和存储过程。ORCA分布式SQL优化器,复杂查询免调优。MPP多节点全并行计算,PB级数据...

热点行优化

因此 PolarDB 在数据库内核层进行了创新性的优化,不但能够自动识别热点行更新请求,而且将一定时间间隔内对同一数据行的更新操作进行分组,不同分组采用流水线的方式并行处理,通过这些优化,极地提升了系统的性能。具体方案如下:串行...

计划加速

QUERY PLAN-PartitionedTableScan on prt1(cost=0.00.1.00 rows=1 width=40)->Seq Scan on prt1(cost=0.00.1.00 rows=1 width=40)(2 rows)并行查询 PolarDB PostgreSQL版 支持分区表的 并行查询,它能很好的处理大规模数据的查询。...

计划加速

QUERY PLAN-PartitionedTableScan on prt1(cost=0.00.1.00 rows=1 width=40)->Seq Scan on prt1(cost=0.00.1.00 rows=1 width=40)(2 rows)并行查询 支持分区表的 并行查询,它能很好的处理大规模数据的查询。和 Append 一样,...

概述

同时由于并行方式的多样化,可以适用于多种广泛而灵活的应用场景:海量数据分析场景 在中等及更大规模数据量的情况下,分析类业务的报表查询SQL通常复杂且比较耗费时间,通过开启并行查询可以线性降低查询的响应时间。资源负载不均衡场景 ...

数据迁移概述

将数据并行从OSS导入到AnalyticDB PostgreSQL 将数据并行导出到OSS 阿里云Jindo DistCp 阿里云Jindo DistCp(分布式文件拷贝工具)用于大规模集群内部或集群之间拷贝文件。Jindo DistCp使用MapReduce实现文件分发,错误处理和恢复,把文件...

选择付费方式

对周期性高密度计算作业使用包年包月模式,对非周期性的大规模数据处理作业使用按量计费模式。按量计费模式下可以不存储数据,通过读取其它账号下的表获取数据,从而可以节省数据存储费用。不同账号下跨表计算需要通过授权来实现,详细请...

网络优化

云企业网通过 转发路由器 TR(TransitRouter)在跨地域专有网络之间,专有网络与本地数据中心间搭建私网通信通道,支持在地域内定义灵活的互通、隔离、引流策略,帮助您打造一张灵活、可靠、大规模的企业级云上网络。企业版转发路由器实例...

负载均衡SLB产品家族介绍

产品简介 阿里云提供全托管式在线负载均衡服务,具有即开即用、超大容量、稳定可靠、弹性伸缩、按需付费等特点,适合超大规模互联网应用,如春节红包、双十一秒杀抢购、大规模在线物联网应用等高并发场景。与传统的硬件型负载均衡自建方案...

事件中心事件汇总

如因预期内的大规模发布而产生,可忽略该事件 Zookeeper 事件Code 事件名称 事件等级 云监控事件名称 事件说明和影响 事件处理建议 ZooKeeper:ExceedEphemeralLimit ZooKeeper单个session创建临时节点超过限制(limit=2000)严重 ZooKeeper...

GPU计算型

GPU计算型实例具有高性能、高并行计算能力,适用于大规模并行计算场景,可以为您的业务提供更好的计算性能和效率。本文为您介绍云服务器ECS GPU计算型实例规格族的特点,并列出了具体的实例规格。主售(推荐类型)GPU计算型实例规格族gn7e ...

测试指标

一般扩展能力非常好的应用系统,扩展指标应是线性或接近线性的,现在很多大规模的分布式系统的扩展能力非常好。标准 理想的扩展能力是资源增加几倍,性能就提升几倍。扩展能力至少在70%以上。可靠性指标 双机热备 对于将双机热备作为可靠性...

云监控

如果CPU水位持续到达100%一段时间,随后降低维持在中等或较低水平,那么一般是那段时间在做大的计算,例如大规模数据的写入,或者大规模数据的查询,因此不建议出现一次CPU使用率达到100%就告警,这样可能会产生较多误报。建议设置为“CPU...

基本概念

源站可用来处理响应用户请求,当节点没有缓存用户请求的内容时,节点会返回源站获取资源数据并返回给用户。阿里云 DCDN 的源站可以是对象存储OSS、函数计算、自有源站(IP、源站域名)。节点 节点,指与最终接入的用户之间具有较少中间...

基本概念

源站可用来处理响应用户请求,当节点没有缓存用户请求的内容时,节点会返回源站获取资源数据并返回给用户。阿里云 CDN 的源站可以是对象存储OSS、函数计算、自有源站(IP、源站域名)。节点 节点,指与最终接入的用户之间具有较少中间...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数字证书管理服务(原SSL证书) 云原生大数据计算服务 MaxCompute 物联网无线连接服务 云安全中心 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用